一篇文章 个标签为 "研究"

部署大语言模型（LLMs）到移动设备的需求日益增长，这一趋势主要由隐私保护、降低延迟以及高效带宽使用的需求驱动。然而，LLM的庞大内存需求和计算要求构成了巨大挑战。为应对这一挑战，LinguaLinked应运而生。这个由加州大学欧文分校的一组研究人员开发的新系统，旨在通过分布式推理，将LLM推理过程分布在多个移动设备上，利用它们的集体能力高效地执行复杂任务。

挑战​

在移动设备上部署如GPT-3或BLOOM之类的大语言模型面临以下挑战：

• 内存限制：LLM需要大量内存，往往超出单个移动设备的容量。
• 计算能力限制：移动设备通常计算能力有限，难以运行大型模型。
• 隐私问题：将数据发送到中央服务器进行处理可能引发隐私问题。

LinguaLinked 的解决方案​

LinguaLinked通过以下三个关键策略应对这些挑战：

1. 优化模型分配：

• 系统通过线性优化将LLM分割成较小的子图，并将每个子图匹配到设备的能力。
• 这确保了资源的高效使用，并减少了设备间的数据传输。

2. 运行时负载平衡：

• LinguaLinked实时监控设备性能，并重新分配任务以防止瓶颈。
• 这种动态方法确保了所有可用资源的高效利用，提高了整体系统的响应速度。

3. 优化通信：

• 高效的数据传输图指导设备间信息流动，保持模型的结构完整性。
• 这种方法减少了延迟，确保了移动设备网络中的数据处理及时性。

单个大语言模型（LLM）被分成不同的部分（或片段），并分布在多个移动设备上。此方法使每个设备仅处理总计算和存储需求的一部分，使得即使资源有限的设备也能运行复杂的模型。以下是其工作原理的简要概述：

模型分割与分布​

1. 模型分割：

• 大语言模型被转换为一个计算图，其中网络中的每个操作都表示为一个节点。
• 然后将此图划分为较小的子图，每个子图都能独立运行。

2. 优化模型分配：

• 通过线性优化，这些子图（或模型片段）被分配到不同的移动设备。
• 分配时考虑了每个设备的计算和内存能力，确保了资源的高效利用，并最小化了设备之间的数据传输开销。

3. 协作推理执行：

• 每个移动设备处理其分配的模型片段。
• 设备之间相互通信以根据需要交换中间结果，确保整个推理任务正确完成。
• 采用优化的通信策略，保持原始模型结构的完整性，确保数据流的高效性。

示例场景​

设想将一个大语言模型如GPT-3分割成若干部分。一个移动设备可能处理模型的初始token嵌入和前几层，而另一个设备处理中间层，第三个设备完成最后的层并生成输出。在整个过程中，设备间共享中间输出，确保完整的模型推理无缝执行。

性能与结果​

LinguaLinked通过在各种高端和低端Android设备上的广泛测试展示了其效果。主要发现包括：

• 推理速度：与基线相比，LinguaLinked在单线程环境中加速了推理性能1.11倍至1.61倍，在多线程环境中加速1.73倍至2.65倍。
• 负载平衡：系统的运行时负载平衡进一步提升了性能，整体加速达1.29倍至1.32倍。
• 可扩展性：较大的模型显著受益于LinguaLinked的优化模型分配，展示了其处理复杂任务的可扩展性和有效性。

用例与应用​

LinguaLinked特别适合注重隐私和效率的场景。应用包括：

• 文本生成和摘要：在移动设备上本地生成连贯且符合上下文的文本。
• 情感分析：高效分类文本数据，同时确保用户隐私。
• 实时翻译：直接在设备上提供快速准确的翻译。

未来发展方向​

LinguaLinked为移动AI的进一步发展铺平了道路：

• 能效优化：未来的迭代将侧重于优化能耗，以防止在执行密集任务期间电池耗尽和过热。
• 隐私增强：去中心化处理的持续改进将确保更高的数据隐私。
• 多模态模型：扩展LinguaLinked以支持多模态模型，适用于各种现实世界的应用场景。

结论​

LinguaLinked代表了在移动设备上部署LLM的重大进步。通过分布计算负载和优化资源使用，它使先进的AI在各种设备上变得可访问且高效。这一创新不仅提升了性能，还确保了数据隐私，为更个性化和安全的移动AI应用奠定了基础。

随着大语言模型（LLM）和去中心化计算的兴起，尤其是在分布式系统中，验证和确保AI计算的完整性变得尤为重要。6079推理证明协议（PoIP）通过建立一个稳健的框架来解决这些挑战，确保去中心化AI推理的可靠性和安全性。

挑战：去中心化AI推理的安全性​

去中心化AI推理面临着确保网络上分布式节点所执行计算的完整性和正确性的独特问题。传统的验证方法由于许多AI模型的非确定性特性而显得不足。没有一个强有力的协议，就很难保证分布式硬件能够返回准确的推理结果。

推理证明协议（PoIP）的引入​

6079推理证明协议（PoIP）为保护去中心化AI推理提供了一种开创性的解决方案。它结合了加密经济安全机制、加密证明和博弈论方法，以激励正确行为并惩罚网络中的恶意行为。

PoIP的核心组件​

推理引擎标准​

推理引擎标准为在去中心化网络上执行AI推理任务设定了计算模式和标准。这种标准化确保了分布式硬件上AI模型的一致性和可靠性能。

推理证明协议​

该协议在多个层面上运行：

1. 服务层：在物理硬件上执行模型推理。
2. 控制层：管理API端点，协调负载平衡，处理诊断。
3. 事务层：使用分布式哈希表（DHT）来跟踪事务元数据。
4. 概率证明层：通过加密和经济机制验证事务。
5. 经济层：处理支付、质押、惩罚、安全、治理和公共资助。

确保完整性和安全性​

PoIP采用了多种机制来确保AI推理计算的完整性：

• 默克尔树验证：确保输入数据未被篡改地到达GPU。
• 分布式哈希表（DHT）：在节点之间同步事务数据，以检测差异。
• 诊断测试：评估硬件能力，并确保其符合网络标准。

经济激励与博弈论​

该协议利用经济激励来鼓励节点间的理想行为：

• 质押：节点质押代币以表明其承诺并提高信誉。
• 声誉建立：成功完成任务可提高节点声誉，使其在未来任务中更具吸引力。
• 竞争性博弈机制：节点间竞争以提供最佳服务，确保持续改进并遵守标准。

常见问题​

什么是推理证明协议（PoIP）？​

推理证明协议（PoIP）是一种设计用于保护和验证去中心化网络上AI推理计算的系统。它确保分布式硬件节点返回准确且可信的结果。

PoIP如何确保AI计算的完整性？​

PoIP通过默克尔树验证、分布式哈希表（DHT）和诊断测试等机制来验证AI计算的完整性。这些工具有助于检测差异，确保网络中处理的数据的正确性。

经济激励在PoIP中起什么作用？​

PoIP中的经济激励鼓励节点间的理想行为。节点质押代币以表明其承诺，通过成功完成任务建立声誉，并通过竞争提供最佳服务。该系统确保了持续改进并遵守网络标准。

PoIP的主要层次是什么？​

PoIP在五个主要层次上运行：服务层、控制层、事务层、概率证明层和经济层。每一层在确保去中心化网络上AI推理的安全性、完整性和效率方面发挥着关键作用。

结论​

6079推理证明协议在去中心化AI领域代表了一项重要的进展。通过确保分布式网络上AI计算的安全性和可靠性，PoIP为去中心化AI应用的更广泛采用和创新提供了新的途径。随着我们迈向更加去中心化的未来，像PoIP这样的协议将在维护AI驱动系统的信任和完整性方面发挥关键作用。

• 来源: https://cuckoo.network/blog/2024/07/03/proof-of-inference-protocol-decentralized-ai
• Telegram: https://cuckoo.network/tg
• Discord: https://cuckoo.network/dc

Arbitrum Nitro由Offchain Labs开发，是一款第二代Layer 2区块链协议，旨在提升吞吐量、最终性和争议解决能力。它基于原始Arbitrum协议，带来了显著的增强，以满足现代区块链的需求。

Arbitrum Nitro的关键特性​

Arbitrum Nitro作为以太坊上的Layer 2解决方案，支持使用以太坊虚拟机（EVM）代码执行智能合约。这确保了与现有以太坊应用程序和工具的兼容性。该协议保证了安全性和进展，前提是底层以太坊链保持安全和活跃，并且至少有一个Nitro协议参与者表现诚实。

设计思路​

Nitro的架构基于四个核心原则：

• 顺序执行后确定性执行：交易首先排序，然后按顺序执行。这种两阶段的方法确保了一个一致且可靠的执行环境。
• Geth为核心：Nitro利用go-ethereum（geth）包进行核心执行和状态维护，确保与以太坊的高度兼容性。
• 将执行与证明分离：状态转换函数被编译为本地执行和WebAssembly（wasm），以促进高效执行和结构化的、与机器无关的证明。
• 采用交互式欺诈证明的乐观汇总：基于Arbitrum的原始设计，Nitro采用了改进的乐观汇总协议，并配有复杂的欺诈证明机制。

排序与执行​

Nitro中的交易处理涉及两个关键组件：排序器和状态转换函数（STF）。

• 排序器：对传入交易进行排序并对该顺序进行承诺。它确保交易顺序是已知且可靠的，既作为实时数据流发布，也作为压缩数据批次发布到以太坊Layer 1链上。这种双重方法增强了可靠性并防止了审查。
• 确定性执行：STF处理排序后的交易，更新链状态并生成新块。这个过程是确定性的，意味着结果仅依赖于交易数据和先前状态，确保了网络中的一致性。

软件架构：Geth为核心​

Nitro的软件架构分为三层：

• 基础层（Geth核心）：此层处理EVM合约的执行，并维护以太坊状态数据结构。
• 中间层（ArbOS）：自定义软件，提供Layer 2功能，包括解压排序器批次、管理gas成本和支持跨链功能。
• 顶层：从geth引入，此层处理连接、传入的RPC请求以及其他顶级节点功能。

跨链交互​

Arbitrum Nitro通过Outbox、Inbox和可重试票据等机制支持安全的跨链交互。

• Outbox：允许从Layer 2到Layer 1的合约调用，确保消息在以太坊上安全传输和执行。
• Inbox：管理从以太坊发送到Nitro的交易，确保它们以正确的顺序被包含。
• 可重试票据：允许重新提交失败的交易，确保可靠性并减少丢失交易的风险。

Gas和费用​

Nitro采用了复杂的gas计量和定价机制来管理交易成本：

• L2 Gas计量与定价：跟踪gas使用情况并通过算法调整基础费用，以平衡需求和容量。
• L1数据计量与定价：确保覆盖与Layer 1交互相关的成本，使用自适应定价算法来准确分配这些成本。

结论​

Cuckoo Network对投资Arbitrum的发展充满信心。Arbitrum Nitro的先进Layer 2解决方案提供了无与伦比的可扩展性、更快的最终性和高效的争议解决能力。其与以太坊的兼容性为我们的去中心化应用程序提供了安全、高效的环境，与我们对创新和性能的承诺相一致。

• 来源: https://cuckoo.network/blog/2024/06/06/introduction-to-arbitrum-nitro
• Telegram: https://cuckoo.network/tg
• Discord: https://cuckoo.network/dc

区块链和 AI 的结合正在引起市场的广泛关注。随着 ChatGPT 迅速积累了数亿用户，Nvidia 的股票在 2023 年暴涨八倍，AI 已牢牢确立了其作为主导趋势的地位。这一影响正在溢出到区块链等相关领域，AI 应用也在不断被探索。

目前，Crypto 在 AI 中扮演了互补的角色，展现出巨大的增长潜力。大多数组织仍处于探索阶段，主要聚焦于计算能力（云和市场）、模型（AI 代理）和数据存储的代币化。

去中心化加密技术并不能直接提高 AI 训练的效率或降低成本，但能够促进资产交易，吸引之前未被利用的计算能力。在当今计算资源稀缺的环境下，这是有利可图的。对模型进行代币化能够实现去中心化的社区所有权或使用，降低了障碍，并为集中化 AI 提供了替代方案。然而，去中心化的数据仍然面临代币化的挑战，尚需进一步探索。

尽管市场尚未在 AI 和加密领域达成共识，但生态系统正在逐步成形。今天我们将回顾几个类别：基础设施即服务云、计算市场、模型代币化与训练、AI 代理、数据代币化、ZKML 以及 AI 应用。

基础设施即服务云​

随着 AI 市场的增长，GPU 云计算项目和市场成为了最早受益的领域之一。它们旨在将未使用的 GPU 资源整合到集中化网络中，从而降低与传统服务相比的计算成本。

这些云服务并未被视为去中心化解决方案，但它们是 web3 + AI 生态系统的重要组成部分。GPU 作为稀缺资源，本身具有内在价值。

关键项目：

• Akash Network: 基于 Cosmos SDK 的去中心化云计算市场，使用 Kubernetes 进行编排，并通过反向拍卖定价来降低成本，专注于 CPU 和 GPU 计算。
• Ritual: 将 AI 模型集成到区块链协议中的 AI 基础设施网络。其 Infernet 平台使智能合约能够直接访问模型。
• Render Network: 去中心化 GPU 渲染平台，专注于渲染和 AI 计算。迁移到 Solana 以提高性能和降低成本。
• NetMind.AI: 提供计算资源市场、聊天机器人和生活助手服务的 AI 生态系统，支持广泛的 GPU 模型并集成 Google Colab。
• CUDOS: 类似于 Akash 的区块链计算网络，通过 Cosmos SDK 专注于 GPU 计算。
• Nuco.cloud: 基于 Ethereum 和 Telos 的去中心化计算云服务，提供一系列解决方案。
• Dynex: 针对神经形态计算的区块链，使用有用工作量证明（Proof-of-Useful-Work）来提高效率。
• OctaSpace: 去中心化计算云，基于其自身的区块链，专注于 AI 和图像处理。
• AIOZ Network: 用于 AI、存储和流媒体的 Layer 1 去中心化计算平台。
• Phoenix: 面向 AI 计算和数据驱动网络的 Web3 区块链基础设施。
• Aethir: 基于 Arbitrum 的游戏和 AI 云基础设施。
• Iagon: 基于 Cardano 的去中心化存储和计算市场。
• OpFlow: 重点关注 AI 和渲染的云平台，使用 NVIDIA GPUs。
• OpSec: 新兴的去中心化云平台，旨在构建下一代超级计算机。

计算资源市场​

去中心化计算资源市场利用用户提供的 GPU 和 CPU 资源来执行 AI 任务、训练和推理。这些市场动员了未使用的计算能力，通过激励机制降低进入门槛。

这些 GPU 计算市场通常注重去中心化的叙事，而不是服务效用。像 io.net 和 Nosana 这样的项目，利用 Solana 和 DePin 概念，展示了巨大的增长潜力。在需求高峰期的 GPU 市场中早期投资可以通过激励措施和投资回报率获得高回报。

关键项目：

• Cuckoo AI: 一个去中心化市场，奖励为 AI 模型服务的 GPU 矿工，每天以 ERC20 支付。它使用区块链智能合约，重点关注透明度、隐私和模块化。
• Clore.ai: 一个使用 PoW 的 GPU 租赁平台。用户可以租用 GPU 进行 AI 训练、渲染和挖矿任务。奖励与其持有的代币数量挂钩。
• Nosana: 基于 Solana 的开源 GPU 云计算提供商，专注于 AI 推理，正在开发 PyTorch、HuggingFace、TensorFlow 和社区库的连接器。
• io.net: 一个利用 Solana 区块链技术的 AI 云计算网络。提供成本效益高的 GPU 资源，支持批量推理和并行训练。
• Gensyn: 一个用于深度学习模型训练的 L1 协议。旨在通过一个无信任、分布式系统提高训练效率，专注于降低训练成本和提高可访问性。
• Nimble: 一个结合数据、计算能力和开发者的去中心化 AI 生态系统。旨在使 AI 训练更加可访问，并拥有一个去中心化、可组合的框架。
• Morpheus AI: 一个基于 Arbitrum 的去中心化计算市场，帮助用户创建与智能合约互动的 AI 代理。
• Kuzco: 在 Solana 上用于 LLM 推理的分布式 GPU 集群。提供高效的本地模型托管，并以 KZO 点奖励贡献者。
• Golem: 一个基于以太坊的 CPU 计算市场，现已扩展到 GPU。它是最早的点对点计算网络之一。
• Node AI: 一个 GPU 云市场，通过 EyePerformance 提供负担得起的 GPU 租赁。
• GPU.Net: 一个提供生成式 AI、Web3 和高端图形渲染基础设施的去中心化 GPU 网络。
• GamerHash: 一个利用玩家闲置计算能力进行加密货币挖矿的平台，同时引入了低端设备的玩赚模型。
• NodeSynapse: 一个提供 Web3 基础设施、GPU 计算、服务器托管以及独特收入共享模型的 GPU 市场。

模型代币化与训练​

模型代币化与训练涉及将 AI 模型转化为有价值的资产，并将其集成到区块链网络中。这种方式实现了去中心化的所有权、数据共享和决策，带来了更高的透明度、安全性和货币化机会，同时创造了新的投资渠道。

关键在于识别具有真正创新和技术挑战的项目。简单地交易 AI 模型的所有权或使用权并不是真正的创新。真正的进步来自于有效地验证模型输出，并确保模型的安全、去中心化操作。

关键项目：

• SaharaLabs: 重点关注隐私和数据共享，提供像 Knowledge Agent 和 Data Marketplace 这样的工具，帮助保障数据操作的安全，并吸引了 MIT 和 Microsoft 等客户。
• Bittensor: 构建一个去中心化协议，让 AI 模型之间交换价值。它使用验证者和矿工来排名响应，并提升 AI 驱动应用的整体质量。
• iExec RLC: 一个去中心化云计算平台，通过贡献证明（Proof-of-Contribution）共识机制保障资源安全，同时管理短期计算任务。
• Allora: 通过共识机制验证代理预测，在去中心化网络中奖励准确的市场预测 AI 代理。
• lPAAL AI: 提供一个创建个性化 AI 模型的平台，能够处理市场情报、交易策略和其他专业任务。
• MyShell: 提供一个灵活的 AI 平台，用于聊天机器人开发和第三方模型集成，通过本地代币激励开发者。
• Qubic: 利用工作量证明共识进行 AI 训练，Aigarth 软件层促进神经网络的创建。

AI 代理​

AI 代理或智能代理是具有自主理解、记忆、决策、工具使用和执行复杂任务能力的实体。这些代理不仅指导用户如何执行任务，还积极帮助完成任务。具体来说，这里指的是与区块链技术互动的 AI 代理，用于交易、提供投资建议、操作机器人、增强去中心化金融（DeFi）功能和执行链上数据分析。

这些 AI 代理与区块链技术紧密结合，使它们能够直接产生收入，引入新的交易场景，并增强区块链用户体验。这种集成代表了 DeFi 中的高级叙事，通过交易活动创造利润，吸引资本投资，并助长了