一篇文章 个标签为 "研究"

部署大语言模型（LLMs）到移动设备的需求日益增长，这一趋势主要由隐私保护、降低延迟以及高效带宽使用的需求驱动。然而，LLM的庞大内存需求和计算要求构成了巨大挑战。为应对这一挑战，LinguaLinked应运而生。这个由加州大学欧文分校的一组研究人员开发的新系统，旨在通过分布式推理，将LLM推理过程分布在多个移动设备上，利用它们的集体能力高效地执行复杂任务。

挑战​

在移动设备上部署如GPT-3或BLOOM之类的大语言模型面临以下挑战：

• 内存限制：LLM需要大量内存，往往超出单个移动设备的容量。
• 计算能力限制：移动设备通常计算能力有限，难以运行大型模型。
• 隐私问题：将数据发送到中央服务器进行处理可能引发隐私问题。

LinguaLinked 的解决方案​

LinguaLinked通过以下三个关键策略应对这些挑战：

1. 优化模型分配：

• 系统通过线性优化将LLM分割成较小的子图，并将每个子图匹配到设备的能力。
• 这确保了资源的高效使用，并减少了设备间的数据传输。

2. 运行时负载平衡：

• LinguaLinked实时监控设备性能，并重新分配任务以防止瓶颈。
• 这种动态方法确保了所有可用资源的高效利用，提高了整体系统的响应速度。

3. 优化通信：

• 高效的数据传输图指导设备间信息流动，保持模型的结构完整性。
• 这种方法减少了延迟，确保了移动设备网络中的数据处理及时性。

单个大语言模型（LLM）被分成不同的部分（或片段），并分布在多个移动设备上。此方法使每个设备仅处理总计算和存储需求的一部分，使得即使资源有限的设备也能运行复杂的模型。以下是其工作原理的简要概述：

模型分割与分布​

1. 模型分割：

• 大语言模型被转换为一个计算图，其中网络中的每个操作都表示为一个节点。
• 然后将此图划分为较小的子图，每个子图都能独立运行。

2. 优化模型分配：

• 通过线性优化，这些子图（或模型片段）被分配到不同的移动设备。
• 分配时考虑了每个设备的计算和内存能力，确保了资源的高效利用，并最小化了设备之间的数据传输开销。

3. 协作推理执行：

• 每个移动设备处理其分配的模型片段。
• 设备之间相互通信以根据需要交换中间结果，确保整个推理任务正确完成。
• 采用优化的通信策略，保持原始模型结构的完整性，确保数据流的高效性。

示例场景​

设想将一个大语言模型如GPT-3分割成若干部分。一个移动设备可能处理模型的初始token嵌入和前几层，而另一个设备处理中间层，第三个设备完成最后的层并生成输出。在整个过程中，设备间共享中间输出，确保完整的模型推理无缝执行。

性能与结果​

LinguaLinked通过在各种高端和低端Android设备上的广泛测试展示了其效果。主要发现包括：

• 推理速度：与基线相比，LinguaLinked在单线程环境中加速了推理性能1.11倍至1.61倍，在多线程环境中加速1.73倍至2.65倍。
• 负载平衡：系统的运行时负载平衡进一步提升了性能，整体加速达1.29倍至1.32倍。
• 可扩展性：较大的模型显著受益于LinguaLinked的优化模型分配，展示了其处理复杂任务的可扩展性和有效性。

用例与应用​

LinguaLinked特别适合注重隐私和效率的场景。应用包括：

• 文本生成和摘要：在移动设备上本地生成连贯且符合上下文的文本。
• 情感分析：高效分类文本数据，同时确保用户隐私。
• 实时翻译：直接在设备上提供快速准确的翻译。

未来发展方向​

LinguaLinked为移动AI的进一步发展铺平了道路：

• 能效优化：未来的迭代将侧重于优化能耗，以防止在执行密集任务期间电池耗尽和过热。
• 隐私增强：去中心化处理的持续改进将确保更高的数据隐私。
• 多模态模型：扩展LinguaLinked以支持多模态模型，适用于各种现实世界的应用场景。

结论​

LinguaLinked代表了在移动设备上部署LLM的重大进步。通过分布计算负载和优化资源使用，它使先进的AI在各种设备上变得可访问且高效。这一创新不仅提升了性能，还确保了数据隐私，为更个性化和安全的移动AI应用奠定了基础。

随着大语言模型（LLM）和去中心化计算的兴起，尤其是在分布式系统中，验证和确保AI计算的完整性变得尤为重要。6079推理证明协议（PoIP）通过建立一个稳健的框架来解决这些挑战，确保去中心化AI推理的可靠性和安全性。

挑战：去中心化AI推理的安全性​

去中心化AI推理面临着确保网络上分布式节点所执行计算的完整性和正确性的独特问题。传统的验证方法由于许多AI模型的非确定性特性而显得不足。没有一个强有力的协议，就很难保证分布式硬件能够返回准确的推理结果。

推理证明协议（PoIP）的引入​

6079推理证明协议（PoIP）为保护去中心化AI推理提供了一种开创性的解决方案。它结合了加密经济安全机制、加密证明和博弈论方法，以激励正确行为并惩罚网络中的恶意行为。

PoIP的核心组件​

推理引擎标准​

推理引擎标准为在去中心化网络上执行AI推理任务设定了计算模式和标准。这种标准化确保了分布式硬件上AI模型的一致性和可靠性能。

推理证明协议​

该协议在多个层面上运行：

1. 服务层：在物理硬件上执行模型推理。
2. 控制层：管理API端点，协调负载平衡，处理诊断。
3. 事务层：使用分布式哈希表（DHT）来跟踪事务元数据。
4. 概率证明层：通过加密和经济机制验证事务。
5. 经济层：处理支付、质押、惩罚、安全、治理和公共资助。

确保完整性和安全性​

PoIP采用了多种机制来确保AI推理计算的完整性：

• 默克尔树验证：确保输入数据未被篡改地到达GPU。
• 分布式哈希表（DHT）：在节点之间同步事务数据，以检测差异。
• 诊断测试：评估硬件能力，并确保其符合网络标准。

经济激励与博弈论​

该协议利用经济激励来鼓励节点间的理想行为：

• 质押：节点质押代币以表明其承诺并提高信誉。
• 声誉建立：成功完成任务可提高节点声誉，使其在未来任务中更具吸引力。
• 竞争性博弈机制：节点间竞争以提供最佳服务，确保持续改进并遵守标准。

常见问题​

什么是推理证明协议（PoIP）？​

推理证明协议（PoIP）是一种设计用于保护和验证去中心化网络上AI推理计算的系统。它确保分布式硬件节点返回准确且可信的结果。

PoIP如何确保AI计算的完整性？​

PoIP通过默克尔树验证、分布式哈希表（DHT）和诊断测试等机制来验证AI计算的完整性。这些工具有助于检测差异，确保网络中处理的数据的正确性。

经济激励在PoIP中起什么作用？​

PoIP中的经济激励鼓励节点间的理想行为。节点质押代币以表明其承诺，通过成功完成任务建立声誉，并通过竞争提供最佳服务。该系统确保了持续改进并遵守网络标准。

PoIP的主要层次是什么？​

PoIP在五个主要层次上运行：服务层、控制层、事务层、概率证明层和经济层。每一层在确保去中心化网络上AI推理的安全性、完整性和效率方面发挥着关键作用。

结论​

6079推理证明协议在去中心化AI领域代表了一项重要的进展。通过确保分布式网络上AI计算的安全性和可靠性，PoIP为去中心化AI应用的更广泛采用和创新提供了新的途径。随着我们迈向更加去中心化的未来，像PoIP这样的协议将在维护AI驱动系统的信任和完整性方面发挥关键作用。

• 来源: https://cuckoo.network/blog/2024/07/03/proof-of-inference-protocol-decentralized-ai
• Telegram: https://cuckoo.network/tg
• Discord: https://cuckoo.network/dc

在去中心化AI领域，确保GPU提供商的完整性和可靠性至关重要。Holistic AI最近的研究中提出的抽样证明（PoSP）协议，提供了一种复杂的机制，通过奖励诚实行为和削减不良行为来激励良好的参与者。让我们来看看这个协议是如何工作的，它的经济激励、惩罚机制以及在去中心化AI推理中的应用。

对诚实行为的激励​

经济奖励​

PoSP协议的核心是设计经济激励来鼓励诚实的参与。节点作为主张者和验证者，根据他们的贡献获得奖励：

• 主张者（Asserters）：如果他们计算的输出是正确的且未受到质疑，则会获得奖励（RA）。
• 验证者（Validators）：如果他们的结果与主张者的结果一致并被验证为正确，则共享奖励（RV/n）。

独特的纳什均衡​

PoSP协议旨在通过纯策略实现独特的纳什均衡，使所有节点都被激励去诚实行事。通过将个人利润与系统安全对齐，该协议确保诚实是参与者最有利可图的策略。

对不诚实行为的惩罚​

削减机制​

为了遏制不诚实行为，PoSP协议采用削减机制。如果主张者或验证者被发现不诚实，他们将面临重大的经济惩罚（S）。这确保了不诚实的成本远远超过任何潜在的短期利益。

挑战机制​

随机挑战进一步保障了系统安全。协议会根据预定的概率（p）触发挑战，其中多个验证者将重新计算主张者的输出。如果发现差异，不诚实的参与者将受到惩罚。这种随机选择过程使得不良参与者难以勾结并在不被发现的情况下作弊。

PoSP协议的步骤​

1. 主张者选择：随机选择一个节点作为主张者，计算并输出一个值。

2. 挑战概率：

   系统可能会根据预定的概率触发挑战。

• 无挑战：如果未触发挑战，主张者将获得奖励。
• 触发挑战：随机选择一定数量（n）的验证者来验证主张者的输出。

3. 验证：

   每个验证者独立计算结果，并将其与主张者的输出进行比较。

• 匹配：如果所有结果匹配，则主张者和验证者都将获得奖励。
• 不匹配：通过仲裁过程确定主张者和验证者的诚实性。

4. 惩罚：不诚实的节点将受到惩罚，而诚实的验证者将获得其应得的奖励份额。

SpML协议​

SpML（基于抽样的机器学习）协议是在去中心化AI推理网络中实现抽样证明（PoSP）协议的一种方式。

关键步骤​

1. 用户输入：用户将输入发送到随机选择的服务器（主张者），并附上他们的数字签名。
2. 服务器输出：服务器计算输出，并将其连同结果的哈希一起发送回用户。
3. 挑战机制：

• 系统可能会根据预定的概率（p）触发挑战，随机选择另一台服务器（验证者）来验证结果。
• 如果未触发挑战，主张者将获得奖励（R），流程结束。

4. 验证：

• 如果触发挑战，用户将相同的输入发送给验证者。
• 验证者计算结果，并将其连同哈希一起发送回用户。

5. 比较：

• 用户比较主张者和验证者输出的哈希值。
• 如果哈希匹配，主张者和验证者都将获得奖励，用户将获得基本费用的折扣。
• 如果哈希不匹配，用户将两个哈希值广播到网络。

6. 仲裁：

• 网络投票决定主张者和验证者的诚实性，基于不一致的情况。
• 诚实的节点将获得奖励，而不诚实的节点将受到惩罚（削减）。

关键组件与机制​

• 确定性机器学习执行：使用定点算法和基于软件的浮点库来确保结果的一致性和可重复性。
• 无状态设计：将每个查询视为独立的，在整个机器学习过程中保持无状态性。
• 无许可参与：任何人都可以加入网络，通过运行AI服务器进行贡献。
• 链外操作：AI推理在链外计算，以减轻区块链负载，结果和数字签名直接传递给用户。
• 链上操作：关键功能，如余额计算和挑战机制，在链上处理，以确保透明性和安全性。

SpML的优势​

• 高安全性：通过经济激励实现安全性，确保节点因不诚实行为的潜在惩罚而诚实行事。
• 低计算开销：验证者在大多数情况下只需比较哈希值，减少验证过程中的计算负担。
• 可扩展性：可以处理大量的网络活动而不会显著降低性能。
• 简易性：保持实现过程的简易性，增强集成和维护的便捷性。

与其他协议的比较​

• 乐观欺诈证明（opML）：
  • 依赖经济惩罚机制来防止欺诈行为，并通过争议解决机制进行处理。
  • 如果没有足够多的验证者是诚实的，可能容易受到欺诈行为的攻击。
• 零知识证明（zkML）：
  • 通过密码学证明确保高安全性。
  • 由于高计算开销，面临可扩展性和效率的挑战。
• SpML：
  • 通过经济激励结合高安全性、低计算开销和高可扩展性。
  • 简化验证过程，专注于哈希值比较，减少挑战过程中的复杂计算需求。

总结​

抽样证明（PoSP）协议有效地平衡了激励良好参与者和遏制不良行为的需求，确保了去中心化系统的整体安全性和可靠性。通过结合经济奖励和严格的惩罚措施，PoSP营造了一个鼓励诚实行为的环境，并使其成为成功的必要条件。随着去中心化AI的不断发展，像PoSP这样的协议将对维护这些先进系统的完整性和可信度至关重要。

• 来源: https://cuckoo.network/blog/2024/06/17/proof-of-sampling-posp-protocol-decentralized-ai
• Telegram: https://cuckoo.network/tg
• Discord: https://cuckoo.network/dc

Arbitrum Nitro由Offchain Labs开发，是一款第二代Layer 2区块链协议，旨在提升吞吐量、最终性和争议解决能力。它基于原始Arbitrum协议，带来了显著的增强，以满足现代区块链的需求。

Arbitrum Nitro的关键特性​

Arbitrum Nitro作为以太坊上的Layer 2解决方案，支持使用以太坊虚拟机（EVM）代码执行智能合约。这确保了与现有以太坊应用程序和工具的兼容性。该协议保证了安全性和进展，前提是底层以太坊链保持安全和活跃，并且至少有一个Nitro协议参与者表现诚实。

设计思路​

Nitro的架构基于四个核心原则：

• 顺序执行后确定性执行：交易首先排序，然后按顺序执行。这种两阶段的方法确保了一个一致且可靠的执行环境。
• Geth为核心：Nitro利用go-ethereum（geth）包进行核心执行和状态维护，确保与以太坊的高度兼容性。
• 将执行与证明分离：状态转换函数被编译为本地执行和WebAssembly（wasm），以促进高效执行和结构化的、与机器无关的证明。
• 采用交互式欺诈证明的乐观汇总：基于Arbitrum的原始设计，Nitro采用了改进的乐观汇总协议，并配有复杂的欺诈证明机制。

排序与执行​

Nitro中的交易处理涉及两个关键组件：排序器和状态转换函数（STF）。

• 排序器：对传入交易进行排序并对该顺序进行承诺。它确保交易顺序是已知且可靠的，既作为实时数据流发布，也作为压缩数据批次发布到以太坊Layer 1链上。这种双重方法增强了可靠性并防止了审查。
• 确定性执行：STF处理排序后的交易，更新链状态并生成新块。这个过程是确定性的，意味着结果仅依赖于交易数据和先前状态，确保了网络中的一致性。

软件架构：Geth为核心​

Nitro的软件架构分为三层：

• 基础层（Geth核心）：此层处理EVM合约的执行，并维护以太坊状态数据结构。
• 中间层（ArbOS）：自定义软件，提供Layer 2功能，包括解压排序器批次、管理gas成本和支持跨链功能。
• 顶层：从geth引入，此层处理连接、传入的RPC请求以及其他顶级节点功能。

跨链交互​

Arbitrum Nitro通过Outbox、Inbox和可重试票据等机制支持安全的跨链交互。

• Outbox：允许从Layer 2到Layer 1的合约调用，确保消息在以太坊上安全传输和执行。
• Inbox：管理从以太坊发送到Nitro的交易，确保它们以正确的顺序被包含。
• 可重试票据：允许重新提交失败的交易，确保可靠性并减少丢失交易的风险。

Gas和费用​

Nitro采用了复杂的gas计量和定价机制来管理交易成本：

• L2 Gas计量与定价：跟踪gas使用情况并通过算法调整基础费用，以平衡需求和容量。
• L1数据计量与定价：确保覆盖与Layer 1交互相关的成本，使用自适应定价算法来准确分配这些成本。

结论​

Cuckoo Network对投资Arbitrum的发展充满信心。Arbitrum Nitro的先进Layer 2解决方案提供了无与伦比的可扩展性、更快的最终性和高效的争议解决能力。其与以太坊的兼容性为我们的去中心化应用程序提供了安全、高效的环境，与我们对创新和性能的承诺相一致。

• 来源: https://cuckoo.network/blog/2024/06/06/introduction-to-arbitrum-nitro
• Telegram: https://cuckoo.network/tg
• Discord: https://cuckoo.network/dc

区块链和AI的结合正在引起市场的广泛关注。随着ChatGPT迅速积累了数亿用户，Nvidia的股票在2023年暴涨八倍，AI已牢牢确立了其作为主导趋势的地位。这一影响正在溢出到区块链等相关领域，AI应用也在不断被探索。

目前，Crypto在AI中扮演了互补的角色，展现出巨大的增长潜力。大多数组织仍处于探索阶段，主要聚焦于计算能力（云和市场）、模型（AI代理）和数据存储的代币化。

去中心化加密技术并不能直接提高AI训练的效率或降低成本，但能够促进资产交易，吸引之前未被利用的计算能力。在当今计算资源稀缺的环境下，这是有利可图的。对模型进行代币化能够实现去中心化的社区所有权或使用，降低了障碍，并为集中化AI提供了替代方案。然而，去中心化的数据仍然面临代币化的挑战，尚需进一步探索。

尽管市场尚未在AI和加密领域达成共识，但生态系统正在逐步成形。今天我们将回顾几个类别：基础设施即服务云、计算市场、模型代币化与训练、AI代理、数据代币化、ZKML以及AI应用。

基础设施即服务云​

随着AI市场的增长，GPU云计算项目和市场成为了最早受益的领域之一。它们旨在将未使用的GPU资源整合到集中化网络中，从而降低与传统服务相比的计算成本。

这些云服务并未被视为去中心化解决方案，但它们是web3 + AI生态系统的重要组成部分。GPU作为稀缺资源，本身具有内在价值。

关键项目：

• Akash Network: 基于Cosmos SDK的去中心化云计算市场，使用Kubernetes进行编排，并通过反向拍卖定价来降低成本，专注于CPU和GPU计算。
• Ritual: 将AI模型集成到区块链协议中的AI基础设施网络。其Infernet平台使智能合约能够直接访问模型。
• Render Network: 去中心化GPU渲染平台，专注于渲染和AI计算。迁移到Solana以提高性能和降低成本。
• NetMind.AI: 提供计算资源市场、聊天机器人和生活助手服务的AI生态系统，支持广泛的GPU模型并集成Google Colab。
• CUDOS: 类似于Akash的区块链计算网络，通过Cosmos SDK专注于GPU计算。
• Nuco.cloud: 基于Ethereum和Telos的去中心化计算云服务，提供一系列解决方案。
• Dynex: 针对神经形态计算的区块链，使用有用工作量证明（Proof-of-Useful-Work）来提高效率。
• OctaSpace: 去中心化计算云，基于其自身的区块链，专注于AI和图像处理。
• AIOZ Network: 用于AI、存储和流媒体的Layer 1去中心化计算平台。
• Phoenix: 面向AI计算和数据驱动网络的Web3区块链基础设施。
• Aethir: 基于Arbitrum的游戏和AI云基础设施。
• Iagon: 基于Cardano的去中心化存储和计算市场。
• OpFlow: 重点关注AI和渲染的云平台，使用NVIDIA GPUs。
• OpSec: 新兴的去中心化云平台，旨在构建下一代超级计算机。

计算资源市场​

去中心化计算资源市场利用用户提供的GPU和CPU资源来执行AI任务、训练和推理。这些市场动员了未使用的计算能力，通过激励机制降低进入门槛。

这些GPU计算市场通常注重去中心化的叙事，而不是服务效用。像io.net和Nosana这样的项目，利用Solana和DePin概念，展示了巨大的增长潜力。在需求高峰期的GPU市场中早期投资可以通过激励措施和投资回报率获得高回报。

关键项目：

• Cuckoo AI: 一个去中心化市场，奖励为AI模型服务的GPU矿工，每天以ERC20支付。它使用区块链智能合约，重点关注透明度、隐私和模块化。
• Clore.ai: 一个使用PoW的GPU租赁平台。用户可以租用GPU进行AI训练、渲染和挖矿任务。奖励与其持有的代币数量挂钩。
• Nosana: 基于Solana的开源GPU云计算提供商，专注于AI推理，正在开发PyTorch、HuggingFace、TensorFlow和社区库的连接器。
• io.net: 一个利用Solana区块链技术的AI云计算网络。提供成本效益高的GPU资源，支持批量推理和并行训练。
• Gensyn: 一个用于深度学习模型训练的L1协议。旨在通过一个无信任、分布式系统提高训练效率，专注于降低训练成本和提高可访问性。
• Nimble: 一个结合数据、计算能力和开发者的去中心化AI生态系统。旨在使AI训练更加可访问，并拥有一个去中心化、可组合的框架。
• Morpheus AI: 一个基于Arbitrum的去中心化计算市场，帮助用户创建与智能合约互动的AI代理。
• Kuzco: 在Solana上用于LLM推理的分布式GPU集群。提供高效的本地模型托管，并以KZO点奖励贡献者。
• Golem: 一个基于以太坊的CPU计算市场，现已扩展到GPU。它是最早的点对点计算网络之一。
• Node AI: 一个GPU云市场，通过EyePerformance提供负担得起的GPU租赁。
• GPU.Net: 一个提供生成式AI、Web3和高端图形渲染基础设施的去中心化GPU网络。
• GamerHash: 一个利用玩家闲置计算能力进行加密货币挖矿的平台，同时引入了低端设备的玩赚模型。
• NodeSynapse: 一个提供Web3基础设施、GPU计算、服务器托管以及独特收入共享模型的GPU市场。

模型代币化与训练​

模型代币化与训练涉及将AI模型转化为有价值的资产，并将其集成到区块链网络中。这种方式实现了去中心化的所有权、数据共享和决策，带来了更高的透明度、安全性和货币化机会，同时创造了新的投资渠道。

关键在于识别具有真正创新和技术挑战的项目。简单地交易AI模型的所有权或使用权并不是真正的创新。真正的进步来自于有效地验证模型输出，并确保模型的安全、去中心化操作。

关键项目：

• SaharaLabs: 重点关注隐私和数据共享，提供像Knowledge Agent和Data Marketplace这样的工具，帮助保障数据操作的安全，并吸引了MIT和Microsoft等客户。
• Bittensor: 构建一个去中心化协议，让AI模型之间交换价值。它使用验证者和矿工来排名响应，并提升AI驱动应用的整体质量。
• iExec RLC: 一个去中心化云计算平台，通过贡献证明（Proof-of-Contribution）共识机制保障资源安全，同时管理短期计算任务。
• Allora: 通过共识机制验证代理预测，在去中心化网络中奖励准确的市场预测AI代理。
• lPAAL AI: 提供一个创建个性化AI模型的平台，能够处理市场情报、交易策略和其他专业任务。
• MyShell: 提供一个灵活的AI平台，用于聊天机器人开发和第三方模型集成，通过本地代币激励开发者。
• Qubic: 利用工作量证明共识进行AI训练，Aigarth软件层促进神经网络的创建。

AI代理​

AI代理或智能代理是具有自主理解、记忆、决策、工具使用和执行复杂任务能力的实体。这些代理不仅指导用户如何执行任务，还积极帮助完成任务。具体来说，这里指的是与区块链技术互动的AI代理，用于交易、提供投资建议、操作机器人、增强去中心化金融（DeFi）功能和执行链上数据分析。

这些AI代理与区块链技术紧密结合，使它们能够直接产生收入，引入新的交易场景，并增强区块链用户体验。这种集成代表了DeFi中的高级叙事，通过交易活动创造利润，吸引资本投资，并助长了