4 articles étiquetés avec "recherche"

La demande de déploiement de modèles de langage de grande taille (LLM) sur des appareils mobiles augmente, motivée par le besoin de confidentialité, de réduction de la latence et d'utilisation efficace de la bande passante. Cependant, les exigences étendues en mémoire et en calcul des LLM posent des défis significatifs. Voici LinguaLinked, un nouveau système développé par un groupe de chercheurs de l'UC Irvine, conçu pour permettre une inférence LLM décentralisée et distribuée sur plusieurs appareils mobiles, en tirant parti de leurs capacités collectives pour effectuer des tâches complexes de manière efficace.

Le Défi​

Déployer des LLM comme GPT-3 ou BLOOM sur des appareils mobiles est difficile en raison de :

• Contraintes de mémoire : Les LLM nécessitent une mémoire substantielle, souvent supérieure à la capacité des appareils mobiles individuels.
• Limitations computationnelles : Les appareils mobiles ont généralement une puissance de traitement limitée, rendant difficile l'exécution de grands modèles.
• Préoccupations de confidentialité : Envoyer des données à des serveurs centralisés pour traitement soulève des problèmes de confidentialité.

La Solution de LinguaLinked​

LinguaLinked répond à ces défis avec trois stratégies clés :

1. Affectation optimisée des modèles :

   • Le système segmente les LLM en sous-graphes plus petits en utilisant l'optimisation linéaire pour faire correspondre chaque segment aux capacités d'un appareil.
   • Cela assure une utilisation efficace des ressources et minimise la transmission de données entre appareils.

2. Équilibrage de charge à l'exécution :

   • LinguaLinked surveille activement les performances des appareils et redistribue les tâches pour éviter les goulets d'étranglement.
   • Cette approche dynamique assure une utilisation efficace de toutes les ressources disponibles, améliorant la réactivité globale du système.

3. Communication optimisée :

   • Des cartes de transmission de données efficaces guident le flux d'informations entre les appareils, maintenant l'intégrité structurelle du modèle.
   • Cette méthode réduit la latence et assure un traitement des données en temps opportun à travers le réseau d'appareils mobiles.

Un seul modèle de langage de grande taille (LLM) est divisé en différentes parties (ou segments) et distribué sur plusieurs appareils mobiles. Cette approche permet à chaque appareil de gérer seulement une fraction des exigences totales de calcul et de stockage, rendant possible l'exécution de modèles complexes même sur des appareils aux ressources limitées. Voici un aperçu de comment cela fonctionne :

Segmentation et Distribution du Modèle​

1. Segmentation du modèle :
   • Le grand modèle de langage est transformé en un graphe computationnel où chaque opération au sein du réseau est représentée comme un nœud.
   • Ce graphe est ensuite partitionné en sous-graphes plus petits, chacun capable de fonctionner indépendamment.
2. Affectation optimisée des modèles :
   • En utilisant l'optimisation linéaire, ces sous-graphes (ou segments de modèle) sont assignés à différents appareils mobiles.
   • L'affectation prend en compte les capacités computationnelles et de mémoire de chaque appareil, assurant une utilisation efficace des ressources et minimisant la surcharge de transmission de données entre appareils.
3. Exécution collaborative de l'inférence :
   • Chaque appareil mobile traite son segment assigné du modèle.
   • Les appareils communiquent entre eux pour échanger les résultats intermédiaires selon les besoins, garantissant que la tâche d'inférence globale est complétée correctement.
   • Des stratégies de communication optimisées sont employées pour maintenir l'intégrité de la structure originale du modèle et assurer un flux de données efficace.

Scénario d'Exemple​

Imaginez un grand modèle de langage comme GPT-3 divisé en plusieurs parties. Un appareil mobile pourrait gérer les embeddings de tokens initiaux et les premières couches du modèle, tandis qu'un autre appareil traite les couches intermédiaires, et un troisième appareil complète les couches finales et génère la sortie. Tout au long de ce processus, les appareils partagent les sorties intermédiaires pour garantir que l'inférence complète du modèle est exécutée sans accroc.

Performance et Résultats​

L'efficacité de LinguaLinked est démontrée par des tests approfondis sur divers appareils Android, à la fois haut de gamme et bas de gamme. Les principales conclusions incluent :

• Vitesse d'inférence : Comparé à une référence, LinguaLinked accélère la performance d'inférence de 1,11× à 1,61× en mode mono-thread et de 1,73× à 2,65× avec le multi-threading.
• Équilibrage de charge : L'équilibrage de charge à l'exécution du système améliore encore la performance, avec une accélération globale de 1,29× à 1,32×.
• Scalabilité : Les modèles plus grands bénéficient significativement de l'affectation optimisée des modèles de LinguaLinked, démontrant sa scalabilité et son efficacité dans la gestion de tâches complexes.

Cas d'Utilisation et Applications​

LinguaLinked est particulièrement adapté aux scénarios où la confidentialité et l'efficacité sont primordiales. Les applications incluent :

• Génération et Résumé de Texte : Génération de texte cohérent et contextuellement pertinent localement sur des appareils mobiles.
• Analyse de Sentiments : Classification efficace des données textuelles sans compromettre la confidentialité de l'utilisateur.
• Traduction en Temps Réel : Fourniture de traductions rapides et précises directement sur l'appareil.

Directions Futures​

LinguaLinked ouvre la voie à de nouvelles avancées dans l'IA mobile :

• Efficacité Énergétique : Les futures itérations se concentreront sur l'optimisation de la consommation d'énergie pour éviter l'épuisement de la batterie et la surchauffe lors de tâches intensives.
• Confidentialité Améliorée : Des améliorations continues dans le traitement décentralisé garantiront une confidentialité des données encore plus grande.
• Modèles Multi-modalité : Expansion de LinguaLinked pour prendre en charge des modèles multi-modalité pour diverses applications du monde réel.

Conclusion​

LinguaLinked représente un bond en avant significatif dans le déploiement de LLM sur des appareils mobiles. En distribuant la charge computationnelle et en optimisant l'utilisation des ressources, il rend l'IA avancée accessible et efficace sur une large gamme d'appareils. Cette innovation améliore non seulement la performance mais garantit également la confidentialité des données, ouvrant la voie à des applications d'IA mobile plus personnalisées et sécurisées.

L'essor des grands modèles de langage (LLM) et de l'informatique décentralisée a introduit des défis significatifs, notamment en ce qui concerne la vérification et l'intégrité des calculs d'IA à travers des systèmes distribués. Le protocole 6079 de preuve d'inférence (PoIP) répond à ces défis en établissant un cadre robuste pour l'inférence d'IA décentralisée, garantissant des calculs fiables et sécurisés.

Le défi : la sécurité dans l'inférence d'IA décentralisée​

L'inférence d'IA décentralisée fait face au problème unique d'assurer l'intégrité et la justesse des calculs effectués sur un réseau de nœuds distribués. Les méthodes traditionnelles de vérification sont insuffisantes en raison de la nature non déterministe de nombreux modèles d'IA. Sans un protocole robuste, il est difficile de garantir que le matériel distribué renvoie des résultats d'inférence précis.

Présentation du protocole de preuve d'inférence (PoIP)​

Le protocole 6079 de preuve d'inférence (PoIP) propose une solution révolutionnaire pour sécuriser l'inférence d'IA décentralisée. Il utilise une combinaison de mécanismes de sécurité cryptoeconomiques, de preuves cryptographiques et d'approches de théorie des jeux pour inciter à un comportement correct et pénaliser les activités malveillantes au sein du réseau.

Composants principaux du PoIP​

Norme du moteur d'inférence​

La norme du moteur d'inférence définit les modèles de calcul et les normes pour exécuter les tâches d'inférence d'IA sur des réseaux décentralisés. Cette standardisation assure des performances cohérentes et fiables des modèles d'IA sur le matériel distribué.

Protocole de preuve d'inférence​

Le protocole fonctionne sur plusieurs couches :

1. Couche de service : Exécute l'inférence de modèle sur le matériel physique.
2. Couche de contrôle : Gère les points de terminaison API, coordonne l'équilibrage de charge et gère les diagnostics.
3. Couche de transaction : Utilise une table de hachage distribuée (DHT) pour suivre les métadonnées des transactions.
4. Couche de preuve probabiliste : Valide les transactions par des mécanismes cryptographiques et économiques.
5. Couche économique : Gère le paiement, le staking, le slashing, la sécurité, la gouvernance et le financement public.

Assurer l'intégrité et la sécurité​

Le PoIP emploie plusieurs mécanismes pour assurer l'intégrité des calculs d'inférence d'IA :

• Validation par arbre de Merkle : Assure que les données d'entrée atteignent les GPU sans altération.
• Table de hachage distribuée (DHT) : Synchronise les données de transaction à travers les nœuds pour détecter les divergences.
• Tests de diagnostic : Évaluent les capacités matérielles et assurent la conformité avec les normes du réseau.

Incitations économiques et théorie des jeux​

Le protocole utilise des incitations économiques pour encourager le comportement souhaitable parmi les nœuds :

• Staking : Les nœuds mettent en jeu des jetons pour démontrer leur engagement et accroître leur crédibilité.
• Construction de réputation : Les tâches réussies améliorent la réputation d'un nœud, le rendant plus attractif pour les tâches futures.
• Mécanismes de jeu compétitifs : Les nœuds rivalisent pour fournir le meilleur service, assurant une amélioration continue et le respect des normes.

FAQ​

Qu'est-ce que le protocole de preuve d'inférence ?​

Le protocole de preuve d'inférence (PoIP) est un système conçu pour sécuriser et vérifier les calculs d'inférence d'IA sur des réseaux décentralisés. Il garantit que les nœuds matériels distribués renvoient des résultats précis et fiables.

Comment le PoIP assure-t-il l'intégrité des calculs d'IA ?​

Le PoIP utilise des mécanismes tels que la validation par arbre de Merkle, les tables de hachage distribuées (DHT) et les tests de diagnostic pour vérifier l'intégrité des calculs d'IA. Ces outils aident à détecter les divergences et à assurer la justesse des données traitées à travers le réseau.

Quel rôle jouent les incitations économiques dans le PoIP ?​

Les incitations économiques dans le PoIP encouragent le comportement souhaitable parmi les nœuds. Les nœuds mettent en jeu des jetons pour démontrer leur engagement, construisent leur réputation grâce à des tâches réussies et rivalisent pour fournir le meilleur service. Ce système assure une amélioration continue et le respect des normes du réseau.

Quelles sont les principales couches du PoIP ?​

Le PoIP fonctionne sur cinq couches principales : la couche de service, la couche de contrôle, la couche de transaction, la couche de preuve probabiliste et la couche économique. Chaque couche joue un rôle crucial pour assurer la sécurité, l'intégrité et l'efficacité de l'inférence d'IA sur des réseaux décentralisés.

Conclusion​

Le protocole 6079 de preuve d'inférence représente une avancée intéressante dans le domaine de l'IA décentralisée. En assurant la sécurité et la fiabilité des calculs d'IA sur des réseaux distribués, le PoIP indique une nouvelle voie pour une adoption plus large et une innovation dans les applications d'IA décentralisées. Alors que nous nous dirigeons vers un avenir plus décentralisé, des protocoles comme le PoIP seront utiles pour maintenir la confiance et l'intégrité dans les systèmes alimentés par l'IA.

• source : https://cuckoo.network/blog/2024/07/03/proof-of-inference-protocol-decentralized-ai
• telegram : https://cuckoo.network/tg
• discord : https://cuckoo.network/dc

Dans l'IA décentralisée, assurer l'intégrité et la fiabilité des fournisseurs de GPU est crucial. Le protocole de Preuve d'Échantillonnage (PoSP), tel que décrit dans les recherches récentes de Holistic AI, fournit un mécanisme sophistiqué pour inciter les bons acteurs tout en pénalisant les mauvais. Voyons comment fonctionne ce protocole, ses incitations économiques, ses pénalités et son application à l'inférence IA décentralisée.

Incitations pour un Comportement Honnête​

Récompenses Économiques​

Au cœur du protocole PoSP se trouvent des incitations économiques conçues pour encourager une participation honnête. Les nœuds, agissant en tant qu'asserteurs et validateurs, sont récompensés en fonction de leurs contributions :

• Asserteurs : Reçoivent une récompense (RA) si leur sortie calculée est correcte et non contestée.
• Validateurs : Partagent la récompense (RV/n) si leurs résultats s'alignent avec ceux de l'asserteur et sont vérifiés comme corrects.

Équilibre de Nash Unique​

Le protocole PoSP est conçu pour atteindre un équilibre de Nash unique en stratégies pures, où tous les nœuds sont motivés à agir honnêtement. En alignant le profit individuel avec la sécurité du système, le protocole garantit que l'honnêteté est la stratégie la plus rentable pour les participants.

Pénalités pour un Comportement Malhonnête​

Mécanisme de Pénalisation​

Pour dissuader un comportement malhonnête, le protocole PoSP utilise un mécanisme de pénalisation. Si un asserteur ou un validateur est pris en flagrant délit de malhonnêteté, il subit des pénalités économiques significatives (S). Cela garantit que le coût de la malhonnêteté dépasse de loin tout gain potentiel à court terme.

Mécanisme de Défi​

Des défis aléatoires sécurisent davantage le système. Avec une probabilité prédéterminée (p), le protocole déclenche un défi où plusieurs validateurs recalculent la sortie de l'asserteur. Si des divergences sont trouvées, les acteurs malhonnêtes sont pénalisés. Ce processus de sélection aléatoire rend difficile pour les mauvais acteurs de colluder et de tricher sans être détectés.

Étapes du Protocole PoSP​

1. Sélection de l'Asserteur : Un nœud est sélectionné aléatoirement pour agir en tant qu'asserteur, calculant et produisant une valeur.

2. Probabilité de Défi :

   Le système peut déclencher un défi basé sur une probabilité prédéterminée.

   • Pas de Défi : L'asserteur est récompensé si aucun défi n'est déclenché.
   • Défi Déclenché : Un nombre défini (n) de validateurs est sélectionné aléatoirement pour vérifier la sortie de l'asserteur.

3. Validation :

   Chaque validateur calcule indépendamment le résultat et le compare à la sortie de l'asserteur.

   • Correspondance : Si tous les résultats correspondent, l'asserteur et les validateurs sont récompensés.
   • Non-Correspondance : Un processus d'arbitrage détermine l'honnêteté de l'asserteur et des validateurs.

4. Pénalités : Les nœuds malhonnêtes sont pénalisés, tandis que les validateurs honnêtes reçoivent leur part de récompense.

spML​

Le protocole spML (Machine Learning basé sur l'échantillonnage) est une implémentation du protocole de Preuve d'Échantillonnage (PoSP) au sein d'un réseau d'inférence IA décentralisé.

Étapes Clés​

1. Entrée Utilisateur : L'utilisateur envoie son entrée à un serveur sélectionné aléatoirement (asserteur) avec sa signature numérique.
2. Sortie du Serveur : Le serveur calcule la sortie et la renvoie à l'utilisateur avec un hachage du résultat.
3. Mécanisme de Défi :
   • Avec une probabilité prédéterminée (p), le système déclenche un défi où un autre serveur (validateur) est sélectionné aléatoirement pour vérifier le résultat.
   • Si aucun défi n'est déclenché, l'asserteur reçoit une récompense (R) et le processus se termine.
4. Vérification :
   • Si un défi est déclenché, l'utilisateur envoie la même entrée au validateur.
   • Le validateur calcule le résultat et le renvoie à l'utilisateur avec un hachage.
5. Comparaison :
   • L'utilisateur compare les hachages des sorties de l'asserteur et du validateur.
   • Si les hachages correspondent, l'asserteur et le validateur sont récompensés, et l'utilisateur reçoit une réduction sur les frais de base.
   • Si les hachages ne correspondent pas, l'utilisateur diffuse les deux hachages au réseau.
6. Arbitrage :
   • Le réseau vote pour déterminer l'honnêteté de l'asserteur et du validateur en fonction des divergences.
   • Les nœuds honnêtes sont récompensés, tandis que les malhonnêtes sont pénalisés (pénalisés).

Composants et Mécanismes Clés​

• Exécution ML Déterministe : Utilise l'arithmétique à virgule fixe et des bibliothèques de virgule flottante basées sur logiciel pour garantir des résultats cohérents et reproductibles.
• Conception Sans État : Traite chaque requête comme indépendante, maintenant l'absence d'état tout au long du processus ML.
• Participation Sans Permission : Permet à quiconque de rejoindre le réseau et de contribuer en exécutant un serveur IA.
• Opérations Hors-chaine : Les inférences IA sont calculées hors-chaine pour réduire la charge sur la blockchain, avec les résultats et les signatures numériques relayés directement aux utilisateurs.
• Opérations Sur-chaine : Les fonctions critiques, telles que les calculs de solde et les mécanismes de défi, sont gérées sur-chaine pour assurer transparence et sécurité.

Avantages de spML​

• Haute Sécurité : Atteint la sécurité grâce à des incitations économiques, garantissant que les nœuds agissent honnêtement en raison des pénalités potentielles pour malhonnêteté.
• Faible Surcharge de Calcul : Les validateurs n'ont besoin que de comparer les hachages dans la plupart des cas, réduisant la charge de calcul lors de la vérification.
• Scalabilité : Peut gérer une activité réseau étendue sans dégradation significative des performances.
• Simplicité : Maintient la simplicité dans l'implémentation, améliorant la facilité d'intégration et de maintenance.

Comparaison avec d'Autres Protocoles​

• Preuve Optimiste de Fraude (opML) :
  • S'appuie sur des désincitations économiques pour le comportement frauduleux et un mécanisme de résolution des litiges.
  • Vulnérable à l'activité frauduleuse si pas assez de validateurs sont honnêtes.
• Preuve à Connaissance Nulle (zkML) :
  • Assure une haute sécurité grâce à des preuves cryptographiques.
  • Confronte des défis en matière de scalabilité et d'efficacité en raison d'une surcharge de calcul élevée.
• spML :
  • Combine haute sécurité grâce à des incitations économiques, faible surcharge de calcul et haute scalabilité.
  • Simplifie le processus de vérification en se concentrant sur les comparaisons de hachages, réduisant le besoin de calculs complexes lors des défis.

Résumé​

Le protocole de Preuve d'Échantillonnage (PoSP) équilibre efficacement le besoin d'inciter les bons acteurs et de dissuader les mauvais, assurant la sécurité et la fiabilité globales des systèmes décentralisés. En combinant des récompenses économiques avec des pénalités strictes, PoSP favorise un environnement où le comportement honnête est non seulement encouragé mais nécessaire pour réussir. Alors que l'IA décentralisée continue de croître, des protocoles comme PoSP seront essentiels pour maintenir l'intégrité et la fiabilité de ces systèmes avancés.

• source: https://cuckoo.network/blog/2024/06/17/proof-of-sampling-posp-protocol-decentralized-ai
• telegram: https://cuckoo.network/tg
• discord: https://cuckoo.network/dc

Arbitrum Nitro, développé par Offchain Labs, est un protocole blockchain de deuxième génération de couche 2 conçu pour améliorer le débit, la finalité et la résolution des litiges. Il s'appuie sur le protocole Arbitrum original, apportant des améliorations significatives qui répondent aux besoins modernes de la blockchain.

Propriétés Clés d'Arbitrum Nitro​

Arbitrum Nitro fonctionne comme une solution de couche 2 au-dessus d'Ethereum, prenant en charge l'exécution de contrats intelligents utilisant le code de la machine virtuelle Ethereum (EVM). Cela garantit la compatibilité avec les applications et outils Ethereum existants. Le protocole garantit à la fois la sécurité et le progrès, en supposant que la chaîne Ethereum sous-jacente reste sûre et active, et qu'au moins un participant au protocole Nitro se comporte honnêtement.

Approche de Conception​

L'architecture de Nitro est construite sur quatre principes fondamentaux :

• Séquençage Suivi d'une Exécution Déterministe : Les transactions sont d'abord séquencées, puis traitées de manière déterministe. Cette approche en deux phases assure un environnement d'exécution cohérent et fiable.
• Geth au Cœur : Nitro utilise le package go-ethereum (geth) pour l'exécution principale et la maintenance de l'état, assurant une haute compatibilité avec Ethereum.
• Séparation de l'Exécution et de la Preuve : La fonction de transition d'état est compilée pour une exécution native et en web assembly (wasm) afin de faciliter une exécution efficace et une preuve structurée et indépendante de la machine.
• Rollup Optimiste avec Preuves de Fraude Interactives : S'appuyant sur le design original d'Arbitrum, Nitro utilise un protocole de rollup optimiste amélioré avec un mécanisme sophistiqué de preuve de fraude.

Séquençage et Exécution​

Le traitement des transactions dans Nitro implique deux composants clés : le Séquenceur et la Fonction de Transition d'État (STF).

• Le Séquenceur : Ordonne les transactions entrantes et s'engage sur cet ordre. Il garantit que la séquence des transactions est connue et fiable, la publiant à la fois comme un flux en temps réel et comme des lots de données compressées sur la chaîne Ethereum de couche 1. Cette double approche améliore la fiabilité et empêche la censure.
• Exécution Déterministe : La STF traite les transactions séquencées, mettant à jour l'état de la chaîne et produisant de nouveaux blocs. Ce processus est déterministe, ce qui signifie que le résultat dépend uniquement des données de transaction et de l'état précédent, assurant la cohérence à travers le réseau.

Architecture Logicielle : Geth au Cœur​

L'architecture logicielle de Nitro est structurée en trois couches :

• Couche de Base (Geth Core) : Cette couche gère l'exécution des contrats EVM et maintient les structures de données d'état Ethereum.
• Couche Intermédiaire (ArbOS) : Logiciel personnalisé qui fournit des fonctionnalités de couche 2, y compris la décompression des lots de séquenceur, la gestion des coûts de gaz et le support des fonctionnalités inter-chaînes.
• Couche Supérieure : Tirée de geth, cette couche gère les connexions, les requêtes RPC entrantes et d'autres fonctions de nœud de haut niveau.

Interaction Inter-Chaînes​

Arbitrum Nitro prend en charge des interactions inter-chaînes sécurisées grâce à des mécanismes comme la Boîte de Sortie, la Boîte de Réception et les Tickets Réessayables.

• La Boîte de Sortie : Permet les appels de contrat de la couche 2 à la couche 1, assurant que les messages sont transférés et exécutés en toute sécurité sur Ethereum.
• La Boîte de Réception : Gère les transactions envoyées à Nitro depuis Ethereum, garantissant qu'elles sont incluses dans le bon ordre.
• Tickets Réessayables : Permet la resoumission des transactions échouées, assurant la fiabilité et réduisant le risque de transactions perdues.

Gaz et Frais​

Nitro utilise un mécanisme sophistiqué de mesure et de tarification du gaz pour gérer les coûts des transactions :

• Mesure et Tarification du Gaz L2 : Suit l'utilisation du gaz et ajuste la redevance de base de manière algorithmique pour équilibrer la demande et la capacité.
• Mesure et Tarification des Données L1 : Assure que les coûts associés aux interactions de couche 1 sont couverts, en utilisant un algorithme de tarification adaptatif pour répartir ces coûts avec précision entre les transactions.

Conclusion​

Cuckoo Network est confiant dans l'investissement dans le développement d'Arbitrum. Les solutions avancées de couche 2 d'Arbitrum Nitro offrent une évolutivité inégalée, une finalité plus rapide et une résolution efficace des litiges. Sa compatibilité avec Ethereum assure un environnement sécurisé et efficace pour nos applications décentralisées, en accord avec notre engagement envers l'innovation et la performance.

• source: https://cuckoo.network/blog/2024/06/06/introduction-to-arbitrum-nitro
• telegram: https://cuckoo.network/tg
• discord: https://cuckoo.network/dc