تخطي إلى المحتوى الرئيسي

2 منشورات تم وضع علامة عليها بـ "research"

عرض جميع العلامات

· 4 دقائق قراءة
Lark Birdy

يتزايد الطلب على نشر نماذج اللغة الكبيرة (LLMs) على الأجهزة المحمولة، مدفوعًا بالحاجة إلى الخصوصية وتقليل زمن الاستجابة واستخدام النطاق الترددي بكفاءة. ومع ذلك، فإن متطلبات الذاكرة والحوسبة الواسعة لنماذج اللغة الكبيرة تشكل تحديات كبيرة. هنا يأتي دور لينجواليكند، وهو نظام جديد طوره مجموعة من الباحثين من جامعة كاليفورنيا، إيرفاين، مصمم لتمكين الاستدلال اللامركزي والموزع لنماذج اللغة الكبيرة عبر أجهزة محمولة متعددة، مستفيدًا من قدراتها الجماعية لأداء المهام المعقدة بكفاءة.

التحدي​

نشر نماذج اللغة الكبيرة مثل GPT-3 أو BLOOM على الأجهزة المحمولة يشكل تحديًا بسبب:

  • قيود الذاكرة: تتطلب نماذج اللغة الكبيرة ذاكرة كبيرة، غالبًا ما تتجاوز سعة الأجهزة المحمولة الفردية.
  • القيود الحسابية: تتميز الأجهزة المحمولة عادةً بقدرة معالجة محدودة، مما يجعل من الصعب تشغيل النماذج الكبيرة.
  • مخاوف الخصوصية: إرسال البيانات إلى خوادم مركزية للمعالجة يثير مشاكل تتعلق بالخصوصية.

حل لينجواليكند​

يعالج لينجواليكند هذه التحديات من خلال ثلاث استراتيجيات رئيسية:

  1. تعيين النموذج المحسن:
  • يقسم النظام نماذج اللغة الكبيرة إلى رسوم بيانية فرعية أصغر باستخدام التحسين الخطي لمطابقة كل جزء مع قدرات الجهاز.
  • هذا يضمن الاستخدام الفعال للموارد ويقلل من نقل البيانات بين الأجهزة.
  1. توازن الحمل في وقت التشغيل:
  • يراقب لينجواليكند أداء الجهاز بنشاط ويعيد توزيع المهام لمنع الاختناقات.
  • هذا النهج الديناميكي يضمن الاستخدام الفعال لجميع الموارد المتاحة، مما يعزز استجابة النظام الشاملة.
  1. الاتصال المحسن:
  • توجه خرائط نقل البيانات الفعالة تدفق المعلومات بين الأجهزة، مع الحفاظ على سلامة هيكل النموذج.
  • تقلل هذه الطريقة من زمن الاستجابة وتضمن معالجة البيانات في الوقت المناسب عبر شبكة الأجهزة المحمولة.

يتم تقسيم نموذج لغة كبير واحد (LLM) إلى أجزاء مختلفة (أو قطاعات) وتوزيعه عبر أجهزة محمولة متعددة. يسمح هذا النهج لكل جهاز بالتعامل مع جزء صغير فقط من إجمالي متطلبات الحوسبة والتخزين، مما يجعل من الممكن تشغيل النماذج المعقدة حتى على الأجهزة ذات الموارد المحدودة. إليك تفصيل كيفية عمل ذلك:

تجزئة النموذج وتوزيعه​

  1. تجزئة النموذج:
  • يتم تحويل نموذج اللغة الكبير إلى رسم بياني حسابي حيث يتم تمثيل كل عملية داخل الشبكة كعقدة.
  • يتم بعد ذلك تقسيم هذا الرسم البياني إلى رسوم بيانية فرعية أصغر، كل منها قادر على العمل بشكل مستقل.
  1. تعيين النموذج المحسن:
  • باستخدام التحسين الخطي، يتم تعيين هذه الرسوم البيانية الفرعية (أو أجزاء النموذج) إلى أجهزة محمولة مختلفة.
  • يأخذ التعيين في الاعتبار القدرات الحسابية وقدرات الذاكرة لكل جهاز، مما يضمن الاستخدام الفعال للموارد ويقلل من النفقات العامة لنقل البيانات بين الأجهزة.
  1. تنفيذ الاستدلال التعاوني:
  • يعالج كل جهاز محمول الجزء المخصص له من النموذج.
  • تتواصل الأجهزة مع بعضها البعض لتبادل النتائج الوسيطة حسب الحاجة، مما يضمن إكمال مهمة الاستدلال الشاملة بشكل صحيح.
  • يتم توظيف استراتيجيات اتصال محسنة للحفاظ على سلامة بنية النموذج الأصلي وضمان تدفق البيانات بكفاءة.

سيناريو مثال​

تخيل تقسيم نموذج لغة كبير مثل GPT-3 إلى عدة أجزاء. قد يتعامل جهاز محمول واحد مع تضمينات الرموز الأولية والطبقات القليلة الأولى من النموذج، بينما يعالج جهاز آخر الطبقات الوسطى، ويكمل جهاز ثالث الطبقات النهائية وينتج المخرجات. خلال هذه العملية، تتشارك الأجهزة المخرجات الوسيطة لضمان تنفيذ استدلال النموذج الكامل بسلاسة.

الأداء والنتائج​

تم إثبات فعالية لينجواليكند من خلال اختبارات واسعة على أجهزة Android مختلفة، سواء عالية المستوى أو منخفضة المستوى. تشمل النتائج الرئيسية:

  • سرعة الاستدلال: مقارنة بخط الأساس، يسرع لينجواليكند أداء الاستدلال بمعدل 1.11× إلى 1.61× في الإعدادات أحادية الخيط و1.73× إلى 2.65× مع تعدد الخيوط.
  • توازن الحمل: يعزز توازن الحمل في وقت التشغيل للنظام الأداء بشكل أكبر، مع تسريع إجمالي من 1.29× إلى 1.32×.
  • قابلية التوسع: تستفيد النماذج الأكبر بشكل كبير من تعيين النموذج المحسن للينجواليكند، مما يظهر قابليته للتوسع وفعاليته في التعامل مع المهام المعقدة.

حالات الاستخدام والتطبيقات​

لينجواليكند مناسب بشكل خاص للسيناريوهات التي تكون فيها الخصوصية والكفاءة ذات أهمية قصوى. تشمل التطبيقات:

  • إنشاء النص والتلخيص: إنشاء نص متماسك ومرتبط بالسياق محليًا على الأجهزة المحمولة.
  • تحليل المشاعر: تصنيف البيانات النصية بكفاءة دون المساس بخصوصية المستخدم.
  • الترجمة في الوقت الفعلي: توفير ترجمات سريعة ودقيقة مباشرة على الجهاز.

الاتجاهات المستقبلية​

يمهد لينجواليكند الطريق لمزيد من التطورات في الذكاء الاصطناعي المحمول:

  • كفاءة الطاقة: ستركز الإصدارات المستقبلية على تحسين استهلاك الطاقة لمنع استنزاف البطارية والسخونة الزائدة أثناء المهام المكثفة.
  • تعزيز الخصوصية: ستضمن التحسينات المستمرة في المعالجة اللامركزية خصوصية أكبر للبيانات.
  • نماذج متعددة الوسائط: توسيع لينجواليكند لدعم النماذج متعددة الوسائط لتطبيقات متنوعة في العالم الحقيقي.

الخاتمة​

يمثل لينجواليكند قفزة كبيرة إلى الأمام في نشر نماذج اللغة الكبيرة على الأجهزة المحمولة. من خلال توزيع الحمل الحسابي وتحسين استخدام الموارد، يجعل الذكاء الاصطناعي المتقدم في متناول اليد وفعالًا على مجموعة واسعة من الأجهزة. هذا الابتكار لا يعزز الأداء فحسب، بل يضمن أيضًا خصوصية البيانات، مما يمهد الطريق لتطبيقات ذكاء اصطناعي محمولة أكثر تخصيصًا وأمانًا.

· 5 دقائق قراءة
Lark Birdy

في الذكاء الاصطناعي اللامركزي، يعد ضمان نزاهة وموثوقية مزودي وحدات معالجة الرسومات أمرًا حاسمًا. يوفر بروتوكول إثبات أخذ العينات (PoSP)، كما هو موضح في الأبحاث الأخيرة من Holistic AI، آلية متطورة لتحفيز الجهات الفاعلة الجيدة مع معاقبة الجهات السيئة. دعونا نرى كيف يعمل هذا البروتوكول، وحوافزه الاقتصادية، والعقوبات، وتطبيقه على استدلال الذكاء الاصطناعي اللامركزي.

حوافز للسلوك الأمين​

المكافآت الاقتصادية​

في صميم بروتوكول PoSP توجد حوافز اقتصادية مصممة لتشجيع المشاركة الأمينة. تتم مكافأة العقد، التي تعمل كمؤكدين ومصادقين، بناءً على مساهماتهم:

  • المؤكدون: يتلقون مكافأة (RA) إذا كان الناتج المحسوب صحيحًا ولم يتم تحديه.
  • المصادقون: يشاركون المكافأة (RV/n) إذا كانت نتائجهم تتوافق مع نتائج المؤكد وتم التحقق من صحتها.

توازن ناش الفريد​

تم تصميم بروتوكول PoSP للوصول إلى توازن ناش فريد في الاستراتيجيات النقية، حيث يتم تحفيز جميع العقد للتصرف بأمانة. من خلال مواءمة الربح الفردي مع أمن النظام، يضمن البروتوكول أن الأمانة هي الاستراتيجية الأكثر ربحية للمشاركين.

عقوبات السلوك غير الأمين​

آلية التقليص​

لردع السلوك غير الأمين، يستخدم بروتوكول PoSP آلية تقليص. إذا تم اكتشاف عدم أمانة المؤكد أو المصادق، فإنهم يواجهون عقوبات اقتصادية كبيرة (S). هذا يضمن أن تكلفة عدم الأمانة تفوق بكثير أي مكاسب محتملة على المدى القصير.

آلية التحدي​

تؤمن التحديات العشوائية النظام بشكل أكبر. باحتمالية محددة مسبقًا (p)، يطلق البروتوكول تحديًا حيث يقوم العديد من المصادقين بإعادة حساب ناتج المؤكد. إذا تم العثور على تناقضات، يتم معاقبة الجهات الفاعلة غير الأمينة. تجعل عملية الاختيار العشوائي هذه من الصعب على الجهات السيئة التواطؤ والغش دون اكتشافها.

خطوات بروتوكول PoSP​

  1. اختيار المؤكد: يتم اختيار عقدة عشوائيًا للعمل كمؤكد، لحساب وإخراج قيمة.

  2. احتمالية التحدي:

    قد يطلق النظام تحديًا بناءً على احتمالية محددة مسبقًا.

  • لا تحدي: يتم مكافأة المؤكد إذا لم يتم إطلاق تحدٍ.
  • إطلاق التحدي: يتم اختيار عدد محدد (n) من المصادقين عشوائيًا للتحقق من ناتج المؤكد.

  1. التحقق:

    يقوم كل مصادق بحساب النتيجة بشكل مستقل ومقارنتها مع ناتج المؤكد.

  • تطابق: إذا تطابقت جميع النتائج، يتم مكافأة كل من المؤكد والمصادقين.
  • عدم تطابق: تحدد عملية تحكيم أمانة المؤكد والمصادقين.
  1. العقوبات: يتم معاقبة العقد غير الأمينة، بينما يتلقى المصادقون الأمناء حصتهم من المكافأة.

SpML​

بروتوكول spML (التعلم الآلي القائم على أخذ العينات) هو تطبيق لبروتوكول إثبات أخذ العينات (PoSP) داخل شبكة استدلال الذكاء الاصطناعي اللامركزية.

الخطوات الرئيسية​

  1. إدخال المستخدم: يرسل المستخدم إدخاله إلى خادم مختار عشوائيًا (المؤكد) مع توقيعه الرقمي.
  2. ناتج الخادم: يحسب الخادم الناتج ويرسله مرة أخرى إلى المستخدم مع تجزئة للنتيجة.
  3. آلية التحدي:
  • باحتمالية محددة مسبقًا (p)، يطلق النظام تحديًا حيث يتم اختيار خادم آخر (المصادق) عشوائيًا للتحقق من النتيجة.
  • إذا لم يتم إطلاق تحدٍ، يتلقى المؤكد مكافأة (R) وتنتهي العملية.
  1. التحقق:
  • إذا تم إطلاق تحدٍ، يرسل المستخدم نفس الإدخال إلى المصادق.
  • يحسب المصادق النتيجة ويرسلها مرة أخرى إلى المستخدم مع تجزئة.
  1. المقارنة:
  • يقارن المستخدم تجزئات ناتج المؤكد والمصادق.
  • إذا تطابقت التجزئات، يتم مكافأة كل من المؤكد والمصادق، ويتلقى المستخدم خصمًا على الرسوم الأساسية.
  • إذا لم تتطابق التجزئات، يبث المستخدم كلتا التجزئتين إلى الشبكة.
  1. التحكيم:
  • تصوت الشبكة لتحديد أمانة المؤكد والمصادق بناءً على التناقضات.
  • تتم مكافأة العقد الأمينة، بينما يتم معاقبة (تقليص) العقد غير الأمينة.

المكونات والآليات الرئيسية​

  • تنفيذ التعلم الآلي المحدد: يستخدم الحساب ذو النقطة الثابتة ومكتبات النقطة العائمة المستندة إلى البرمجيات لضمان نتائج متسقة وقابلة للتكرار.
  • تصميم بدون حالة: يعامل كل استعلام على أنه مستقل، مع الحفاظ على عدم وجود حالة طوال عملية التعلم الآلي.
  • المشاركة بدون إذن: يسمح لأي شخص بالانضمام إلى الشبكة والمساهمة من خلال تشغيل خادم ذكاء اصطناعي.
  • العمليات خارج السلسلة: يتم حساب استدلالات الذكاء الاصطناعي خارج السلسلة لتقليل الحمل على البلوكتشين، مع إرسال النتائج والتوقيعات الرقمية مباشرة إلى المستخدمين.
  • العمليات داخل السلسلة: يتم التعامل مع الوظائف الحرجة، مثل حسابات الرصيد وآليات التحدي، داخل السلسلة لضمان الشفافية والأمان.

مزايا spML​

  • أمان عالي: يحقق الأمان من خلال الحوافز الاقتصادية، مما يضمن تصرف العقد بأمانة بسبب العقوبات المحتملة لعدم الأمانة.
  • انخفاض العبء الحسابي: يحتاج المصادقون فقط إلى مقارنة التجزئات في معظم الحالات، مما يقلل الحمل الحسابي أثناء التحقق.
  • قابلية التوسع: يمكن التعامل مع نشاط الشبكة الواسع دون تدهور كبير في الأداء.
  • البساطة: يحافظ على البساطة في التنفيذ، مما يعزز سهولة التكامل والصيانة.

مقارنة مع البروتوكولات الأخرى​

  • إثبات الاحتيال التفاؤلي (opML):
    • يعتمد على المثبطات الاقتصادية للسلوك الاحتيالي وآلية حل النزاعات.
    • معرض للنشاط الاحتيالي إذا لم يكن هناك عدد كافٍ من المصادقين الأمناء.
  • إثبات المعرفة الصفرية (zkML):
    • يضمن أمانًا عاليًا من خلال الإثباتات التشفيرية.
    • يواجه تحديات في قابلية التوسع والكفاءة بسبب العبء الحسابي العالي.
  • spML:
    • يجمع بين الأمان العالي من خلال الحوافز الاقتصادية، وانخفاض العبء الحسابي، وقابلية التوسع العالية.
    • يبسط عملية التحقق من خلال التركيز على مقارنات التجزئة، مما يقلل الحاجة إلى حسابات معقدة أثناء التحديات.

الملخص​

يوازن بروتوكول إثبات أخذ العينات (PoSP) بشكل فعال بين الحاجة إلى تحفيز الجهات الفاعلة الجيدة وردع الجهات السيئة، مما يضمن الأمان والموثوقية الشاملين للأنظمة اللامركزية. من خلال الجمع بين المكافآت الاقتصادية والعقوبات الصارمة، يعزز PoSP بيئة يكون فيها السلوك الأمين ليس فقط مشجعًا بل ضروريًا للنجاح. مع استمرار نمو الذكاء الاصطناعي اللامركزي، ستكون البروتوكولات مثل PoSP ضرورية للحفاظ على نزاهة وموثوقية هذه الأنظمة المتقدمة.