القاهرة: الأمير كمال فرج.

في تطور مثير، كشفت شركة "Inception Labs" يوم الخميس عن نموذج جديد للذكاء الاصطناعي يُدعى "Mercury Coder"، والذي يستخدم تقنيات النشر (Diffusion) لتوليد النصوص بسرعة تفوق النماذج التقليدية.

ذكر بينج إدواردز في تقرير نشره موقع Ars Technica "على عكس النماذج التقليدية التي تُنشئ النصوص كلمة بكلمة، مثل تلك التي تعمل عليها "ChatGPT"، تعتمد النماذج القائمة على النشر مثل "Mercury" على إنتاج النصوص كاملة في وقت واحد، حيث تقوم بتحسينها من حالة أولية مشوشة إلى نص متماسك".

تعمل النماذج اللغوية التقليدية الكبيرة (LLMs) على بناء النصوص من اليسار إلى اليمين، كلمة تلو الأخرى، باستخدام تقنية تُعرف باسم "الانحدار التلقائي" (Autoregression). في هذه الطريقة، يجب أن تنتظر كل كلمة ظهور الكلمات السابقة قبل أن تظهر نفسها. لكن النماذج الحديثة مثل "LLaDA" (الذي طوره باحثون من جامعة رنمين وشركة Ant Group) و"Mercury" تستلهم تقنيات من نماذج توليد الصور مثل "Stable Diffusion" و"DALL-E" و"MidJourney"، حيث تعتمد على نهج يعتمد على الإخفاء (Masking). تبدأ هذه النماذج بمحتوى مشوش بالكامل ثم تقوم تدريجياً بإزالة التشويش، لتكشف عن النص الكامل دفعة واحدة.

بينما تضيف نماذج نشر الصور تشويشاً مستمراً إلى قيم البكسل، لا يمكن لنماذج نشر النصوص تطبيق تشويش مستمر على الرموز المنفصلة (قطع البيانات النصية). بدلاً من ذلك، يتم استبدال الرموز برموز إخفاء خاصة تُعتبر بمثابة التشويش في النصوص.

في نموذج "LLaDA"، يتم التحكم في مستوى التشويش من خلال احتمالية الإخفاء، حيث يمثل الإخفاء العالي تشويشاً عالياً، ويمثل الإخفاء المنخفض تشويشاً منخفضاً. عملية النشر تنتقل من التشويش العالي إلى المنخفض. وعلى الرغم من أن "LLaDA" يستخدم مصطلحات الإخفاء بينما يستخدم "Mercury" مصطلحات التشويش، إلا أن كلا النموذجين يطبقان مفهوماً مشابهاً لتوليد النصوص يعتمد على تقنية النشر.

يتم تدريب نماذج نشر النصوص عن طريق تعليم شبكة عصبية على بيانات مشوشة جزئياً، حيث يتوقع النموذج الإكمال الأكثر احتمالاً للمحتوى، ثم تتم مقارنة النتائج بالإجابة الفعلية. إذا كانت توقعات النموذج صحيحة، يتم تعزيز الروابط في الشبكة العصبية التي أدت إلى الإجابة الصحيحة. بعد تدريب النموذج على عدد كافٍ من الأمثلة، يصبح قادراً على توليد نصوص ذات مصداقية عالية، مما يجعله مفيداً في مهام مثل البرمجة.

وفقاً لـ"Inception Labs"، فإن نهجهم يسمح للنموذج بتحسين المخرجات وتصحيح الأخطاء لأنه غير مقيد بالنظر فقط إلى النصوص التي تم توليدها مسبقاً. هذه المعالجة المتوازية تمكن "Mercury" من تحقيق سرعة توليد تزيد عن 1000 رمز في الثانية على وحدات معالجة الرسومات "Nvidia H100".

وتحافظ هذه النماذج على أداء أسرع أو مماثل للنماذج التقليدية ذات الحجم المماثل. على سبيل المثال، أظهر نموذج "LLaDA" ذو الـ8 مليارات معلمة أداءً مشابهاً لنموذج "LLaMA3 8B" في العديد من الاختبارات المعيارية، مع نتائج تنافسية في مهام مثل "MMLU" و"ARC" و"GSM8K".

من جهة أخرى، قدمت "Mercury" تحسينات كبيرة في السرعة. حيث سجل نموذج "Mercury Coder Mini" 88.0% في اختبار "HumanEval" و77.1% في اختبار "MBPP"، وهي نتائج مماثلة لنموذج "GPT-4o Mini"، لكنه يعمل بسرعة 1109 رموز في الثانية مقارنة بـ59 رمزاً في الثانية لنموذج "GPT-4o Mini". وهذا يمثل تفوقاً في السرعة بنحو 19 مرة مع الحفاظ على أداء مماثل في اختبارات البرمجة.

وتشير وثائق "Mercury" إلى أن نماذجها تعمل "بأكثر من 1000 رمز/الثانية على وحدات معالجة الرسومات Nvidia H100"، وهي سرعة كانت متاحة سابقاً فقط باستخدام شرائح مخصصة من مزودي أجهزة متخصصين مثل "Groq" و"Cerebras" و"SambaNova". وبالمقارنة مع النماذج الأخرى المُحسنة للسرعة، يظل تفوق "Mercury" كبيراً، حيث يُقال إن "Mercury Coder Mini" أسرع بنحو 5.5 مرات من "Gemini 2.0 Flash-Lite" (201 رمز/الثانية) وأسرع بـ18 مرة من "Claude 3.5 Haiku" (61 رمز/الثانية).

آفاق جديدة في نماذج الذكاء الاصطناعي:

على الرغم من أن نماذج النشر تتضمن بعض المقايضات، مثل الحاجة إلى تمريرات متعددة عبر الشبكة لتوليد استجابة كاملة (على عكس النماذج التقليدية التي تحتاج إلى تمريرة واحدة لكل رمز)، إلا أن المعالجة المتوازية لجميع الرموز تسمح لها بتحقيق إنتاجية أعلى.

وترى "Inception Labs" أن مزايا السرعة هذه يمكن أن تؤثر على أدوات إكمال الأكواد، حيث يمكن للاستجابة الفورية أن تعزز إنتاجية المطورين، بالإضافة إلى تطبيقات الذكاء الاصطناعي، والبيئات محدودة الموارد مثل التطبيقات المحمولة، ووكلاء الذكاء الاصطناعي الذين يحتاجون إلى الاستجابة بسرعة.

إذا تمكنت نماذج النشر القائمة على الذكاء الاصطناعي من الحفاظ على الجودة مع تحسين السرعة، فقد تغير طريقة تطوير توليد النصوص بالذكاء الاصطناعي. حتى الآن، ظهرت ردود فعل إيجابية من الباحثين في هذا المجال.

قال الباحث المستقل في الذكاء الاصطناعي "سيمون ويلسون" لموقع "Ars Technica": "أحب أن يجرب الناس هياكل بديلة لـTransformers، إنها إشارة أخرى إلى أننا لم نبدأ حتى في استكشاف المساحة الكاملة لنماذج الذكاء الاصطناعي."

كما كتب الباحث السابق في "OpenAI"، "أندريه كارباثي"، على منصة "X": "هذا النموذج لديه القدرة على أن يكون مختلفاً، وربما يُظهر نفسية جديدة، أو نقاط قوة وضعف فريدة. أشجع الناس على تجربته!"

تساؤلات مستقبلية

لا تزال هناك تساؤلات حول ما إذا كانت نماذج النشر الأكبر يمكن أن تُطابق أداء نماذج مثل "GPT-4o" و"Claude 3.7 Sonnet"، وما إذا كانت ستنتج نتائج موثوقة دون أخطاء كبيرة، وما إذا كان هذا النهج يمكن أن يتعامل مع مهام التفكير المحاكي الأكثر تعقيداً. في الوقت الحالي، قد توفر هذه النماذج بديلاً للنماذج اللغوية الصغيرة دون التضحية بالقدرة مقابل السرعة.

يمكنك تجربة "Mercury Coder" على موقع "Inception Labs"، كما يمكنك تنزيل كود "LLaDA" أو تجربة نموذج تجريبي على منصة "Hugging Face".