القاهرة: الأمير كمال فرج.

بعد نجاح الذكاء الاصطناعي في الإجابة على الأسئلة العامة وكتابة القصص والمقالات بطريقة إبداعية تنافس الإنسان، بدأ الخبراء في الاستفادة منه في مجالات جديدة متخصصة مثل البيانات المالية.

ذكر أنيش تيكو في تقرير نشرته صحيفة Marktechpost أن " إصدار عام 2020 من GPT-3 بمثابة مثال مقنع لمزايا تدريب نماذج اللغة الكبيرة للغاية. يحتوي نموذج GPT-3 على 175 مليار معلمة - أي بزيادة قدرها 100 ضعف عن نموذج GPT-2 - ظهر أداؤها جيدًا بشكل استثنائي في العديد من مهام LLM الحالية، بما في ذلك فهم القراءة والإجابة على الأسئلة المفتوحة وتطوير الكود".

أعادت العديد من الطرز الإضافية إنتاج هذا الأداء. علاوة على ذلك، تُظهر البيانات أن النماذج الضخمة تعرض سلوكيات جديدة لأن حجمها يسمح لها باكتساب مهارات غير متوفرة للنماذج الأصغر. أحد الأمثلة الشهيرة على السلوك الجديد هو القدرة على إنجاز المهام بمطالبات قليلة، حيث يمكن للنموذج أن يتعلم مهمة من أمثلة قليلة فقط. عندما يزداد عدد النماذج اللغوية، تزداد هذه القدرة وتقل العشوائية.

بشكل عام، تزيد المطالبة ذات العناصر القليلة بشكل كبير من عدد الأنشطة التي يمكن أن تتعامل معها النماذج وتقلل من تكلفة مستوى الدخول للعملاء الذين يتطلعون إلى أتمتة المهام اللغوية الجديدة.

بعد GPT-3  تم إنشاء نماذج تحتوي على 280 مليار و 540 مليار و 1 تريليون معلمة، تمت أيضًا دراسة العديد من العناصر الحاسمة لتطوير لغات كبيرة LLM عالية الأداء ، بما في ذلك لأغراض التدريب المختلفة، والنماذج متعددة اللغات، والنماذج الأكثر فعالية والمضغوطة ، وتحديد أحجام التدريب ذات المعلمات الفعالة.

ركزت هذه المبادرات إلى حد كبير على نماذج اللغات الكبيرة LLMs العامة المدربة على مجموعات البيانات التي تشمل مجموعة واسعة من الموضوعات والمجالات. كان التركيز على تطوير نموذج لغة كبير LLM مع قدرات شاملة، على الرغم من أن هذه قد أدرجت مجموعات بيانات معينة لموضوعات متخصصة مثل المنشورات البيولوجية.

في الآونة الأخيرة، تفوقت النماذج التي تم تدريبها باستخدام بيانات خاصة بالمجال فقط على اللغات الكبيرة LLMs للأغراض العامة في المهام داخل تخصصات معينة، مثل العلوم والطب، على الرغم من كونها أصغر بكثير.

تشجع هذه النتائج على إنشاء المزيد من النماذج الخاصة بالمجال. تلعب تقنيات البرمجة اللغوية العصبية دورًا متزايد الأهمية في مجال التكنولوجيا المالية الواسع والمتوسع. يعد تحليل المشاعر وتصنيف الأخبار والإجابة على الأسئلة عددًا قليلاً من مهام معالجة اللغات الطبيعية المالية.

يعد النظام الخاص بالمجال ضروريًا بسبب تعقيد ولغة المجال الاقتصادي، حتى لو كان نطاق الوظائف مشابهًا لتلك الموجودة في معايير البرمجة اللغوية العصبية القياسية. سيكون من المفيد أن يكون لديك نموذج لغة كبير LLM تركز على المجال المالي لجميع الأسباب التي تجعل نماذج اللغات الكبيرة LLMs التوليدية جذابة في التعلم العام، وإنشاء النصوص، وأنظمة المحادثة، وما إلى ذلك.

لم يتم تصميم ماجستير في القانون أو اختباره على مهام للقطاع المالي. ومع ذلك، هناك نماذج لغوية مقنعة تم ضبطها من أجلها.

قام باحثون من جامعة بلومبرج وجون هوبكنز بتدريب BloombergGPT، وهو نموذج لغوي يحتوي على 50 مليار معلمة تخدم مجموعة متنوعة من عمليات القطاع المالي. باعتماد نهج هجين بدلاً من إنشاء نموذج لغة LLM صغير أو للأغراض العامة يعتمد فقط على بيانات خاصة بالمجال.

تلغي النماذج العامة شرط التخصص أثناء وقت التدريب، وتغطي العديد من المجالات، وتؤدي أداءً جيدًا في مجموعة واسعة من الأنشطة. ومع ذلك، تظهر نتائج النماذج الحالية الخاصة بالمجال أن النماذج العامة لا يمكن أن تحل محلها. في حين أن معظم تطبيقاتهم في Bloomberg موجودة في المجال المالي ويتم تقديمها بشكل أفضل من خلال نموذج متخصص، إلا أنهم يدعمون مجموعة كبيرة جدًا ومتنوعة من الوظائف التي يتم خدمتها جيدًا بواسطة نموذج عام.

لذلك، شرعوا في تطوير نموذج يحافظ على الأداء التنافسي على معايير نموذج لغة كبير LLM لجميع الأغراض ويقدم أفضل أداء في فئته على التدابير المالية. يمكنهم القيام بذلك عن طريق بناء أكبر مجموعة بيانات خاصة بالنطاق حتى الآن، واستخدام أدوات بلومبيرج الحالية لتوليد وجمع وتنظيم البيانات.

نظرًا لأن Bloomberg هي مقدم بيانات مالية في المقام الأول، فقد أمضى محللو البيانات أكثر من 40 عامًا في جمع ورعاية الأوراق البحثية في المصطلحات المالية. إنهم يتتبعون بدقة مصادر البيانات وحقوق الاستخدام ولديهم أرشيفات كبيرة من البيانات المالية التي تغطي مجموعة متنوعة من القضايا.

يقومون بدمج هذه البيانات مع مجموعات البيانات المفتوحة لبناء مجموعة تدريب كبيرة بأكثر من 700 مليار رمز مميز. يقومون بتدريب 50 مليار متغير على غرار BLOOM باستخدام بعض بيانات التدريب هذه.

تُستخدم معايير LLM القياسية ، والمعايير المالية المفتوحة ، ومعايير الملكية الخاصة بـ Bloomberg لتقييم النموذج والتأكد من أنه يعمل على النحو المتوقع. تظهر النتائج التي توصلوا إليها أن أسلوب التدريب المشترك الخاص بهم ينتج نموذجًا يؤدي أداءً أفضل بكثير من النماذج الحالية في المهام المالية في المجال، بينما يكون على قدم المساواة مع معايير البرمجة اللغوية العصبية العامة أو أفضل منها.