القاهرة : الأمير كمال فرج.

قام عالمان في جامعة إلينوي في إربانا شامبين باستخدام ChatGPT، وهو روبوت محادثة من شركة OpenAI الذي يستجيب للتعليمات المكتوبة، في إصلاح أخطاء البرامج دون ميزانية تذكر.

ذكر توماس كلابورن في تقرير نشره موقع The Register أن "كل من تشونكيو ستيفن شيا، مساعد أبحاث الدراسات العليا، ولينغمينغ تشانغ، الأستاذ المساعد في علوم الكمبيوتر، تمكنا من إصلاح 162 من أصل 337 خطأ برمجيا مقابل 0.42 دولار لكل منها باستخدام أداة ChatGPT "

شرع الباحثان في تحسين الإصلاح الآلي للبرامج (APR)، وهو نظام ناشئ يركز على تطوير تقنيات لإصلاح أخطاء البرمجة تلقائيًا.

وأوضح الباحثان في ورقتهما أن تقنيات APR التقليدية تميل إلى إنتاج رقع تفتقر إلى التنوع وتتطلب الكثير من الضبط اليدوي.  ولكن أدى العمل الأحدث مع اللغات الكبيرة LLMs إلى نتائج أفضل، ولكن استخدام نفس التقنية الأساسية يؤدي إلى إنشاء الكثير من التصحيحات من عينة إدخال أولية ثم التحقق من صحة كل منها.

يؤكد الباحثان أن هذا النهج ينتج تصحيحات متكررة غير صحيحة ويفشل في تعلم البرنامج من إخفاقاته. وهذا له تكلفة حقيقية للغاية من حيث الوقت والموارد الحسابية.

رسالة خطأ مشفرة

طور كل من شيا وتشانغ عملية آلية لإصلاح الأخطاء أطلقا عليها اسم ChatRepair والتي تتضمن معلومات حول إخفاقات اختبار البرامج والتي تتعلم من مدخلات المحادثة، بالإضافة إلى النجاحات والفشل على طول الطريق.

بدلا من كتابة "أصلح أخطاء HAL "- كما يتضح من الرسم التوضيحي المصاحب للورقة - ربما يكون من الأفضل استخدام رسالة خطأ مشفرة.

يقول الباحثان "بدلاً من إنشاء تصحيحات تستند إلى رمز عربات تجرها الدواب كما تفعل تقنيات الإصلاح الآلي للبرامج APR الحالية المستندة إلى اللغات الكبيرة LLM ، يوفر ChatRepair أيضًا معلومات فشل اختبار قيّمة لمساعدة LLMs في إنشاء التصحيح".

وأضافا "علاوة على ذلك، بدلاً من أخذ العينات باستمرار من نفس المطالبة كما تفعل تقنيات APR السابقة المستندة إلى اللغة الكبيرة LLM ، يتتبع ChatRepair سجل المحادثة ويتعلم أكثر من محاولات التصحيح الفاشلة والناجحة السابقة لنفس الخطأ عن طريق المطالبة."

أخطاء مفيدة

قد تكون التعليمات البرمجية خاطئة، لكنها مفيدة، فمن خلال دمج تصحيحات غير صحيحة مع بيانات فشل الاختبار ذات الصلة، أظهر كل من شيا وتشانغ أنهما قادران على تحسين المطالبات التي يتم تغذيتها إلى ChatRepair حيث عمل النموذج على تحسينات التعليمات البرمجية. هذا يتجنب ارتكاب نفس الأخطاء مرارًا وتكرارًا مع إنشاء اختلافات في التصحيحات المعقولة التي تزيد من احتمالية الإصلاح الصحيح.

في رسالة بريد إلكتروني إلى The Register - لم تكتبها ChatGPT، نحن مطمئنون - قال شيا إن تضمين بيانات فشل الاختبار ساهم بشكل كبير في تحسين ChatRepair.

وأوضح "لقد لاحظنا أن تضمين معلومات مفيدة مثل خطأ فشل الاختبار أو حتى اسم الاختبار الفاشل نفسه يمكن أن يوفر معلومات إضافية مثل نوع الخطأ  والسلوك الصحيح المتوقع للشفرة". "مقارنة بأدوات APR السابقة التي لا تستفيد من معلومات فشل الاختبار ، يستفيد ChatRepair من قدرة الفهم القوية لـ ChatGPT لإصلاح المزيد من الأخطاء".

قال شيا إن قيمة دمج هذه المعلومات يمكن رؤيتها في مقارنة أساسية تضمنت تشغيل ChatGPT دون اختبار بيانات فشل الاختبار. وقال إن الوصول إلى بيانات فشل الاختبار زاد من عدد الأخطاء التي تم إصلاحها بأكثر من 40%.

والأفضل من ذلك، من خلال عدم إنشاء نفس التصحيحات غير الفعالة بشكل متكرر، يمكن للباحثين تجنب التكلفة الزائدة عن الحاجة وإهدار الوقت - وهو مصدر قلق مشترك بين أولئك الذين يستكشفون كيف يمكنهم دمج نماذج OpenAI في منتجاتهم.

وأوضح شيا: "من أجل الحفاظ على انخفاض التكلفة، فإننا نستفيد من جانب المحادثة في ChatGPT حيث يكون قادرًا على تتبع المخرجات السابقة وتعديل الجيل المستقبلي بناءً على التاريخ السابق والتعليقات المقدمة من قبلنا (معلومات فشل الاختبار)".

وتابع قائلا "نستخدم هذه القدرة لتزويد ChatGPT بتصحيحات غير صحيحة تم إنشاؤها مسبقًا، وبالتالي يمكننا تجنب أخذ عينات من نفس التصحيحات غير الصحيحة مرارًا وتكرارًا وتقليل عدد العينات والتكلفة لإصلاح الخطأ".

قال شيا إنه بينما يطمح تحسين الإصلاح الآلي للبرامج  APR إلى أتمتة إصلاح أخطاء البرامج بالكامل بأقل جهد من المطور، إلا أن هذا الهدف لا يزال بعيد المنال.

قال شيا: "أظهر ChatRepair لأول مرة أن عملية الإصلاح هذه يمكن أن تكون محادثة". "أعتقد أنه يمكننا تحقيق أداء أفضل من خلال وجود مطور بشري في الحلقة أيضًا لتسريع عملية الإصلاح".

وأضاف "من أجل القيام بذلك، يجب أن يركز العمل المستقبلي بالتأكيد بشكل أكبر على الديناميكيات بين اللغات الكبيرة LLMs القوية مثل ChatGPT والمطورين البشريين لإضافة حدس بشري وفهم لقاعدة التعليمات البرمجية لإصلاح الأخطاء بشكل أفضل."