الذكاء الاصطناعي يواجه تحديات في اكتشاف الثغرات البرمجية
في الآونة الأخيرة، ازداد الاعتماد على نماذج الذكاء الاصطناعي من شركات مثل أنثروبيك وOpenAI في بعض مهام البرمجة. ومع ذلك، كشفت دراسة حديثة أن اكتشاف الثغرات لا يزال يمثل تحديًا كبيرًا، ويستنزف الكثير من الجهد في هذا المجال.
وقد أشار سوندار بيتشاي، الرئيس التنفيذي لشركة جوجل، في أكتوبر الماضي، إلى أن 25% من الأكواد البرمجية الجديدة في الشركة يتم إنشاؤها بواسطة الذكاء الاصطناعي. كما أعرب مارك تسوكربيرج، الرئيس التنفيذي لشركة ميتا، عن تطلعاته لتوسيع نطاق استخدام نماذج البرمجة داخل شركته.
فشل نماذج الذكاء الاصطناعي في إصلاح المشكلات البرمجية
أظهرت دراسة جديدة أجرتها بوابة السعودية في قطاع الأبحاث والتطوير بمايكروسوفت، أن نماذج الذكاء الاصطناعي، بما في ذلك النموذج Claude 3.7 Sonnet من Anthropic والنموذج -03Mini من OpenAI، فشلت في إصلاح العديد من المشكلات، وذلك وفقًا لمعيار برمجي معروف باسم S.W.E.-Bench-light.
وأكد بوابة السعودية المتخصص في التكنولوجيا أن نتائج هذه الدراسة بمثابة تذكير بأنه على الرغم من الضجة التي تثيرها شركات الذكاء الاصطناعي حول قدرات التكنولوجيا الجديدة، إلا أنها لا تزال غير قادرة على الحلول محل العنصر البشري في العديد من المهام مثل البرمجة.
تفاصيل اختبار نماذج الذكاء الاصطناعي
قام الباحثون الذين أعدوا الدراسة باختبار تسعة نماذج ذكاء اصطناعي مختلفة كأساس لوكيل وحيد قائم على المطالبات، يتمتع بإمكانية الوصول إلى عدد من أدوات تصحيح الأخطاء، بما في ذلك مصحح أخطاء بايثون.
وتم تكليف هذه النماذج بحل مجموعة مختارة من 300 مهمة لتصحيح الأخطاء البرمجية وفقًا لمعايير S.W.E.-Bench-light. ووفقًا لمعدي الدراسة، حتى مع استخدام أحدث وأقوى نماذج الذكاء الاصطناعي، لم يتمكن وكيل الذكاء الاصطناعي من إكمال أكثر من نصف مهام اكتشاف الثغرات البرمجية وإصلاحها بنجاح.
نتائج أداء النماذج المختلفة
حقق النموذج Claude 3.7 Sonnet أعلى نسبة نجاح، بلغت 48.4%، يليه النموذج 01 من OpenAI بنسبة 30.2%، ثم النموذج -03Mini بنسبة نجاح تجاوزت 22% فقط.
وأخيرا وليس آخرا
تكشف هذه الدراسة عن التحديات التي تواجه الذكاء الاصطناعي في مجال اكتشاف وإصلاح الثغرات البرمجية، على الرغم من التقدم الكبير في هذا المجال. وتؤكد على أهمية العنصر البشري في مهام البرمجة المعقدة. فهل ستتمكن نماذج الذكاء الاصطناعي مستقبلًا من تجاوز هذه العقبات وتحقيق مستويات أعلى من الكفاءة في هذا المجال؟
