تقييم جودة الشفرة البرمجية المولدة في النماذج اللغوية الكبيرة (دراسة تجريبية متعددة اللغات)

الملخص

الكلمات المفتاحية:

• نماذج اللغة الكبيرة (Large Language Models)

• توليد الشفرة البرمجية (Code Generation)

• جودة البرمجيات (Software Quality)

• Copilot

• GPT

الملخص:

• باللغة الإنجليزية: Software engineering has undergone a significant transformation due to the rapid development of Large Language Models (LLMs). Modern LLMs like GitHub Copilot, GPT-3.5, and GPT-4 are becoming more adept in generating useable source code in a range of programming languages with little human intervention. However, there is still debate over their outputs' internal quality, maintainability, and documentation. The study uses three popular programming languages-Python, Java, and JavaScript-to empirically evaluate how successfully LLMs generate code for issues of varying difficulty. SonarQube was used to examine the generated code and quantify cognitive difficulty, cyclomatic complexity, code smells, and comment ratios after the collection of a dataset of algorithmic tasks and independently solving the data via each model. The findings demonstrate that GPT-4 regularly creates code that is easier to maintain and understand than previous models, while Copilot consistently produces more comments but less structurally sound code. GPT-3.5 performs mediocrely and has moderate variability.

• باللغة العربية: شهدت هندسة البرمجيات تحولاً كبيراً بسبب التطور السريع لنماذج اللغة الكبيرة (LLMs). أصبحت نماذج اللغة الكبيرة الحديثة مثل GitHub Copilot وGPT-3.5 وGPT-4 أكثر مهارة في إنشاء شفرة مصدر قابلة للاستخدام في مجموعة من لغات البرمجة مع تدخل بشري ضئيل. ومع ذلك، لا يزال هناك جدل حول الجودة الداخلية لمخرجاتها وقابليتها للصيانة والتوثيق. تستخدم هذه الدراسة ثلاث لغات برمجة شائعة - Python وJava وJavaScript - لتقييم مدى نجاح نماذج اللغة الكبيرة (LLMs) في إنشاء شفرات برمجية لمشكلات متفاوتة الصعوبة. تم استخدام SonarQube لفحص الشفرات التي تم إنشاؤها وقياس الصعوبة المعرفية والتعقيد الدوري ومشاكل الشفرات ونسب التعليقات بعد أن تم جمع مجموعة بيانات من المهام الخوارزمية وحلها بشكل مستقل بواسطة كل نموذج. تظهر النتائج أن GPT-4 ينتج بانتظام كود أسهل في الصيانة والفهم من النماذج السابقة، في حين ينتج Copilot باستمرار تعليقات أكثر ولكن كود أقل صلابة من الناحية الهيكلية. يقدم GPT-3.5 أداءً متوسطاً ويتميز بتقلب معتدل