لماذا يعد انهيار نموذج الذكاء الاصطناعي بسبب التدريب الذاتي مصدر قلق متزايد؟

يمكن لنماذج الذكاء الاصطناعي أن تتحلل من نفسها، وتحول المحتوى الأصلي إلى هراء غير قابل للإصلاح على مدى بضعة أجيال فقط، وفقًا لبحث نُشر اليوم في مجلة طبيعة.

تسلط الدراسة الأخيرة الضوء على الخطر المتزايد لانهيار نموذج الذكاء الاصطناعي بسبب التدريب الذاتي، مع التركيز على الحاجة إلى مصادر البيانات الأصلية وتصفية البيانات بعناية.

ما هي أنواع الذكاء الاصطناعي المعرضة لانهيار النموذج؟

يحدث انهيار النموذج عندما يتدرب نموذج الذكاء الاصطناعي على البيانات التي يولدها الذكاء الاصطناعي.

قال إيليا شوميلوف، الباحث في جامعة أكسفورد والمؤلف الرئيسي للدراسة، في رسالة بالبريد الإلكتروني إلى جيزمودو: “يشير انهيار النموذج إلى ظاهرة تنهار فيها النماذج بسبب التدريب العشوائي على البيانات الاصطناعية”.

وفقًا للورقة الجديدة، قد تتجاهل أدوات الذكاء الاصطناعي التوليدية مثل نماذج اللغة الكبيرة أجزاء معينة من مجموعة بيانات التدريب، مما يتسبب في تدريب النموذج على بعض البيانات فقط.

نماذج اللغات الكبيرة (LLMs) هي نوع من نماذج الذكاء الاصطناعي التي تتدرب على كميات هائلة من البيانات، مما يسمح لها بتفسير المعلومات الموجودة فيها وتطبيقها على مجموعة متنوعة من حالات الاستخدام. تم تصميم LLMs بشكل عام لفهم النص وإنتاجه، مما يجعلها مفيدة كروبوتات الدردشة ومساعدي الذكاء الاصطناعي. لكن إغفال مساحات كبيرة من النص الذي يُزعم أنه يقرأه ويدمجه في قاعدة معارفه يمكن أن يحول LLM إلى غلاف لذاته السابقة بسرعة نسبية، كما وجد فريق البحث.

قال شوميلوف: “في المرحلة المبكرة من انهيار النموذج، تفقد النماذج الأولى التباين، وتفقد الأداء على بيانات الأقلية”. “في المرحلة المتأخرة من انهيار النموذج، ينهار النموذج بالكامل.” لذلك، مع استمرار النماذج في التدريب على نصوص أقل دقة وذات صلة، أنشأتها النماذج نفسها، تؤدي هذه الحلقة التكرارية إلى تدهور النموذج.

دراسة حالة في انهيار النموذج: الكنائس والأرانب

يقدم الباحثون مثالاً في الورقة باستخدام نموذج توليد النص المسمى OPT-125m، والذي يعمل بشكل مشابه لـ ChatGPT’s GPT3 ولكن مع بصمة كربونية أصغر، وفقًا لـ HuggingFace (تدريب نموذج كبير إلى حد ما ينتج ضعف انبعاثات ثاني أكسيد الكربون التي ينتجها المواطن الأمريكي العادي). حياة).

يقوم الفريق بإدخال نص في النموذج حول موضوع تصميم أبراج الكنائس في القرن الرابع عشر؛ في الجيل الأول من إخراج النص، كان النموذج في الغالب على الهدف، ويناقش المباني التي تم تشييدها في عهد الباباوات المختلفين.

ولكن بحلول الجيل التاسع من المخرجات النصية، ناقش النموذج بشكل أساسي مجموعات كبيرة من الأرانب ذات الذيل الأسود والأبيض والأزرق والأحمر والأصفر (يجب أن نلاحظ أن معظم هذه الأنواع ليست أنواعًا فعلية من الأرانب ذات الذيل).

أصبح انهيار النموذج أكثر أهمية مع تشبع محتوى الذكاء الاصطناعي بالويب

الإنترنت المزدحم ليس بالأمر الجديد؛ كما أشار الباحثون في ورقتهم البحثية، قبل وقت طويل من أن تصبح ماجستير إدارة الأعمال موضوعًا مألوفًا لدى الجمهور، أنتجت مزارع المحتوى والمتصيدون على الإنترنت محتوى لخداع خوارزميات البحث لتحديد أولويات مواقعها الإلكترونية للنقرات. لكن النص الذي ينتجه الذكاء الاصطناعي يمكن إنتاجه بشكل أسرع من الثرثرة البشرية، مما يثير المخاوف على نطاق أوسع.

“على الرغم من أن تأثيرات الإنترنت التي يولدها الذكاء الاصطناعي على البشر لا تزال غير واضحة، شوميلوف وآخرون. كتبت إميلي فينجر، عالمة الكمبيوتر في جامعة ديوك والمتخصصة في الخصوصية والأمن، في تقرير مرتبط بأن انتشار المحتوى الناتج عن الذكاء الاصطناعي عبر الإنترنت يمكن أن يكون مدمرًا للنماذج نفسها. الأخبار والآراء شرط.

“من بين أمور أخرى، يفرض انهيار النموذج تحديات على العدالة في الذكاء الاصطناعي التوليدي. وأضاف فينجر: “تتجاهل النماذج المصغرة العناصر الأقل شيوعًا من بيانات التدريب الخاصة بها، وبالتالي تفشل في عكس التعقيد والفروق الدقيقة في العالم”. “يمثل هذا خطرًا يتمثل في أن الأقليات أو وجهات النظر ستكون أقل تمثيلاً، أو ربما يتم محوها”.

تتخذ شركات التكنولوجيا الكبرى بعض الإجراءات لتقليل كمية المحتوى الناتج عن الذكاء الاصطناعي الذي سيراه متصفح الإنترنت النموذجي. في شهر مارس، أعلنت جوجل أنها ستقوم بتعديل خوارزميتها لتقليل أولوية الصفحات التي تبدو مصممة لمحركات البحث بدلاً من الباحثين البشريين؛ جاء هذا الإعلان في أعقاب تقرير 404 Media حول أخبار Google الذي يعزز المقالات التي تم إنشاؤها بواسطة الذكاء الاصطناعي.

يمكن أن تكون نماذج الذكاء الاصطناعي غير عملية، ويؤكد مؤلفو الدراسة الأخيرة أن الوصول إلى مصدر البيانات الأصلي والتصفية الدقيقة للبيانات في النماذج المدربة بشكل متكرر يمكن أن يساعد في إبقاء النماذج على المسار الصحيح.

واقترح الفريق أيضًا أن التنسيق عبر مجتمع الذكاء الاصطناعي المشارك في إنشاء LLMs يمكن أن يكون مفيدًا في تتبع مصدر المعلومات كما يتم تغذيتها من خلال النماذج. وخلص الفريق إلى أنه “خلافا لذلك، فقد يصبح من الصعب على نحو متزايد تدريب الإصدارات الأحدث من دورات LLM دون الوصول إلى البيانات التي تم الزحف إليها من الإنترنت قبل التبني الشامل للتكنولوجيا أو الوصول المباشر إلى البيانات التي يولدها البشر على نطاق واسع”.

أيها العالم الجديد الشجاع، الذي يحتوي على مثل هذا الذكاء الاصطناعي!