مايكروسوفت تعزز دقة نماذج الذكاء الاصطناعي
في منتدى أبحاث مايكروسوفت الذي عُقِد في يناير، قام الباحث ديبندرا ميسرا بتوضيح كيف يمكن لتقنية تقليل رتبة الطبقة الانتقائية LASER أن تعزز دقة النماذج اللغوية الكبيرة. وقد نجح الباحثون في استخدام هذه التقنية عن طريق تدخلها واستبدال مصفوفات الوزن الكبيرة بأخرى أصغر حجمًا.
تشكل الأوزان عنصرًا أساسيًا يلعب دورًا حيويًا في قدرة الشبكات العصبونية الاصطناعية على التعلم وإجراء التنبؤات، حيث تشبه الأوزان العصبية الموجودة في هذه الشبكات المشابك العصبية في الشبكات العصبية البيولوجية.
على الرغم من أن النماذج اللغوية الكبيرة تعتمد بشكل كبير على الوزن الكبير، فقد أظهرت اختبارات مايكروسوفت أن استبدال مصفوفة وزن كبيرة بأخرى صغيرة لا يؤثر سلبًا على دقة هذه النماذج.
ميسرا أوضح قائلاً: “توقع الكثيرون زيادة في خسارة النموذج أثناء التدخل باستخدام تقنية تقليل رتبة الطبقة الانتقائية في النموذج اللغوي الكبير، ولكن وجدنا أن خسارة النموذج اللغوي الكبير لا ترتفع، بل تنخفض باستخدام التدخل الصحيح بهذه التقنية.”
استخدم فريق مايكروسوفت بنجاح تقنية تقليل رتبة الطبقة الانتقائية في ثلاثة نماذج لغوية كبيرة مفتوحة المصدر، وهي RoBERTa وLlama 2 وGPT-J، حيث زاد تحسين النموذج اللغوي الكبير في بعض الحالات بنسبة تصل إلى 30 نقطة مئوية.
يظل التحسين في دقة النموذج اللغوي الكبير مصدر قلق، خاصة أن نماذج الذكاء الاصطناعي قد ترتكب العديد من الأخطاء الواقعية. وبالتالي، يعتبر التركيز على دقة هذه النماذج اللغوية الكبيرة أمرًا حيويًا.
Arc Search يعتمد على الذكاء الاصطناعي لجعل التصفح أسهل
