كلاود فلير تطرح أداة لمكافحة روبوتات الذكاء الاصطناعي

أعلنت مزود الخدمة السحابية كلاود فلير (Cloudflare) عن إطلاق أداة مجانية جديدة تهدف لمنع الروبوتات من استخلاص البيانات من المواقع المستضافة عبر منصتها لأغراض تدريب نماذج الذكاء الاصطناعي.

يتيح بعض موردي الذكاء الاصطناعي، مثل جوجل وآبل و OpenAI، لأصحاب المواقع إمكانية حظر الروبوتات التي تقوم بجمع البيانات عبر تعديل ملف robots.txt، وهو الملف الذي يوجه الروبوتات حول الصفحات التي يمكنهم الوصول إليها على الموقع.

ومع ذلك، أشارت كلاود فلير في تدوينة لها إلى أن جميع الروبوتات لا تلتزم بهذا الملف. وكتبت الشركة: “لا يرغب العملاء في زيارة روبوتات الذكاء الاصطناعي لمواقعهم، خاصة تلك التي تتجاهل توجيهات robots.txt. نخشى أن تتكيف بعض شركات الذكاء الاصطناعي لتجاوز القواعد باستمرار للحصول على المحتوى”.

لمواجهة هذه المشكلة، قامت كلاود فلير بتحليل حركة مرور الروبوتات لضبط نماذج الكشف التلقائي عنها. تأخذ هذه النماذج في الاعتبار إذا كانت الروبوتات تحاول محاكاة سلوك المستخدم العادي لتجنب الكشف، بالإضافة إلى عوامل أخرى.

وذكرت كلاود فلير: “عندما تحاول الجهات الفاعلة الزحف إلى المواقع بشكل واسع، فإنها عادةً ما تستخدم أدوات وأطر يمكننا تحديدها. استنادًا إلى هذه الإشارات، نماذجنا قادرة على تحديد حركة المرور من الروبوتات المخادعة”.

كما أعدت كلاود فلير نموذجًا للمضيفين للإبلاغ عن الروبوتات المشتبه بها، وتواصل إدراج الروبوتات في القائمة السوداء يدويًا.

تزايدت مشكلة روبوتات الذكاء الاصطناعي بعد ازدهار هذا المجال وزيادة الطلب على بيانات التدريب. وقد اختارت العديد من المواقع القلق من تدريب نماذج الذكاء الاصطناعي على محتواها دون تنبيه أو تعويض، مما دفعها لحظر الروبوتات.

بعض موردي الذكاء الاصطناعي تجاهلوا قواعد استبعاد الروبوتات للحصول على ميزة تنافسية. فمثلاً، اتهم محرك البحث Perplexity بانتحال هوية زوار شرعيين لاستخلاص المحتوى، ويقال إن OpenAI و Anthropic تجاهلتا قواعد robots.txt في بعض الأحيان.

أشارت الشركة الناشئة TollBit في رسالة للناشرين الشهر الماضي إلى أن عملاء الذكاء الاصطناعي يتجاهلون معيار robots.txt. وإذا أثبتت أداة كلاود فلير دقتها في اكتشاف الروبوتات، فإنها قد تساعد في حل المشكلة، على الرغم من أن الناشرين ما زالوا يواجهون مخاطر تضحية حركة الإحالة من أدوات الذكاء الاصطناعي مثل Google AI Overviews، التي تستبعد المواقع إذا حظرت روبوتات معينة.

أمازون تعلن عن روبوت ذكاء اصطناعي منافس لـ ChatGPT