أعلنت شركة “بايت دانس” الصينية، مالكة “تيك توك”، عن تحقيقها اختراقًا في كفاءة تدريب نماذج اللغة الكبيرة، حيث حققت تحسنًا بنسبة 1.71 مرة. هذا الاختراق يمكن أن يقلل الطلب على رقائق “إنفيديا” عالية الجودة.
تقنية “مزيج الخبراء”
استخدم فريق تطوير روبوت الدردشة “Doubao” التابع للشركة تقنية “مزيج الخبراء” (MoE) المُحسنة، والتي تُستخدم لتقسيم مساحة المشكلة إلى أقسام متجانسة. هذه التقنية تم تبنيها بشكل واسع لتوسيع النماذج اللغوية الكبيرة إلى تريليونات من المعلمات، مع الحفاظ على تكلفة الحوسبة ثابتة.
توفير تكاليف الحوسبة
أدى استخدام هذه التقنية في بيئة الإنتاج بالشركة إلى توفير ملايين الساعات من عمل وحدات معالجة الرسوميات. يمكن أن يؤدي هذا الاختراق إلى انخفاض الطلب على الرقائق من “إنفيديا”، التي تخضع وحدات معالجة الرسوميات عالية الأداء الخاصة بها لضوابط تصدير صارمة من قبل الولايات المتحدة.
