Tencent Hunyuan Video-Foley : الصوت الحيوي للذكاء الاصطناعي في إنتاج الفيديو
كتبت: أمل علوي
أعلن فريق مختبر Hunyuan في شركة Tencent عن تطوير ذكاء اصطناعي جديد يُدعى “Hunyuan Video-Foley”، والذي يُقدم صوتًا حيويًا للفيديوهات المُنتَجة بالذكاء الاصطناعي. تم تصميم هذا النظام للاستماع إلى الفيديوهات وإنتاج موسيقى تصويرية عالية الجودة تتوافق تمامًا مع الأحداث المعروضة على الشاشة.
تحديات الصوت في الفيديوهات المُنتَجة بالذكاء الاصطناعي
لطالما عانت الفيديوهات المُنتَجة بالذكاء الاصطناعي من نقص في الأصوات المناسبة، مما يجعلها تبدو غير مكتملة. في صناعة السينما، تُعتبر فنون الفولي (Foley art) هي الطريقة التي يتم بها إضافة الأصوات مثل حفيف الأوراق أو دوي الرعد. ولكن محاكاة هذا المستوى من التفاصيل تمثل تحديًا كبيرًا للذكاء الاصطناعي.
كيفية معالجة Tencent لمشكلة الصوت
واجهت نماذج تحويل الفيديو إلى صوت (V2A) عقبات عدة، منها ما يسميه الباحثون “اختلال الوضعية”. حيث كان الذكاء الاصطناعي يميل إلى الانتباه للنصوص أكثر من الفيديو نفسه. على سبيل المثال، إذا تم عرض فيديو لشاطئ مزدحم، لكن النص فقط يشير إلى “صوت الأمواج”، فإن النموذج سيعتمد فقط على صوت الأمواج متجاهلاً الأصوات الأخرى.
للتغلب على هذه المشكلات، اتبعت Tencent ثلاث استراتيجيات رئيسية:
تطوير مكتبة ضخمة: أنشأت Tencent مكتبة تحتوي على 100,000 ساعة من الفيديو والصوت والوصف النصي، مما أتاح للذكاء الاصطناعي تعلم المواد من أفضل المصادر المتاحة.
هيكلة ذكية للذكاء الاصطناعي: تم تصميم النظام ليعمل بشكل متزامن، حيث يركز أولًا على الربط بين الصوت والصورة لضمان التوقيت الصحيح، ثم يدمج النص لفهم السياق العام للمشهد.
استراتيجية تدريب لجودة الصوت: استخدموا تقنية تُدعى “محاذاة التمثيل” (REPA)، التي تضمن جودة عالية للصوت من خلال مقارنة عمل الذكاء الاصطناعي مع ميزات نموذج صوتي احترافي مُدرّب مسبقًا.
نتائج مبهرة
أظهرت الاختبارات أن نتائج Hunyuan Video-Foley تُحقق أداءً أعلى مقارنةً بالنماذج الأخرى. حيث حصلت على تقييمات أفضل من قبل المستمعين، الذين وجدوا أن الصوت يتناسب بشكل أفضل مع الفيديو من حيث المحتوى والتوقيت.
تساعد جهود Tencent في تقليل الفجوة بين الفيديوهات الصامتة وتجربة المشاهدة الغامرة من خلال تقديم صوت عالي الجودة، مما يُمكن صُنّاع الأفلام والمبدعين من الاستفادة من هذه التقنية في مشاريعهم.
هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي
