يتحدث المقال عن ذكاء اصطناعي يمكنه تعلم عزف البيانو باستخدام نظام اسمه (أوديو).

يعرف أي شخص حضر حفلة موسيقية أن شيئًا سحريًا يحدث بين المؤدين وآلاتهم يحول الموسيقى من مجرد “ملاحظات على صفحة” إلى تجربة ممتعة.

وقد تساءل فريق من جامعة واشنطن عما إذا كان بإمكان الذكاء الاصطناعي أن يعيد خلق هذه البهجة باستخدام الإشارات المرئية فقط (فيديو صامت لتفاصيل عزف شخص على البيانو). استخدم الباحثون في ذلك التعلم الآلي لإنشاء نظام يسمى “أوديو”، يقوم هذا النظام بإنشاء الصوت من عروض صامتة لعزف البيانو. وعندما اختبر الفريق موسيقى”أوديو” التي أنشأها باستخدام تطبيقات التعرف على الموسيقى، مثل SoundHound، وجد أن التطبيقات حددت بشكل صحيح المقطوعة التي عزفها Audeo بنسبة 86٪ من الوقت، للمقارنة، تعرفت هذه التطبيقات على جزء من المقطوعة في مقاطع الفيديو الأصلية بنسبة 93٪ من الوقت.

قدم الباحثون  “أوديو” في ٨ ديسمبر في مؤتمر NeurIPS 2020

قال المؤلف إيلي شليزرمان، الأستاذ المساعد في كل من قسم الرياضيات التطبيقية وقسم هندسة الكهرباء والحاسب، “كان يُعتقد سابقًا أنه من المستحيل تأليف موسيقى لتبدو وكأنه يمكن عزفها في عرض موسيقي” وتابع حديثه قائلاً “تحتاج الخوارزمية إلى اكتشاف الإشارات أو” الميزات “في إطارات الفيديو المتعلقة بتوليد الموسيقى، كما تحتاج إلى” تخيل “الصوت الذي يحدث بين إطارات الفيديو. ويتطلب ذلك نظامًا دقيقاً واسع الخيال. كانت مفاجأة في الحقيقة أننا صنعنا موسيقى تبدو جيدة”.

يستخدم أوديو سلسلة من الخطوات لفك تشفير ما يحدث في الفيديو ثم ترجمته إلى موسيقى. أولاً، يجب عليه اكتشاف المفاتيح التي يتم الضغط عليها في كل إطار فيديو لإنشاء رسم تخطيطي زمني. ثم يحتاج إلى ترجمة هذا الرسم البياني إلى شيء يمكن لجهاز الموسيقى أن يتعرف عليه كصوت يصدره البيانو. تقوم هذه الخطوة الثانية بتنظيم البيانات وإضافة المزيد من المعلومات، مثل مدى قوة الضغط على كل مفتاح من مفاتيح البيانو ومدة الضغط. قال شليزرمان: “إذا حاولنا توليف الموسيقى من الخطوة الأولى وحدها، فسنجد أن جودة الموسيقى غير مرضية”. وأضاف: “الخطوة الثانية هي مثل الطريقة التي يراجع بها المعلم لحْن موسيقى الطالب ويساعده في تحسينها”.

قام الباحثون بتدريب واختبار النظام باستخدام مقاطع فيديو على موقع يوتيوب لعازف البيانو بول بارتون. احتوى التدريب من حوالي 172000 لقطة فيديو لبارتون وهو يعزف موسيقى ملحنين كلاسيكيين مشهورين مثل باخ وموزارت. ثم اختبروا Audeo مع ما يقارب 19000 إطار لبارتون يعزف موسيقى مختلفة من هؤلاء الملحنين وغيرهم، مثل سكوت جوبلين.

بمجرد أن يقوم أوديو بإنشاء نسخة من الموسيقى، فقد حان الوقت لمنحها لآلة موسيقية يمكنها ترجمة النسخة إلى صوت. كل آلة موسيقية ستجعل صوت الموسيقى مختلفًا قليلاً – وهذا مشابه لتغيير إعدادات “الآلة” على لوحة المفاتيح الكهربائية. في هذه الدراسة، استخدم الباحثون آلتين مختلفتين.

قال شليزرمان: “تُصدر تقنية Fluidsynth أصوات بيانو مألوفة لدينا. إنها أصوات ميكانيكية إلى حد ما ولكنها دقيقة جدًا”. “لقد استخدمنا أيضًا PerfNet، وهو جهاز موسيقي جديد للذكاء الاصطناعي يولد موسيقى أكثر ثراءً وتعبيرًا. ولكنه أيضًا يولد المزيد من الضوضاء”.

قال شليزرمان:”دُرب أوديو واُختبر فقط على مقاطع فيديو بيانو بول بارتون إن هناك حاجة إلى إجراء أبحاث في المستقبل لمعرفة مدى نجاحها في نسخ الموسيقى لأي موسيقي أو بيانو”.

قال شليزرمان: “كان الهدف من هذه الدراسة هو معرفة ما إذا كان الذكاء الاصطناعي يمكن أن يولّد موسيقى يعزفها عازف بيانو في تسجيل فيديو – على الرغم من أننا لم نكن نهدف إلى تكرار بول بارتون لأنه فنان مبدع”. “نأمل أن تتيح دراستنا طرقًا جديدة للتفاعل مع الموسيقى. على سبيل المثال، أحد التطبيقات المستقبلية هو أن Audeo يمكن أن يمتد إلى بيانو افتراضي باستخدام كاميرا تسجل يدي شخص يعزف. وأيضًا، من خلال وضع كاميرا فوق جهاز بيانو، قد يساعد أوديو في تعليم الطلاب كيفية العزف “.

كون سو وشيولونج ليو، وهما طالبا دكتوراه في الهندسة الكهربائية وهندسة الكمبيوتر، مؤلفان مشاركان في هذه الورقة. مُول هذا البحث من قبل صندوق الابتكار التابع لمؤسسة واشنطن للأبحاث بالإضافة إلى أقسام الرياضيات التطبيقية والهندسة الكهربائية وهندسة الكمبيوتر.

المصدر: https://www.sciencedaily.com

ترجمة: هاجر زميع

تويتر: @ThisisMamaHajar

مراجعة: ثريا البرقان