MIT розробляє AI-систему, яка додає озвучування на беззвучне відео

Дослідники MIT розробили комп’ютерну систему, яка самостійно додає реалістичні звуки для німого відео. Хоча технологія зароджується, це вже крок до автоматизації звукових ефектів для кінофільмів.

У серії відео, де додано барабанний дріб об різні речі, у тому числі тротуарів, трави і металевих поверхонь — комп’ютер навчився комбінувати належний звуковий ефект, такі як звук удару барабанною паличкою об дерево або шелест листя. Отримані результати є прикладом силою глибокого дослідження, тип штучного інтелекту, застосування якого зараз популярне в наукових колах. З поглибленим вивченням, комп’ютерна система вчиться розпізнавати закономірності у величезних обсягах даних і застосовування, яке вивчає у зручний спосіб. У цьому випадку, дослідники з Массачусетського технологічного інституту інформатики і штучного інтелекту записали близько 1000 відео барабанної палички і ударів по об’єктах з навколишнього світу. Ці відео додавалися у комп’ютерну систему, яка запам’ятовує звуки пов’язані з різними діями і поверхнями. Звук удару барабанної палички по дереву відрізняється, ніж коли неї ворушать купу листя. Після того, як комп’ютерна система мала всі ці приклади, дослідники дали її мовчазні відео одного і того ж удару барабанною паличкою об інші поверхні, і вони доручили системі сполучити відповідний звук з відео. Для цього, комп’ютер вибирає висоту і гучність, що підходить під те, що він бачить на відео, і він знаходить відповідний звуковий кліп у своїй базі даних, щоб програти з відео.

Та все ж дослідники змогли отримати комп’ютер, здатний зробити відповідні звуки тільки тоді, коли вони використовували відео з барабанними паличками. Створення комп’ютера, який автоматично забезпечує кращий звуковий ефект для будь-якого відео — це, можливо, ціла царина, над якою потрібно ще чимало працювати для використання у якихось цілях — наразі технологія залишається поза досяжністю.

Хоча технологічний світ бачив значні успіхи останнім часом в області штучного інтелекту, все ще існують великі відмінності в тому, як люди і машини вчаться. Оуенс хоче наблизити комп’ютерні системи до того, щоб навчити дізнаватися більше так само, як дитина дізнається про світ: фізично вказуючи і підлаштовуючи оточення. Він бачить потенціал у цьому для інших дослідників, щоб використовувати звукові записи і взаємодію з такими матеріалами, як, наприклад, тротуарний цемент в якості кроку для того, щоб машини краще зрозуміли наш фізичний світ.