За останні кілька років програмне забезпечення для редагування фотографій сильно змінилося. Завдяки новим можливостям штучного інтелекту тепер простіше керувати знімками відповідно до ваших потреб. Але цей новий ШІ, створений дослідниками з MIT і IBM, дозволяє додавати, редагувати або видаляти об’єкти одним кліком миші.
Новий інструмент, GAN (Generative Adversarial Network) Paint Studio, дозволяє завантажувати зображення і керувати ним, не руйнуючи його оригінальні деталі. Наприклад, якщо ви додасте на фото дерево або траву, пов’язані об’єкти будуть виправлені, щоб отримане зображення виглядало реалістично.
Антоніо Торралба, професор MIT, який є частиною лабораторії MIT-IBM Watson AI, сказав, що цей інструмент має «сильну індивідуальність» і не виконуватиме дії, якщо вважає, що вони не підходить до зображення. Всі функції для малювання будуть слідувати інструкціям користувача. Але програма може вирішити нічого не малювати, якщо користувач накаже помістити об’єкт в неможливе місце. Дослідники спочатку перевірили інструмент, видаливши певні об’єкти на фото і спостерігали, як це впливало на артефакти навколо віддаленого об’єкта. Вони використовували ці дані, щоб навчити алгоритм реалістичним змінам при додаванні або видаленні об’єкта.
Команда використовувала мережу з двох частин для навчання моделі. Вони використовували генератори для створення зразків реалістичних фотографій і дискримінатори для виявлення відмінностей між створеними і реальними фотографіями. Введення від дискримінаторів використовується для зміни моделі генератора, щоб зробити її кращою при створенні реалістичних зображень. Цей метод дозволяє їм тестувати GAN і покращувати їх, аналізуючи їх на предмет «артефактів», які необхідно видалити.
Facebook створив віртуальну платформу для навчання штучного інтелекту
Команда розуміє, що зловмисники можуть використовувати цей інструмент для маніпулювання зображеннями. Проте, співавтор Джун-Ян Чжу вважає, що цей інструмент допоможе дослідникам зрозуміти, які помилки робить ШІ, і відсіяти помилкові зображення.