Дослідники з лабораторії машинного навчання OpenAI виявили, що їхню сучасну систему комп’ютерного зору можна обдурити за допомогою лише ручки і клаптика паперу. Як показано на зображенні нижче, достатньо написати назву і наклеїти папірець на будь-який предмет. Це дозволяє обдурити програму і змусити її неправильно ідентифікувати те, що вона бачить. І це не перший випадок проблем з ШІ компанії. Наприклад, у серпні 2020 Pingvin Pro розказував, що їхня система бездумно генерує текст.
«Ми називаємо ці атаки друкарськими. Використовуючи здатність моделі надійно читати текст, ми виявляємо, що навіть фотографії рукописного тексту часто можуть обдурити модель».
дослідники OpenAI
Вони відзначають, що такі атаки подібні на «змагальні зображення», які можуть обдурити комерційні системи машинного зору, але їх набагато простіше створити.
Змагальні зображення представляють реальну загрозу
Змагальні зображення представляють реальну небезпеку для систем, що покладаються на машинний зір. Наприклад, дослідники показали, що вони можуть обдурити програмне забезпечення безпілотних автомобілів Tesla, щоб без попередження змінювати смугу руху. Для цього достатньо наклеїти на дорогу певні наліпки. Такі атаки є серйозною загрозою для безлічі додатків штучного інтелекту, від медичних до військових.
Але у цьому випадку, немає про що турбуватися. Ну принаймні на цей момент. Програмне забезпечення OpenAI є експериментальною системою під назвою CLIP, яка не використовується в жодному комерційному продукті. CLIP призначена для вивчення того, як системи штучного інтелекту можуть навчитися визначати об’єкти без пильного спостереження, використовуючи величезні бази даних зображень і тексту. В цьому випадку OpenAI використовував близько 400 млн пар зображення-текст з Інтернету для навчання CLIP, яка була представлена в січні.
OpenAI впевнені, що системи ШІ можуть засвоювати знання як люди
У цьому місяці дослідники OpenAI опублікували статтю, що описує, як вони відкрили CLIP. Команда виявила те, що вони називають «мультимодальні нейрони». Це окремі компоненти в мережі машинного навчання, які реагують не тільки на зображення об’єктів. Але також на ескізи, мультфільми і пов’язаний з ними текст. Одна з причин, чому це цікаво, полягає в тому, що вони відображають реакцію людського мозку на стимули, коли окремі клітини мозку реагують на абстрактні концепції, а не на конкретні приклади. Дослідження OpenAI передбачає, що системи штучного інтелекту можуть засвоювати такі знання так само, як це роблять люди.
В майбутньому це може привести до створення більш складних систем технічного зору, але зараз це перебуває в зародковому стані. У той час як будь-яка людина може відрізнити яблуко від аркуша паперу з написаним на ньому словом «яблуко», програми, на кшталт CLIP, – ні. Та ж здатність, яка дозволяє програмі пов’язувати слова і зображення на абстрактному рівні, створює цю унікальну слабкість, яку OpenAI описує як «омана абстракції».
Інший приклад, наведений лабораторією, – нейрон в CLIP, який ідентифікує скарбнички. Цей компонент реагує не тільки на зображення скарбничок, але й на ланцюжки знаків долара. Як і в наведеному вище прикладі, це означає, що ви можете обманом змусити CLIP ідентифікувати бензопилу як скарбничку, якщо ви наклеїте на неї значки «$$$».
Дослідники також виявили, що мультимодальні нейрони CLIP кодують саме ті упередження, які ви можете очікувати при пошуку даних з Інтернету. Вони відзначають, що нейрон «Близького Сходу» (Middle East) також пов’язаний з тероризмом, і виявили «нейрон, який збуджує як темношкірих людей, так і горил». Це повторює сумнозвісну помилку в системі розпізнавання зображень Google, в якій темношкірі люди були помічені як горили. Це ще один приклад того, наскільки машинний інтелект відрізняється від людського. Саме тому його необхідно досліджувати і навчати, перш ніж довіряти йому важливі речі та навіть життя!
Нагадаємо, що минулого місяця Epic Games представила додаток для створення моделей людей за допомогою iPhone.