Головна » Технології / Новини ІТ » Штучний інтелект OpenAI вдалося обдурити аркушем паперу

Дослідники з лабораторії машинного навчання OpenAI виявили, що їхню сучасну систему комп’ютерного зору можна обдурити за допомогою лише ручки і клаптика паперу. Як показано на зображенні нижче, достатньо написати назву і наклеїти папірець на будь-який предмет. Це дозволяє обдурити програму і змусити її неправильно ідентифікувати те, що вона бачить. І це не перший випадок проблем з ШІ компанії. Наприклад, у серпні 2020 Pingvin Pro розказував, що їхня система бездумно генерує текст.




«Ми називаємо ці атаки друкарськими. Використовуючи здатність моделі надійно читати текст, ми виявляємо, що навіть фотографії рукописного тексту часто можуть обдурити модель».

дослідники OpenAI

Штучний інтелект OpenAI вдалося обдурити аркушем паперу

Вони відзначають, що такі атаки подібні на «змагальні зображення», які можуть обдурити комерційні системи машинного зору, але їх набагато простіше створити.

Змагальні зображення представляють реальну загрозу

Змагальні зображення представляють реальну небезпеку для систем, що покладаються на машинний зір. Наприклад, дослідники показали, що вони можуть обдурити програмне забезпечення безпілотних автомобілів Tesla, щоб без попередження змінювати смугу руху. Для цього достатньо наклеїти на дорогу певні наліпки. Такі атаки є серйозною загрозою для безлічі додатків штучного інтелекту, від медичних до військових.

Але у цьому випадку, немає про що турбуватися. Ну принаймні на цей момент. Програмне забезпечення OpenAI є експериментальною системою під назвою CLIP, яка не використовується в жодному комерційному продукті. CLIP призначена для вивчення того, як системи штучного інтелекту можуть навчитися визначати об’єкти без пильного спостереження, використовуючи величезні бази даних зображень і тексту. В цьому випадку OpenAI використовував близько 400 млн пар зображення-текст з Інтернету для навчання CLIP, яка була представлена в січні.

OpenAI впевнені, що системи ШІ можуть засвоювати знання як люди

У цьому місяці дослідники OpenAI опублікували статтю, що описує, як вони відкрили CLIP. Команда виявила те, що вони називають «мультимодальні нейрони». Це окремі компоненти в мережі машинного навчання, які реагують не тільки на зображення об’єктів. Але також на ескізи, мультфільми і пов’язаний з ними текст. Одна з причин, чому це цікаво, полягає в тому, що вони відображають реакцію людського мозку на стимули, коли окремі клітини мозку реагують на абстрактні концепції, а не на конкретні приклади. Дослідження OpenAI передбачає, що системи штучного інтелекту можуть засвоювати такі знання так само, як це роблять люди.

В майбутньому це може привести до створення більш складних систем технічного зору, але зараз це перебуває в зародковому стані. У той час як будь-яка людина може відрізнити яблуко від аркуша паперу з написаним на ньому словом «яблуко», програми, на кшталт CLIP, – ні. Та ж здатність, яка дозволяє програмі пов’язувати слова і зображення на абстрактному рівні, створює цю унікальну слабкість, яку OpenAI описує як «омана абстракції».

Інший приклад, наведений лабораторією, – нейрон в CLIP, який ідентифікує скарбнички. Цей компонент реагує не тільки на зображення скарбничок, але й на ланцюжки знаків долара. Як і в наведеному вище прикладі, це означає, що ви можете обманом змусити CLIP ідентифікувати бензопилу як скарбничку, якщо ви наклеїте на неї значки «$$$».

Дослідники також виявили, що мультимодальні нейрони CLIP кодують саме ті упередження, які ви можете очікувати при пошуку даних з Інтернету. Вони відзначають, що нейрон «Близького Сходу» (Middle East) також пов’язаний з тероризмом, і виявили «нейрон, який збуджує як темношкірих людей, так і горил». Це повторює сумнозвісну помилку в системі розпізнавання зображень Google, в якій темношкірі люди були помічені як горили. Це ще один приклад того, наскільки машинний інтелект відрізняється від людського. Саме тому його необхідно досліджувати і навчати, перш ніж довіряти йому важливі речі та навіть життя!

Нагадаємо, що минулого місяця Epic Games представила додаток для створення моделей людей за допомогою iPhone.

Якщо Ви знайшли помилку, будь ласка, виділіть фрагмент тексту та натисніть Ctrl+Enter.
Поділитися:

Новини партнерів

Правила коментування

Вітаємо Вас на сайті Pingvin Pro. Ми докладаємо всіх зусиль, аби переконатися, що коментарі наших статей вільні від тролінгу, спаму та образ. Саме тому, на нашому сайті включена премодерація коментарів. Будь ласка, ознайомтеся з кількома правилами коментування.

  1. Перш за все, коментування відбувається через сторонній сервіс Disqus. Модератори сайту не несуть відповідальність за дії сервісу.
  2. На сайті ввімкнена премодерація. Тому ваш коментар може з’явитися не одразу. Нам теж інколи треба спати.
  3. Будьте ввічливими – ми не заохочуємо на сайті грубість та образи. Пам’ятайте, що слова мають вплив на людей! Саме тому, модератори сайту залишають за собою право не публікувати той чи інший коментар.
  4. Будь-які образи, відкриті чи завуальовані, у бік команди сайту, конкретного автора чи інших коментаторів, одразу видаляються. Агресивний коментатор може бути забанений без попереджень і пояснень з боку адміністрації сайту.
  5. Якщо вас забанили – на це були причини. Ми не пояснюємо причин ані тут, ані через інші канали зв’язку з редакторами сайту.
  6. Коментарі, які містять посилання на сторонні сайти чи ресурси можуть бути видалені без попереджень. Ми не рекламний майданчик для інших ресурсів.
  7. Якщо Ви виявили коментар, який порушує правила нашого сайту, обов’язково позначте його як спам – модератори цінують Вашу підтримку.

Схожі новини

7.4
vivo Y31 2021
Смартфони

vivo Y31 (2021): NFC та автономність до 3 днів

Зі смартфонами vivo ми вже знайомі і помітили у них одну спільну рису – дизайн тилової панелі. Сьогодні розкажемо про середньобюджетний смартфон vivo Y31 (2021), який в Україні представили у січні 2021 року і який нагадав нам vivo V20 SE. Цікаво, що у 2015 році компанія вже випускала смартфон з такою назвою, але між ними […]


Новини ІТ

Google Карти отримують нові функції на основі штучного інтелекту

Шістнадцять років тому багато хто з нас подорожував, тримаючи паперові мапи в одній руці та кермо в іншій – без інформації про поточний рух по маршруту чи деталі про те, коли відкривається ваш улюблений ресторан. З того часу Google збільшує межі того, що може робити карта за допомогою нових розробок в області машинного навчання. Компанія […]


Новини партнерів

Повідомити про помилку

Текст, який буде надіслано нашим редакторам: