Головна » Технології / Новини » Штучний інтелект OpenAI вдалося обдурити аркушем паперу

Дослідники з лабораторії машинного навчання OpenAI виявили, що їхню сучасну систему комп’ютерного зору можна обдурити за допомогою лише ручки і клаптика паперу. Як показано на зображенні нижче, достатньо написати назву і наклеїти папірець на будь-який предмет. Це дозволяє обдурити програму і змусити її неправильно ідентифікувати те, що вона бачить. І це не перший випадок проблем з ШІ компанії. Наприклад, у серпні 2020 Pingvin Pro розказував, що їхня система бездумно генерує текст.




«Ми називаємо ці атаки друкарськими. Використовуючи здатність моделі надійно читати текст, ми виявляємо, що навіть фотографії рукописного тексту часто можуть обдурити модель».

дослідники OpenAI

Штучний інтелект OpenAI вдалося обдурити аркушем паперу

Вони відзначають, що такі атаки подібні на «змагальні зображення», які можуть обдурити комерційні системи машинного зору, але їх набагато простіше створити.

Змагальні зображення представляють реальну загрозу

Змагальні зображення представляють реальну небезпеку для систем, що покладаються на машинний зір. Наприклад, дослідники показали, що вони можуть обдурити програмне забезпечення безпілотних автомобілів Tesla, щоб без попередження змінювати смугу руху. Для цього достатньо наклеїти на дорогу певні наліпки. Такі атаки є серйозною загрозою для безлічі додатків штучного інтелекту, від медичних до військових.

Але у цьому випадку, немає про що турбуватися. Ну принаймні на цей момент. Програмне забезпечення OpenAI є експериментальною системою під назвою CLIP, яка не використовується в жодному комерційному продукті. CLIP призначена для вивчення того, як системи штучного інтелекту можуть навчитися визначати об’єкти без пильного спостереження, використовуючи величезні бази даних зображень і тексту. В цьому випадку OpenAI використовував близько 400 млн пар зображення-текст з Інтернету для навчання CLIP, яка була представлена в січні.

OpenAI впевнені, що системи ШІ можуть засвоювати знання як люди

У цьому місяці дослідники OpenAI опублікували статтю, що описує, як вони відкрили CLIP. Команда виявила те, що вони називають «мультимодальні нейрони». Це окремі компоненти в мережі машинного навчання, які реагують не тільки на зображення об’єктів. Але також на ескізи, мультфільми і пов’язаний з ними текст. Одна з причин, чому це цікаво, полягає в тому, що вони відображають реакцію людського мозку на стимули, коли окремі клітини мозку реагують на абстрактні концепції, а не на конкретні приклади. Дослідження OpenAI передбачає, що системи штучного інтелекту можуть засвоювати такі знання так само, як це роблять люди.

В майбутньому це може привести до створення більш складних систем технічного зору, але зараз це перебуває в зародковому стані. У той час як будь-яка людина може відрізнити яблуко від аркуша паперу з написаним на ньому словом «яблуко», програми, на кшталт CLIP, – ні. Та ж здатність, яка дозволяє програмі пов’язувати слова і зображення на абстрактному рівні, створює цю унікальну слабкість, яку OpenAI описує як «омана абстракції».

Інший приклад, наведений лабораторією, – нейрон в CLIP, який ідентифікує скарбнички. Цей компонент реагує не тільки на зображення скарбничок, але й на ланцюжки знаків долара. Як і в наведеному вище прикладі, це означає, що ви можете обманом змусити CLIP ідентифікувати бензопилу як скарбничку, якщо ви наклеїте на неї значки «$$$».

Дослідники також виявили, що мультимодальні нейрони CLIP кодують саме ті упередження, які ви можете очікувати при пошуку даних з Інтернету. Вони відзначають, що нейрон «Близького Сходу» (Middle East) також пов’язаний з тероризмом, і виявили «нейрон, який збуджує як темношкірих людей, так і горил». Це повторює сумнозвісну помилку в системі розпізнавання зображень Google, в якій темношкірі люди були помічені як горили. Це ще один приклад того, наскільки машинний інтелект відрізняється від людського. Саме тому його необхідно досліджувати і навчати, перш ніж довіряти йому важливі речі та навіть життя!

Нагадаємо, що минулого місяця Epic Games представила додаток для створення моделей людей за допомогою iPhone.

Якщо Ви знайшли помилку, будь ласка, виділіть фрагмент тексту та натисніть Ctrl+Enter.
Поділитися:
Правила коментування

Вітаємо Вас на сайті Pingvin Pro. Ми докладаємо всіх зусиль, аби переконатися, що коментарі наших статей вільні від тролінгу, спаму та образ. Саме тому, на нашому сайті включена премодерація коментарів. Будь ласка, ознайомтеся з кількома правилами коментування.

  1. Перш за все, коментування відбувається через сторонній сервіс Disqus. Модератори сайту не несуть відповідальність за дії сервісу.
  2. На сайті ввімкнена премодерація. Тому ваш коментар може з’явитися не одразу. Нам теж інколи треба спати.
  3. Будьте ввічливими – ми не заохочуємо на сайті грубість та образи. Пам’ятайте, що слова мають вплив на людей! Саме тому, модератори сайту залишають за собою право не публікувати той чи інший коментар.
  4. Будь-які образи, відкриті чи завуальовані, у бік команди сайту, конкретного автора чи інших коментаторів, одразу видаляються. Агресивний коментатор може бути забанений без попереджень і пояснень з боку адміністрації сайту.
  5. Якщо вас забанили – на це були причини. Ми не пояснюємо причин ані тут, ані через інші канали зв’язку з редакторами сайту.
  6. Коментарі, які містять посилання на сторонні сайти чи ресурси можуть бути видалені без попереджень. Ми не рекламний майданчик для інших ресурсів.
  7. Якщо Ви виявили коментар, який порушує правила нашого сайту, обов’язково позначте його як спам – модератори цінують Вашу підтримку.

Підтримати сайт

Buy Me a Coffee

Схожі новини

Новини

ASUS представила MGX-сервери для центрів обробки даних

Компанія ASUS представила власні серверні рішення на міжнародній конференції NVIDIA GTC, присвяченій технологіям штучного інтелекту. На GTC 2024 представлено новітні GPU-сервери ASUS ESC NM1-E1 і ESC NM2-E1 на основі еталонної модульної архітектури NVIDIA MGX. Вони пришвидшують суперкомпʼютерні обчислення завдань штучного інтелекту. Підписуйтесь на наш Telegram-канал Щоб задовольнити попит, що зростає, на рішення для генеративного ШІ, […]


Пристрої

3 популярні моделі відеокарт з роздільною здатністю Ultra HD 8К

Продуктивні графічні підсистеми з підтримкою Ultra HD 8K забезпечують високу деталізацію зображення, тому підійдуть геймерам, фотографам, дизайнерам і контент-мейкерам. Можливості штучного інтелекту, продумана система охолодження, додатковий захист конструкції — лише частина функціональних особливостей цієї модифікації пристроїв. Пропонуємо ознайомитися з популярними моделями відеоадаптерів на українському ринку. Підписуйтесь на наш Telegram-канал GeForce RTX 4070 Ti SUPER WINDFORCE […]


Повідомити про помилку

Текст, який буде надіслано нашим редакторам: