Дослідники з Оксфордського університету і лабораторії DeepMind, що належить Google, почали роботу над системою аварійного вимкнення для алгоритмів, що самі навчаються. Про це повідомляє Business Insider з посиланням на Інститут вивчення машинного інтелекту (MIRI).
«Якщо такий агент [штучний інтелект] працює в режимі реального часу під наглядом людини, то іноді може виникнути ситуація, при якій оператор буде змушений натиснути на велику червону кнопку, щоб зупинити агента від виконання дій, небезпечних для самого агента або його оточення».
Автори відзначають, що алгоритми, що самі навчаються, можуть з часом виявити який-небудь механізм обходу або ігнорування штатної стоп-команди оператора. За словами дослідників, мета роботи – створення фреймворка, який не дозволить штучному інтелекту знайти спосіб ігнорування команди вимкнення.
Питання безпеки, пов’язані з розробкою систем штучного інтелекту, озвучувалися і раніше. У 2015 році Ілон Маск, Стівен Хокінг, Ноам Хомський, Стів Возняк і багато інших вчених, бізнесмени, знаменитості, дослідники та фахівці в галузі робототехніки та штучного інтелекту підписали відкритий лист, що застерігає виробників зброї від створення повністю автономних бойових систем.