Microsoft Research розробляє технологію покращення для розмитих зображень з підекранних камер

Остання розробка, над якою працюють багато відомих компаній – це підекранна фронтальна камера. Це камера, що повністю прихована прозорим OLED-екраном, який все ще працюватиме як звичайний дисплей, коли неактивний. Проте, такий екран може пропускати достатньо світла, щоб камера під ним зробила хороший знімок. Цей аспект зараз досліджує Microsoft Research.

• Twitter власноруч надав пароль хакеру для злому акаунтів відомих людей
• В Україні показали наймасштабніше шоу дронів
• Новий розумний завод vivo виготовлятиме понад 70 млн одиниць пристроїв на рік

Команда відзначає, що дифракція від піксельної структури екрана може розмивати зображення, зменшувати контрастність, зменшувати корисні рівні освітлення і навіть повністю перешкоджати деякому змісту зображення, способами, які залежать від дизайну пікселя самого дисплея. На щастя, погіршення відбувається передбачуваним чином і через структури пікселів, як правило, тільки в горизонтальному напрямку.

Щоб компенсувати погіршення зображення, властиве фотографуванню через екран T-OLED, дослідники Microsoft Research використовували структуру нейронної мережі U-Net, яка одночасно поліпшує ставлення сигнал/шум і усуває розмиття зображення. Команда змогла отримати відтворене зображення, що практично не відрізняється від зображення, яке було сфотографовано напряму. Поліпшення можна побачити на прикладі зображення нижче:

1. оригінал, звичайна фотографія на смартфон
2. знято через екран T-OLED
3. після відновлення зображення

Залучення штучного інтелекту в захоплення зображення також дозволяє використовувати інші цікаві методи, такі як розмиття або заміна фону, й інші методи маніпуляції з відео, що дозволяють робити якісніші відеодзвінки.

Схоже, що Microsoft розробляє цю технологію, в першу чергу, для використання на великих екранах у відеоконференціях. Але, швидше за все, вона також може бути застосована і у флагманах з підекранними камерами.