RhythmNet використовує штучний інтелект для вимірювання пульсу по обличчю

Носимий монітор серцевого ритму вже звична річ. Але як щодо системи, яка здатна оцінювати серцебиття людини по обличчю? Китайський алгоритм RhythmNet, використовує штучний інтелект і фотоплетизмографію (PPG) – оптичний метод, який виявляє зміни кількості крові в тканинах шкіри.

Як пояснюють дослідники, цей метод став можливим завдяки тому, що поглинання світла шкірою періодично змінюється в залежності від пульсу. Хромосоми, такі як гемоглобін, в мікросудинних шарах дерми і підшкірного шару поглинають непропорційну кількість світла. Тож крихітні зміни кольору відбуваються, коли кров прокачує нижні вени і артерії. Вони невидимі для людського ока, але їх можна легко виявити за допомогою датчиків RGB, таких що вбудовані в носимі пристрої.

Xiaomi Mi Smart Band 4

В чому суть алгоритму RhythmNet

Для навчання RhythmNet команда створила великомасштабний мультимодальний корпус – VIPL-HR1, який доступний з відкритим вихідним кодом. Він містить 2378 відео у видимому світлі і 752 відео в ближньому інфрачервоному діапазоні. Кожне відео було знято за допомогою комбінації веб-камер і інфрачервоних датчиків та смартфонів. Вони містять зміни в рухах голови, позах голови, освітленості і використання пристрою.

RhythmNet складається з декількох компонентів, в тому числі детектора особи, який локалізує до 80 осіб з урахуванням відео обличчя людини. Окремий компонент виконує вирівнювання і сегментацію шкіри для видалення областей очей й інших непотрібних областей. Потім генерує просторово-тимчасові карти з відеокадрів з інтервалом в 0.5 с для подання сигналів серцевого ритму. Карти подаються в модель машинного навчання, підготовлену для прогнозування частоти серцевих скорочень за просторово-тимчасовими картками, після чого розрахункові удари за хвилину обчислюються як середнє значення всіх розрахункових показників з окремих відео.

Дослідники оцінили свою систему на двох широко використовуваних базах даних в MAHNOB-HCI і MMSE-HR, а також на своїх власних. Вони повідомляють, що для більшості зразків (71%), протестованих на VIPL-HR1, RhythmNet досяг помилки менше 5 ударів за хвилину і що вона добре корелювала з істинною величиною від 47 до 147 ударів за хвилину. Крім того, вони кажуть, що частота помилок на MAHNOB-HCI і MMSE-HR не перевищувала 8.28 ударів за хвилину, перевершуючи попередню роботу, з якої порівнювалася модель.

Команда каже, що планує дослідити ефективність свого підходу для інших завдань вимірювання фізіологічного статусу, таких як частота дихання і вимірювання артеріального тиску. Вона також сподівається розробити більш надійну модель оцінки серцевого ритму, яка використовує методи розподіленого і багатозадачного навчання.