Носимий монітор серцевого ритму вже звична річ. Але як щодо системи, яка здатна оцінювати серцебиття людини по обличчю? Китайський алгоритм RhythmNet, використовує штучний інтелект і фотоплетизмографію (PPG) – оптичний метод, який виявляє зміни кількості крові в тканинах шкіри.
Як пояснюють дослідники, цей метод став можливим завдяки тому, що поглинання світла шкірою періодично змінюється в залежності від пульсу. Хромосоми, такі як гемоглобін, в мікросудинних шарах дерми і підшкірного шару поглинають непропорційну кількість світла. Тож крихітні зміни кольору відбуваються, коли кров прокачує нижні вени і артерії. Вони невидимі для людського ока, але їх можна легко виявити за допомогою датчиків RGB, таких що вбудовані в носимі пристрої.
Xiaomi Mi Smart Band 4
В чому суть алгоритму RhythmNet
Для навчання RhythmNet команда створила великомасштабний мультимодальний корпус – VIPL-HR1, який доступний з відкритим вихідним кодом. Він містить 2378 відео у видимому світлі і 752 відео в ближньому інфрачервоному діапазоні. Кожне відео було знято за допомогою комбінації веб-камер і інфрачервоних датчиків та смартфонів. Вони містять зміни в рухах голови, позах голови, освітленості і використання пристрою.
RhythmNet складається з декількох компонентів, в тому числі детектора особи, який локалізує до 80 осіб з урахуванням відео обличчя людини. Окремий компонент виконує вирівнювання і сегментацію шкіри для видалення областей очей й інших непотрібних областей. Потім генерує просторово-тимчасові карти з відеокадрів з інтервалом в 0.5 с для подання сигналів серцевого ритму. Карти подаються в модель машинного навчання, підготовлену для прогнозування частоти серцевих скорочень за просторово-тимчасовими картками, після чого розрахункові удари за хвилину обчислюються як середнє значення всіх розрахункових показників з окремих відео.
Дослідники оцінили свою систему на двох широко використовуваних базах даних в MAHNOB-HCI і MMSE-HR, а також на своїх власних. Вони повідомляють, що для більшості зразків (71%), протестованих на VIPL-HR1, RhythmNet досяг помилки менше 5 ударів за хвилину і що вона добре корелювала з істинною величиною від 47 до 147 ударів за хвилину. Крім того, вони кажуть, що частота помилок на MAHNOB-HCI і MMSE-HR не перевищувала 8.28 ударів за хвилину, перевершуючи попередню роботу, з якої порівнювалася модель.
Команда каже, що планує дослідити ефективність свого підходу для інших завдань вимірювання фізіологічного статусу, таких як частота дихання і вимірювання артеріального тиску. Вона також сподівається розробити більш надійну модель оцінки серцевого ритму, яка використовує методи розподіленого і багатозадачного навчання.