Китайці ще ті винахідники і про це відомо всьому світові. Юаньчунь Ши (Yuanchun Shi) разом з колегами з Університету Цінхуа навчили смартфон читати по губах. Вони розробили голосовий помічник, який вміє розпізнавати беззвучні слова. Тобто людині взагалі не треба видавати звуки.
Як це працює
Застосунок визначає обличчя в кадрі з камери смартфона. Алгоритм програми відстежить стан 20 контрольних точок на губах. А також помітить початок та кінець промови. Другий алгоритм займається розпізнаванням мови.
Команди, які підтримує голосовий помічник
Розробники створили для помічника 44 команди. Завдяки частині з них можна керувати системою. Разом з тим, помічник розуміє і контекст наданих йому команд. Тож якщо, наприклад, система відобразила спливаюче вікно з повідомленням, то користувач зможе швидко відповісти на нього. Програму неодноразово тестували – точність роботи склала 95.5%. Перевірка здійснювалась навіть у пекінському метро. Люди, які брали участь у тестуванні надали перевагу беззвучним командам, аніж традиційному голосовому вводу. Це виявилось зручніше та конфіденційніше.
