Перчатка, которая переводит язык жестов в речь.

Биоинженеры UCLA разработали устройство, напоминающее перчатку, которое позволяет переводить американский язык жестов в устную речь в режиме реального времени с помощью приложения для смартфона. Их исследования были опубликованы в журнале Nature Electronics.

«Мы надеемся, что наше устройство даст людям, использующим язык жестов, простой способ напрямую общаться с теми, кто его не понимает, не прибегая к услугам другого переводчика», — говорит доцент биоинженерии Инженерной школы Самуэли Университета Калифорнии Джун Чен (Jun Chen). «Кроме того, мы надеемся, оно поможет большему количеству людей выучить язык жестов самостоятельно».

Система включает в себя пару перчаток с тонкими, вытянутыми датчиками, которые расположены на каждом из пяти пальцев. Эти датчики, изготовленные из электропроводящих нитей, улавливают движения рук и положение пальцев, обозначающие отдельные буквы, числа, слова и фразы.

Затем прибор превращает движения пальцев в электрические сигналы, которые посылаются на плату размером с монету, закрепляемую на запястье. Плата передает эти сигналы по беспроводной связи на смартфон, который превращает их в устную речь со скоростью около одного слова в секунду.

Исследователи также включили в устройство датчики, крепящиеся к лицам испытуемых — между бровями и в уголке рта — для фиксации мимики, которая является частью американского языка жестов.

При тестировании устройства исследователи работали с четырьмя глухими людьми, использующими американский язык жестов. Носители повторяли каждый жест рукой 15 раз. Настраиваемый алгоритм машинного обучения превращал эти жесты в буквы, цифры и слова, которые они изображали. Система распознала 660 знаков, включая каждую букву алфавита и цифры от 0 до 9.

UCLA подала заявку на патент. Коммерческая модель, основанная на этой технологии, потребует дополнительного словарного запаса и еще более быстрого времени перевода, подытожил Чен.

Медицинская техника развивается. Если вы — один из тех, кто занимается технологиями или их распространением, вам пригодится доменное имя в зоне .technology