Нервный имплант может переводить активность мозга в речь.

Ученые превратили сигналы мозга, захваченные специально разработанной сеткой электродов, предназначенных для записи активности мозга, в синтезированные предложения. Эта методика сможет помочь немым общаться.

Чтобы общаться, люди, неспособные говорить, часто полагаются на маленькие движения глаз для написания слов, и это кропотливый и медленный процесс. Теперь, используя сигналы, полученные мозговым имплантатом, ученые смогли извлечь целые предложения из мозга. Некоторые из этих восстановленных слов, произнесенные вслух голосовым синтезатором, немного искажены. Но в целом, предложения понятны.

Для создания внятных синтетических предложений потребовались годы анализа записанных сигналов мозга, и разработанная методика пока не готова для использования вне лаборатории. Тем не менее, работа показывает, что «используя анализ активности мозга, можно расшифровать речь», — говорит ученый из Калифорнийского университета в Сан-Франциско Гопала Ануманчипалли (Gopala Anumanchipalli, UCSF).

Технология, описанная в новом исследовании, обещает в конечном итоге восстановить способность людей свободно говорить, говорит Фрэнк Гюнтер, речевой нейробиолог из Бостонского университета. «Трудно переоценить важность этого для этих людей… Это невероятная изоляция и практически кошмар — не иметь возможности сообщать о своих потребностях или общаться при социальном взаимодействии».

Существующие речевые средства, которые основаны на написании слов, утомительны, часто производя около 10 слов в минуту. В более ранних исследованиях использовались сигналы мозга для декодирования небольших фрагментов речи, таких как гласные или слова, но с более ограниченным словарным составом, чем в текущей работе.

Вместе с нейрохирургом Эдвардом Чангом и биоинженером Джошем Шартье Ануманчипалли изучал пять человек, у которых в процессе лечения эпилепсии в мозг были временно имплантированы сетки электродов. Поскольку эти люди могли говорить, исследователи могли записывать активность мозга, когда участники произносили предложения. Затем команда сопоставила сигналы мозга, которые контролируют губы, язык, челюсть и гортань, с реальными движениями голосового тракта, когда эти люди говорили. Это позволило ученым создать уникальный виртуальный вокальный тракт для каждого человека.

Расшифровка речи

Ученые превратили сигналы мозга, захваченные этой сеткой электродов, предназначенных для записи активности мозга, в синтезированные предложения. Техника может однажды помочь людям, которые не могут говорить, общаться. Затем исследователи перевели виртуальные движения искусственных голосовых трактов участников в звуки. Использование этого виртуального инструмента «улучшило речь и сделало ее более естественной», — говорит Шартье. Около 70 процентов этих реконструированных слов были понятны слушателям, которых попросили выбрать слова, которые они услышали, из списка возможных. Например, когда синтезированный голос сказал: «Get a calico cat to keep the rodents away», слушатель услышал: «The calico cat to keep the rabbits away». В целом, некоторые звуки звучали хорошо, например «ш». Другие, такие как «бух» и «пух», звучали хуже.

Чтобы работать, этой технике необходима информация, получаемой при действии голосового тракта. Но эти движения будут отсутствовать у многих людей, которые не могут говорить, например, у тех, у кого инсульт мозга, повреждения голосовых путей или болезнь Лу Герига. «Безусловно, самое большое препятствие заключается в том, как вы собираетесь создавать декодер в первую очередь, когда у вас нет примера речи, на которой его можно построить?» говорит Марк Слуцки, невролог и нейроинженер
Медицинской школы Северо-Западного университета имени Файнберга .

В некоторых тестах исследователи обнаружили, что алгоритмы, используемые на втором этапе процесса — переводе движений виртуального голосового тракта в звуки — были достаточно схожи от человека к человеку, чтобы их можно было повторно использовать для разных людей, возможно, даже для тех, кто не может говорить. Но пока что первый шаг процесса — сопоставление мозговой активности с движениями голосового тракта человека — кажется более своеобразным. Ученые считают, что найти способ связать эти персонализированные сигналы мозга с желаемыми движениями голосового тракта будет непростой задачей для людей, неспособных им пользоваться.

Источник: https://www.sciencenews.org/article/neural-implant-can-translate-brain-activity-sentences?tgt=nr

Оставьте комментарий:

Ваш e-mail не будет опубликован.