Нейросеть воссоздала человеческую речь по активности мозга
Специалисты из Нью-Йоркского университета создали нейросеть, способную анализировать нейронную активность коры головного мозга и по ней реконструировать речь человека. Более того, ученые дополнительно обучили сеть воспроизводить голос пациента по нескольким образцам голосовых или видеозаписей, позволяя людям вернуть свой голос даже после его потери.
Человеческая речь — это сложная поведенческая активность, которая включает в себя не только управление движениями множества ротовых, гортанных и дыхательных мышц, но и одновременную обработку собственной речи для ее корректировки. Разделение разветвленных нейронных сетей мозга, контролирующих точные движения мышц и обрабатывающих слуховую обратную связь, признают крайне сложной задачей. Однако ее необходимо решить для разработки речевых протезов следующего поколения.
Во многих моделях производства речи принято считать, что эти две системы анатомически разделены. Система прямой связи в основном управляется вентральной лобной корой, тогда как обработка обратной связи осуществляется через различные сенсорные зоны коры (например, через извилину Гешля и верхнюю височную извилину). Но на практике две сети нейронов значительно перекрываются и взаимодействуют, и даже самые современные методы электрокортикографии (запись биоэлектрической активности мозга с помощью регистрации сигналов с сети электродов, имплантированных в кору головного мозга) не способны отделить процессы производства речи от ее обработки.
В новой работе группа исследователей из США представила собственную архитектуру нейросети глубокого обучения, тренирующуюся на электрокортикографических (ЭКоГ) записях активности коры головного мозга человека для пространственного и временного разрешения моторных и сенсорных сигналов. Обучая нейросеть применять причинные (использующие текущие и прошлые нейронные сигналы), антипричинные (использующие текущие и будущие нейронные сигналы) или непричинные (их комбинацию) временные свертки, авторам исследования удалось реконструировать человеческую речь. О своей разработке коллектив ученых рассказал в статье, опубликованной в журнале Proceedings of the National Academy of Sciences.
Исследователи использовали нейросеть для создания собственных протезов, которые смогут считывать активность мозга и декодировать ее непосредственно в речь. Более того, прототип специалистов из Нью-Йоркского университета имеет еще одну особенность: он способен в значительной степени воссоздать голос пациента, используя лишь небольшой набор записей — например, с видео на YouTube или записи Zoom.
Для сбора данных и тестирования своего прототипа исследователи обратились к группе из пяти пациентов с диагностированной рефрактерной эпилепсией и нарушениями развития речи. В этом состоянии пациент, страдающий судорожными припадками, не реагирует на лечение противоэпилептическими препаратами в адекватных дозах и комбинациях, а значит, не поддается медикаментозному лечению.
2 views
0
0
2 hours ago 00:27:21 1
«ТВОЙ ДОМ»- НОВЫЙ ГОД 2025. Искусственные елки. КАК УКРАСИТЬ ЕЛКУ?
3 hours ago 00:01:30 8
Сказочно украшаем окна
8 hours ago 00:11:24 1
ПРЕВРАЩЕНИЕ МЫСЛЕЙ В ИЗОБРАЖЕНИЕ? КАК? | РАЗБОР
8 hours ago 00:31:10 1
НЕДОРОГО ПОЛНЫЙ ФАРШ НОВАЯ квартира в Алании 3+1 недвижимость в Турции
9 hours ago 00:00:26 199
Этот салат точно украсит праздничный стол
9 hours ago 00:01:05 49
Украшаем дачу своими руками
10 hours ago 00:00:20 1K
Украшаем резинки и заколки.
11 hours ago 00:02:26 1
ХОЧУ ТАКОЙ РЕМОНТ! | Дизайн | Советы | Хитрости
12 hours ago 00:03:06 114
Интересная и необычная выпечка, украсит любой стол
12 hours ago 00:00:07 1
Вот и закончился отпуск мастера маникюрного сервиса, Марины💕💕💕
Уже 12 числа она будет украшать Ваши ноготочки , открыта запись о
13 hours ago 00:11:23 34
[Droider] ПРЕВРАЩЕНИЕ МЫСЛЕЙ В ИЗОБРАЖЕНИЕ? КАК? | РАЗБОР
15 hours ago 00:00:34 1
«Сад философов» в Центральном парке украсят лабиринты из кустарников и деревьев
15 hours ago 00:15:19 4K
Рельефы которые украшают. Моделирование полочки. Рельефы на полочке. Несколько вариантов
15 hours ago 00:16:00 19
[ВИДЕО ИЗ ВК ] УКРАСИЛИ ДОМ НА HALLOWEEN
16 hours ago 00:03:32 1
3D-СИСТЕМА МАРКИРОВКИ И ДЕКОРИРОВАНИЯ джинсовых вещей ЛАЗЕРОМ Luxinar CO2 GBOS модель XXP4-180 Denim
16 hours ago 00:00:15 5
Харьковские трамваи решили “украсить“ в честь Хэллоуина. Мало некоторым ужаса и бродящей нечестии по городу.
18 hours ago 00:40:08 1
Баба Яга от Перловки часть 2 Интересная находка как украсит юбку.
18 hours ago 00:06:53 13
Я уже украшаю комнату на Хэлуин
18 hours ago 00:30:53 1
🍁Осенние покупки: украшаем кукольные полки, создаем уют дома 🍁
18 hours ago 00:00:29 1
Один из дворов в Якутске украсили гирляндой и искусственными декоративными деревьями
21 hour ago 00:00:17 15
Дубленка из эко кожи с капюшоном, длина 75 см, воротник отделан натуральным мехом песца
Размеры 42,44,46,48,50,52,54,56
✔️Цена 1
22 hours ago 00:00:37 21
Архитектурная подсветка украсила здание Военмеха
23 hours ago 00:14:50 2
Что я приобрела для осеннего настроения Прогулка Украшаю какао
24 hours ago 00:00:48 1
Арт-объект «Будущее Беларуси в твоих руках» украсит фасад одного из зданий в Жлобине