Обработку речи мозгом изучили изнутри
В Массачусетской больнице общего профиля воспользовались возможностью в лице 14 больных эпилепсией с имплантированными в мозг электродами для изучения обработки речи в режиме реального времени. С подробностями исследования можно ознакомиться в Nature Communications.
«Мы исследовали, как мозг обрабатывает язык во время реального разговора. В частности, нас интересовало, какие области мозга активируются, когда мы говорим и слушаем, и как эти паттерны связаны с конкретными словами и контекстом беседы», — объясняет исследовательница Цзин Цай из отделения нейрохирургии.
Записи нейронной активности, полученные с помощью внутримозговых электродов, загрузили в модели обработки естественного языка на базе искусственных нейросетей, подобных ChatGPT. Это позволило одновременно отслеживать лингвистические особенности разговоров и сопутствующую им активность в разных областях мозга.
«Синхронизировав эти данные, мы смогли сопоставить, как конкретные аспекты языка — например, произносимые слова и контекст беседы — отражаются в динамических паттернах мозговой активности во время общения», — продолжает Цай.
Исследователи идентифицировали отдельные участки, включающиеся для вербализации и распознавания речи в обширной сети в лобных и височных долях, а также их пересечения, которые задействованы как при говорении, так и при слушании, что указывает на частично общую нейронную основу этих процессов.
«Интересно, что эти паттерны активности очень специфичны и меняются в зависимости от используемых слов, их порядка и контекста», — отмечает исследовательница.
По ее словам, исследование нейродинамики ведения разговора в очередной раз продемонстрировало сложность процессов, происходящих при выполнении этой вроде бы простой задачи: «Активируется не один участок, а целая сеть областей. То, что эти паттерны так точно соответствуют словам и контексту, демонстрирует удивительную способность мозга обрабатывать нюансы языка в реальном времени».
Почти мгновенное переключение ролей в диалоге обусловлено, видимо, вышеупомянутой общей нейросетью обработки языка, но эти механизмы подлежат более глубокому изучению, добавила Цай.
«Следующий этап — семантическое декодирование. Это значит, что мы выйдем за рамки простого определения активных зон и начнем расшифровывать значение слов и концепций, которые обрабатывает мозг», — поделилась она.
В перспективе такой уровень декодирования может дать глубокое понимание нейронного представления языка — что станет полезным как в разработке искусственных систем обработки речевой информации, так и в создании нейрочипов для лечения нарушений речи, например, при нейродегенеративных заболеваниях вроде бокового амиотрофического склероза.