Человек получает сигналы об окружающем мире через различные каналы — языковой, зрительный, аудиальный и т.п. Эти сигналы обрабатывает мозг, от возможностей которого зависит качество обработки всего многообразия поступающей информации. Нарушения в работе мозга приводят к нейрогенным и психическим заболеваниям, ухудшают качество жизни пациентов и их близких. Ученые Вышки работают над созданием инструментов, которые позволят снизить число таких заболеваний и облегчить их симптомы.

В НИУ ВШЭ прошел очередной научный семинар стратегического проекта «Устойчивый мозг: нейрокогнитивные технологии адаптации, обучения, развития и реабилитации человека в изменяющейся среде», который реализуется по программе «Приоритет-2030». Это самый молодой из пяти проектов НИУ ВШЭ, он был запущен в начале 2023 года. Над проектом работают более 200 человек — как сотрудники Вышки из всех четырех кампусов, так и привлеченные специалисты.

«Цель стратегического проекта — разработать 3Н-технологии — нейродиагностики, нейроадаптации и нейрореабилитации человека — и создать на их основе инструменты, которые позволят снизить число нейрогенных и психических заболеваний или хотя бы облегчить их последствия. Мы придумали девиз: “С людьми и для людей”. В планах — создание первого центра ассистивных технологий и дополненного интеллекта как некой единой площадки генерации и распространения знаний в области нейронаук и нейротехнологий», — рассказал, открывая семинар, административный руководитель проекта Игорь Соколов.

На мероприятии были рассмотрены два доклада: «Крупномасштабная структура естественного языка, или Поймай бота» и «ИИ-система диагностики слуха». Первый посвящен анализу языка как единой геометрической структуры, второй — восприятию и обработке речи.

Думать и выражать 

Группа заместителя руководителя департамента анализа данных и искусственного интеллекта, старшего научного сотрудника факультета компьютерных наук НИУ ВШЭ Василия Громова провела анализ крупномасштабных языковых структур естественных языков. Ученые создают систему обнаружения текстов, написанных ботами, для решения глобальной проблемы влияния текстов на формирование установок человека. Если предыдущие поколения воспитывались преимущественно на классической литературе, написанной людьми, то современное — на постах в соцсетях и все больше — на текстах, написанных ботами. По мнению профессора, это может привести к деформации языковой личности. Поэтому одна из задач работы — научиться различать тексты людей и ботов, чтобы их можно было маркировать, как сейчас маркируют, например, фильмы 18+. После этого человек будет сам решать, читать или нет.

В основу исследования легли тексты русской и английской литературы, но также учитывались другие тексты вплоть до сообщений из соцсетей.

«Мы взяли все слова и биграммы и преобразовали их в вектор. В результате мы получили множество точек в многомерном векторном пространстве. Для него мы придумали красивое слово “хайланакея” — с гавайского языка оно переводится как “знаковая беспредельность” или “знаковые небеса”», — рассказал Василий Громов.

Исследователи задались вопросом о свойствах этого пространства. С точки зрения математики язык представляет собой самоорганизованную критичную систему. Такая система отвечает трем основным требованиям: взаимодействие сверхбольшого числа элементарных составляющих; маленькие события вызывают бесконечное число событий (лавины); лавины подчиняются степенным законам распределения. Язык обладает всеми этими признаками.

«С нашей точки зрения, лавиной в языке является любой текст, написанный или сказанный на этом языке», — пояснил профессор.

Как показало исследование, в гигантском семантическом пространстве языка имеются области, которые посещают только люди, а также области, посещаемые исключительно ботами.

Также оказалось, что структура созданного векторного пространства неоднородна, она напоминает швейцарский сыр. Топологический анализ показал «нити и узлы», составленные из наиболее употребляемых словосочетаний, области, наполненные редкими словосочетаниями, а также «дыры», в которые язык в своем развитии еще не дошел.

На границах этих «дыр» обнаружился юмор: то, что сейчас воспринимается как остроумная шутка, через столетие становится сложным философским понятием, которое изучают, пытаясь осмыслить и объяснить. Таким образом, выяснилось, что язык развивается в том числе через и благодаря юмору.

При этом выяснилось, что при генерации текстов боты держатся подальше от «дыр», в то время как люди могут приближаться к их границам и заполнять их.

«Словарь ботов и людей одинаков, но, когда мы говорим о биграммах и триграммах, все иначе. Бот, насколько бы умным он ни был, — это выученная программа, и его тянет к наиболее типичным последовательностям слов. А человек, насколько бы он ни был необразованным, тянется к неожиданным последовательностям слов, то есть к границам “дыр”. Эта разница видна и статистически значима. По этому критерию мы можем отличать тексты людей от текстов ботов», — пояснил Василий Громов.

Выступление вызвало живой интерес. Ведущий научный сотрудник лаборатории социальной и когнитивной информатики, доцент департамента информатики НИУ ВШЭ в Санкт-Петербурге Сергей Кольцов отметил актуальность проблемы. По его словам, многие студенты используют ИИ для написания эссе, поэтому преподавателям очень нужен рабочий инструмент для проверки «человечности» текстов.

Заведующий лабораторией автоволновых процессов отдела радиофизических методов в медицине ФГБНУ «Федеральный исследовательский центр Институт прикладной физики им. А.В. Гапонова-Грехова Российской академии наук» Владимир Яхно призвал коллег продолжить работу и научиться анализировать не просто структуру текста, а его смысл.

«Это инструментарий, который позволяет строить смысловые модели, в том числе для людей, которые работают с этим инструментарием», — полагает он.

В ответ Василий Громов рассказал, что такая работа уже начата в рамках параллельного проекта «Древо знаний». 

«Мы будем искать “дырки” не только в нашем языке, но и в наших знаниях», — подчеркнул он.

Слышать и понимать

В центре второго исследования оказались проблемы обработки речевых аудиосигналов в мозге человека и диагностика возможных заболеваний, связанных с ними. Об актуальности работы рассказала заведующая научно-исследовательским отделом сурдологии и патологии внутреннего уха ГБУЗ «Научно-исследовательский клинический институт оториноларингологии им. Л.И. Свержевского» Департамента здравоохранения города Москвы Зарина Заоева. В учреждении проводятся операции по установке кохлеарных имплантов (метод реабилитации глухих пациентов). На практике врачам часто приходится сталкиваться со сложностями в настройке таких имплантов, рассказала докладчица.

«Есть очень большая проблема с пациентами, которые предъявляют жалобы на снижение слуха, но аудиометрия показывает, что сам слух в норме, а причина — в нарушении восприимчивости речи. То есть человеку кажется, что он не слышит, только потому, что он сложно воспринимает речь, особенно в шуме. На восприятие также влияет скорость речи и возможность предугадывать смысл сообщения», — рассказала Зарина Заоева.

По ее словам, в современной медицинской практике все больше функциональных заболеваний, которые врачи называют психогенными, то есть это нарушения функции органа без его изменения. Есть вероятность, что такие заболевания просто недостаточно хорошо диагностируются, а пациенты уже чувствуют изменения.

«Все наши методы исследования, которые есть в практике, пока еще не умеют определять этот тонкий уровень нарушений, когда мозг уже не справляется. Когда мы научимся диагностировать эти проблемы, мы сможем в том числе выстраивать реабилитацию еще на доклиническом уровне, поэтому актуальность этой работы невероятна», — подчеркнула она.

Кроме того, медики надеются, что работа ученых Вышки продвинет диагностику пациентов с шумом в ушах. Их число огромно, и такая проблема сильно влияет на качество жизни. Сейчас врачи считают, что эти люди на определенном этапе жизни начали слышать работу собственных мышц, в том числе подзатылочной группы. При этом нет понимания, с какими процессами мозговой активности это связано.

Исследование представили ведущий научный сотрудник Института когнитивных нейронаук НИУ ВШЭ Денис Захаров и директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук НИУ ВШЭ Алексей Осадчий. Ученые сосредоточились на изучении фундаментальных механизмов нейронной активности слуховой коры при восприятии речевых аудиосигналов. В настоящее время для борьбы с семантической, или сенсорной, тугоухостью практически нет решений.

Ученые проводят анализ ритмических нейрональных процессов, который призван помочь решить задачи диагностики и реабилитации слуховой функции. Согласно современным теориям, ритмическая активность играет существенную роль в восприятии речи. Фаза тета-ритма привязана к членению непрерывной речи на смысловые отрезки, дельта-ритм позволяет разделять ее на слова и фразы, а с помощью гамма-ритма происходит кодирование речевой информации. Альфа-ритм связывают с обработкой лингвистической структуры предложения, а также с процессами внимания, управляющего восприятием слуховых стимулов.

Ученые создали экспериментальную установку для высокосинхронизированной записи электрической активности слуховой коры и аудиопотока речевых стимулов. Пока в рамках пилотного проекта участниками эксперимента выступили несколько здоровых испытуемых. Для анализа восприятия им было предложено два текста — обычный и абсурдный, состоящий из набора грамматически корректных, но бессмысленных фраз. В первом случае использовался фрагмент из перевода «Гарри Поттера», во втором звучала, например, такая фраза авторства ChatGPT: «Пироги, уносимые радугой, веселятся в облаках, пока бегемоты катятся через гравитацию».

Предварительные результаты показали, что обработка бессмысленного и осмысленного текстов на уровне мозга довольно разная, рассказал Денис Захаров.

«Результаты пилотного исследования позволяют надеяться на то, что в будущем мы выделим характеристики и связи между речевыми сигналами и нейрональной активностью мозга, которые могут служить биомаркерами в диагностике различных проблем, связанных с восприятием речи», — отметил он.

В перспективе группа планирует разработать систему нейроморфного дополненного интеллекта для онлайн-обработки речи.