Коллеги поделились ссылками на недавно выложенные в открытом доступе код и датасеты к их статьям:

1. ReDisCA (адаптация RSA для ЭЭГ и МЭГ)

Статья:

Ossadtchi A, Semenkov I, Zhuravleva A, Kozunov V, Serikov O, Voloshina E. Representational dissimilarity component analysis (ReDisCA). NeuroImage. 301: 120868, 1 November 2024 https://doi.org/10.1016/j.neuroimage.2024.120868 (Open Access)

Репозиторий: https://github.com/AIRI-Institute/ReDisCA

Официальная имплементация алгоритма ReDisCA для сравнения данных об активности мозга из разных модальностей. В репозитории приведен MATLAB код для репликации результатов, полученных в статье.

Датасет: https://osf.io/8rk67/

МЭГ датасет, который использовался в статье для демонстрации возможностей алгоритма.

2. ЭЭГ-фМРТ

Препринт:

Ilia Semenkov, Pavel Rudych, Alexei Ossadtchi. Beyond the Surface: Revealing the Depths of Brain Activity by Predicting fMRI from EEG with Deep Learning. bioRxiv, November 21, 2024 https://doi.org/10.1101/2024.11.20.624528

Репозиторий: https://github.com/AIRI-Institute/EEG-BOLD-Decoding

Код интерпретируемой легковесной нейросетевой модели для предсказания подкоркового BOLD сигнала из ЭЭГ, а также Python имплементация предыдущего State-of-the-Art решения (Singer et al., 2023). Нейросетевая модель не только побеждает по средней корреляции для ряда ROI, но также дает возможность отразить наиболее значимые для нейросети паттерны исходя из финальных весов модели. Код содержит полноценный, задокументированный пайплайн от загрузки данных до создания изображений.

Датасет: https://zenodo.org/records/11246524

Предобработанная и очищенная версия данных 11 человек из совместного ЭЭГ-фМРТ Natural Viewing Dataset (Telesford et al., 2023), использованная для получения результатов из препринта.

3. SIGNAL (Semantic and Inferred Grammar Neurological Analysis of Language)

Препринт:

Anna Komissarenko, Ekaterina Voloshina, Anastasia Cheveleva, Ilia Semenkov, Oleg Serikov, Alex Ossadtchi. SIGNAL: Dataset for Semantic and Inferred Grammar Neurological Analysis of Language. bioRxiv, November 21, 2024 https://doi.org/10.1101/2024.11.20.624526

Репозиторий: https://github.com/AIRI-Institute/SIGNAL

Код алгоритма для генерации текстовых стимулов, использованного в датасете SIGNAL, сами стимулы, а также код для обработки ЭЭГ данных и пробинга LLM, использованных в статье.

Датасет: https://huggingface.co/datasets/zhuravlevahana/SIGNAL/tree/main

В датасете SIGNAL представлены 600 предложений на русском языке и 64-канальная ЭЭГ, записанный во время чтения людьми этих предложений. Уникальная структура генерации нескольких вариантов для каждого стимула (корректное предложение, грамматическая ошибка, семантическая ошибка, грамматическая и семантическая ошибки) позволяет анализировать обработку текста людьми и сравнивать её с обработкой текста нейросетевыми моделями.

4. Real-time Neurofeedback

Статья:

Semenkov I, Fedosov N, Makarov I, Ossadtchi A. Real-time low latency estimation of brain rhythms with deep neural networks. Journal of Neural Engineering. 20(5): 056008, 2023 Sep 18 https://doi.org/10.1088/1741-2552/acf7f3

Репозиторий: https://github.com/ivsemenkov/LowLatencyEEGFiltering

Код для репликации результатов статьи, включая имплементации и пайплайны классических алгоритмов фильтрации ЭЭГ и ряд нейросетевых моделей.

Датасет: https://zenodo.org/records/8207948

Датасет, использованный в статье. Он состоит из 5 синтетических временных рядов разной сложности по 34.5 часа на каждый вариант генерации, а также из 16.3 часов реальных ЭЭГ данных 25 человек, вовлеченных в эксперимент по нейрообратной связи.

Кстати, для тех, кого мало заботят музыкальные шоу, мы можем предложить новости про нейроробособак)

На прошлой неделе любознательные школьники из прекрасной «Сколки» похвастались перед Собяниным тем, что умеют управлять робособакой с помощью «силы мысли».

Газели были, собаки были, ждем, к чему еще прикрутят нейроуправление наши пользователи.

Написанный очень простым языком обзор состояния нейроинтерфейсов отчетливо дает понять, со ссылкой на многие годы занимающихся этой темой исследователей, что там идет медленный, постепенный прогресс много лет. Какие бы заявления ни делал Маск, прорывов нет…

⬆️⬆️⬆️ Интересно, что три пункта с явным упоминанием BCI в хронологии прогноза оказались идущими подряд. Но их усредненное мнение экспертов ожидает довольно нескоро, более чем через 15 лет.

Я бы добавил в список ещё широкое использование подкожной ЭЭГ...

Существенное ограничение этой части опроса - нет оценки адекватности применения именно ЭЭГ для каждой из задач.

Но надо иметь в виду, что на картинке представлена лишь небольшая часть результатов опроса экспертов.

Сама статья:

Mushtaq F, Welke D, Gallagher A, Pavlov YG ... Valdes-Sosa P. One hundred years of EEG for brain and behaviour research. Nat Hum Behav, 22 August 2024 https://www.nature.com/articles/s41562-024-01941-5

1. "На мозге человека нейроинтерфейс впервые был протестирован в 1998 году" -- с неинвазивными ИМК начали экспериментировать значительно раньше. В частности, один из самых распространенных сейчас неинвазивных ИМК, на основе волны P300 (P300 BCI), и эксперименты с ним были подробно описан еще в 1988 году (Farwell, Donchin, 1988). Первый инвазивный ИМК был "протестирован" еще Греем Уолтером в 60-х годах прошлого столетия (правда, про это есть только отрывочные сведения, но они выглядят достаточно надежными).

2. "7 основных направления практического применения интерфейсов" явно почерпнуты из СМИ, а не из качественной профессиональной литературы, и тут столько булшита, что разбирать это уже совсем неприятно, так что я прошу меня от этого уволить.

3. "Неинвазивные [нейроинтерфейсы] функционируют на основе ЭЭГ" -- это лишь наиболее распространенный сигнал, но в ИМК используют и фМРТ, и NIRS, и даже МЭГ. (Авторы еще отнесли к числу неинвазивных нейроинтерфейсов "специальные линзы на глаза для считывания электронных данных"... хотел написать "остается лишь догадываться, что это за "электронные данные"" -- но тут даже гадать не получается, можно лишь развести руками)

4. "Недоинвазивные/Малоинвазивные интерфейсы"... гугл для слова "недоинвазивные" находит только одну страницу -- вот эту самую статью на Хабре.

5. О них же: "располагаются на поверхности мозга" -- одна из самых известных сейчас малоинвазивных ИМК-технологий (компании Synchron) предполагает введение электродов в сосуды, которые могут находиться и в глубине мозга (в текущей версии используется сосуд, расположенный поверхностно, но для этой технологии и для ее отнесения к малоинвазивным это совершенно непринципиально). Критична не глубина, на которой располагаются электроды, а степень нарушения оболочек мозга и других структурных барьеров.

6. "Инвазивные вживляются в глубокие слои мозга" -- чаще всего электроды инвазивных ИМК вводятся в кору больших полушарий, которая сама по себе очень тонкая.

7. "В России активно проводятся образовательные и совещательные программы" -- что за "совещательные программы"? Гугл находит почти исключительно какие-то "совещательные программы со стороны США". Гуглопереводчик подсказывает, что это, вероятно, калька с advisory programs, но и он не объясняет, какое отношение они имеют к нейроинтерфейсам в РФ.

8. В списке вузов, где занимаются ИМК, кого только не перечисляют, но почему-то нет ни РНИМУ, ни Сколтеха, ни нашего МГППУ.

9. "Мировые патенты" (так называется один из главных разделов статьи) -- все патенты вообще-то национальные (ну разве что за исключением патентов Евросоюза, но это тоже никак не "мировые" патенты). Есть международные заявки, но не существует ни "международных", ни тем более "мировых" патентов. Мне как-то даже неудобно про это тут писать, ведь авторы представляют "цифровую систему №1 в рейтинге Роспатента"...

10. "У англоязычных специалистов принято использовать термин brain-computer interface. По этому термину Google.patents [судя по всему, имеется в виду Google Patents] выдаёт более 100 000 патентов." -- Это называется "патентный анализ"?! Действительно, если задать поиск по brain-computer interface, будет найдено "More than 100 000 results". Но тыкаем в первую же ссылку -- у меня ею оказался патент US9880644B2 -- и где там brain-computer interface? В тексте патента даже нет слова brain! Просто какие-то интерфейсы... Если задать поиск по тем же слова в кавычках -- "brain-computer interface" -- будут найдены уже всего "About 18 817 results" (те, кто разбирается в поиске, наверняка вспомнят, что реальное число патентов в обоих случаях может на самом деле быть намного более низким, но это уже детали). Но даже при использовании такого поиска можно зацепить множество патентов, в которых ИМК упоминается, например, лишь как возможный дополнительный канал подключения к какому-нибудь девайсу... Соответственно, все рассуждения авторов статьи на основе их "патентного поиска" не имеют никакого смысла.

К нам плывёт корабль Тесея!

⬇️⬇️⬇️

И еще продолжение темы: