Исследования группы нейрокогнитивных интерфейсов (Сергей Шишкин)

Выступление на семинаре МЭГ-центра года руководителя группы нейрокогнитивных интерфейсов Сергея Шишкина – о нейроинтерфейсах (интерфейсах мозг-компьютер, ИМК) и “глазоуправлении“ – управлении компьютерами и другими устройствами с помощью взгляда. Исследования, о которых шла речь, велись в МГУ им. М.В. Ломоносова, МИФИ, НИЦ “Курчатовский институт“, а теперь продолжаются в МЭГ-центре Московского государственного психолого-педагогического университета (МГППУ). Об основном направлении этих работ можно прочитать на странице и в интервью Уточнения от докладчика: “(1) пафосный стартап Mary Lou Jepsen, который я упомянул в ответах на вопросы, называется, конечно, не Deep Water, а Openwater; (2) стоило упомянуть некоторые достижения в медицинских и ассистивных технологиях – например, что касается коммуникации, из той же лаборатории А.Я. Каплана в МГУ вышел “Нейрочат“ (уже более 500 штук); о российских реабилитационных технологиях с перспективами массового использования очень интересно рассказывает ректор РНИМУ имени Пирогова С.А. Лукьянов: “ Основные публикации в открытом доступе (период работы в Курчатовском институте и в МЭГ-центре МГППУ): - Интерфейсы глаз-мозг-компьютер на основе МЭГ Ovchinnikova A.O., Vasilyev A.N., Zubarev I.P., Kozyrskiy B.L., Shishkin S.L. (2021) MEG-based detection of voluntary eye fixations used to control a computer. Front. Neurosci. 15:619591. - Интерфейсы глаз-мозг-компьютер на основе ЭЭГ Shishkin S.L., Nuzhdin, Y.O., Svirin E.P., Trofimov A.G., Fedorova A.A., Kozyrskiy B.L., Velichkovsky B.M. (2016) EEG negativity in fixations used for gaze-based control: Toward converting intentions into actions with an eye-brain-computer interface. Front. Neurosci. 10:528. D.G. Zhao, A.N. Vasilyev, B.L. Kozyrskiy, E.V. Melnichuk, A.V. Isachenko, B.M. Velichkovsky, S.L. Shishkin. A passive BCI for monitoring the intentionality of the gaze-based moving object selection. J. Neural Engineering (in press). Nuzhdin Y.O., Shishkin S.L., Fedorova A.A., Kozyrskiy B.L., Medyntsev A.A., Svirin E.P., Korsun O.V., Dubynin I.A., Trofimov A.G., Velichkovsky B.M. Passive detection of feedback expectation: Towards fluent hybrid eye-brain-computer interfaces. 7th Graz Brain-Computer Interface Conference. 2017, pp. 361-366. Kozyrskiy B.L., Ovchinnikova A.O., Moskalenko A.D., Velichkovsky B.M., Shishkin S.L. Classification of the gaze fixations in the eye-brain-computer interface paradigm with a compact convolutional neural network. Procedia Computer Science. 2018. 145: 293–299. Fedorova A.A., Shishkin S.L., Nuzhdin Y.O., Faskhiev M.N., Vasilyevskaya A.M., Ossadtchi A.E., Kaplan A.Y., Velichkovsky B.M. A fast “single-stimulus“ brain switch. 6th Int. Brain-Computer Interface Conf. 2014. Article 052. Shishkin S.L., Zhao D.G., Isachenko A.V., Velichkovsky B.M. Gaze- and brain-controlled interfaces for human-computer and human-robot interaction. Psychology in Russia: State of the Art. 2017. 10(3), 120-137. - Агентность (агентивность) в человеко-машинном взаимодействии Dubynin I.A., Shishkin S.L. Feeling of agency versus judgment of agency in passive movements with various delays from the stimulus. Psychology in Russia: State of the Art. 2017. 10(3), 40-56. - Глазоуправление Zhao D.G., Karikov N.D., Melnichuk E.V., Velichkovsky B.M., Shishkin S.L. (2020) Voice as a mouse click: Usability and effectiveness of simplified hands-free gaze-voice selection. Applied Sciences, 10(24):8791. Isachenko A.V., Zhao D.G., Melnichuk E.V., Dubynin I.A., Velichkovsky B.M., Shishkin S.L. The pursuing gaze beats mouse in non-pop-out target selection. 2018 IEEE Internat. Conf. on Systems, Man, and Cybernetics (SMC), Miyazaki, Japan, 2018, pp. 3518-3523. Fedorova A.A., Shishkin S.L., Nuzhdin Y.O., Velichkovsky B.M. Gaze based robot control: The communicative approach. 7th Int. IEEE/EMBS Conf. on Neural Engineering. 2015, pp. 751-754.