Щетинин Е. Ю., Распознавание эмоций

Recognition of emotions and psychoemotional state of a person based on the analysis of physiological signals using deep neural networks Eugene Yu. Shchetinin Financial University under the Government of Russian Federation, Moscow, Russia Research in the field of human-computer interaction (Human-Computer Interaction, HCI) has become one of the trends in the development of the IT industry of the 21st century. HCI systems find their potential application in social and biomedical engineering, neurobiology, neuromarketing, digital media, and other alternative areas of life that are significantly related to the emotional coloring of human activity. Their most important part is work aimed at recognizing human emotions. Consequently, with the increasing demand for HCI, methods for automatically recognizing human emotions will attract more and more attention from researchers and developers. This study proposes a computer system for recognizing four psychoemotional states, which are peace, fear, happiness, and sadness, using EEG signals. The objectives of this study are; study the EEG signals and their characteristics, develop a recognition system based on the EEG, as well as evaluate the efficiency of this system on open databases of physiological signals. Распознавание эмоций и психоэмоционального состояния человека на основе анализа физиологических сигналов с использованием глубоких нейронных сетей Щетинин Е. Ю. Финансовый университет при Правительстве РФ, Москва, Россия Исследования в области взаимодействия человека и компьютера (Human Computer Interaction, HCI) стали одним из трендов развития IT-индустрии 21-века. Системы HCI, находят свое потенциальное применение в социальной и биомедицинской инженерии, нейробиологии, нейромаркетинге, цифровых медиа и других альтернативных областях жизни, которые существенно связаны с эмоциональной окраской деятельности человека. Важнейшей их частью являются работы направленные на распознавание эмоций человека. Следовательно, с увеличением спроса на HCI методы автоматического распознавания человеческих эмоций будут привлекать все большее внимание исследователей и разработчиков. Большинство исследований по распознавание эмоций основано на анализе текста, речи, жестовых движений и мимики, но есть много ограничений для вышеупомянутых методов. Так распознавание эмоций с помощью текста применяется к словам или предложениям на определенном языке, поэтому довольно трудно разработать универсальную систему с использованием текста. Распознавание эмоций с помощью мимики имеет много преимуществ, но мимика не всегда связана с внутренними эмоциями, поскольку мимику можно сознательно контролировать. В результате эмоции не могут быть распознаны точно. Распознавание эмоций с помощью речи намного проще, чем вышеперечисленные два, но речь варьируется от человека к человеку с разной культурой или географией, поэтому техника распознавания речи также не позволяет добиться истины. Чтобы справиться с этими ограничениями оказалось возможным использовать для анализа эмоций с помощью HCI физиологические сигналы, которые каждый человек генерирует из различных частей своего тела. Существует много преимуществ мониторинга физиологических паттернов организма, контролируемых нервной системой, на которую влияют человеческие эмоции. Существуют различные датчики, которые могут быть использованы для сбора физиологических сигналов, таких как ЭКГ, ЭМГ, ЭЭГ, проводимость кожи, температура кожи и объемный пульс крови (BVP). В последнее время биологические сигналы, такие как фотоплетизмограмма (ФПГ), электроэнцефалограмма (ЭЭГ), электрокардиограмма (ЭКГ) и акселерационная плетизмограмма (АПГ), были предложены в качестве метода обнаружения вариабельности эмоций. Вся эта информация может быть получена с помощью физиологических приборов, которые измеряют частоту сердечных сокращений, кровяное давление, уровень насыщения кислородом, уровень глюкозы в крови, нервную проводимость и активность мозга. Однако наше исследование будет больше сосредоточено на распознавании эмоций с помощью ЭЭГ-сигналов. Это связано с тем, что с их помощью возможно более точно определять активность человеческого мозга с помощью устройства сбора данных высокого разрешения по сравнению с другими биологическими сигналами. Изменения в электрической активности человеческого мозга происходят очень быстро, поэтому для точного определения эмоции требуется приборы с высоким разрешением. Быстрое развитие новых носимых, удобных, недорогих беспроводных гарнитур для измерения ЭЭГ и классификации сигналов ЭЭГ без участия обученных специалистов значительно расширило их использование в других областях, таких как электронное обучение, видеоигры, виртуальная реальность, телемедицина и т. д.