Что такое технология распознавания эмоций? 
Распознавание эмоций — это технология распознавания лиц, которая становится все более сложной. Сегодня частные лица и организации используют программное обеспечение для распознавания эмоций по лицу, чтобы компьютерные программы могли проверять и обрабатывать выражения лица человека. Это программное обеспечение использует расширенную обработку изображений, действуя подобно человеческому мозгу для обнаружения эмоций.

Именно искусственный интеллект (ИИ) идентифицирует и исследует различные выражения лица, используя вспомогательную информацию. Некоторые технологии распознавания эмоций также используют распознавание и анализ голоса для определения настроения и тона человеческой речи. Визуальные и слуховые данные могут дать тонкое понимание, которое программное обеспечение для обнаружения или распознавания эмоций может использовать для выявления менее очевидных деталей.

Технология распознавания эмоций служит нескольким целям, включая анализ интервью и помощь в расследовании. Это помогает властям обнаруживать эмоции людей, чтобы раскрыть важные идеи.

Это часть серии статей о распознавании лиц.

В этой статье
Варианты использования распознавания эмоций
ИИ для распознавания эмоций: методы и подходы
6 наборов данных для распознавания эмоций
Исследуйте синтетические данные с помощью нашей бесплатной пробной версии!
Варианты использования распознавания эмоций
Технология обнаружения эмоций достигла новых вех с увеличением вычислительной мощности, очень сложных моделей глубокого обучения и доступности наборов данных на платформах социальных сетей. Большое количество визуальных данных в форматах видео, аудио и изображений привело к огромному хранилищу материалов для расширения возможностей обнаружения эмоций.

Вот несколько примеров приложений для обнаружения и распознавания эмоций:

Самоуправляемые транспортные средства — футуристические конструкции автомобилей включают в себя датчики, такие как микрофоны и камеры, позволяющие отслеживать и анализировать в реальном времени условия внутри и снаружи транспортного средства. Умные автомобили могут использовать распознавание эмоций по лицу, чтобы предупреждать водителей, когда они чувствуют сонливость . Технология обнаружения эмоций может фиксировать тонкие выражения лица, чего не могут другие технологии распознавания лиц.
Медицинская диагностика — врачи могут использовать анализ речи и обнаружение микровыражений для выявления симптомов деменции и депрессии .
Персонализированное обучение — прототипы образовательного программного обеспечения могут реагировать на эмоции ребенка, чтобы улучшить процесс обучения. Если ребенок разочарован тем, что задание слишком сложное или слишком легкое, программа может скорректировать задание, чтобы сделать его проще или сложнее . 
Умная розничная торговля — розничные продавцы могут использовать в своих магазинах технологию компьютерного зрения и обнаружение эмоций на основе искусственного интеллекта, чтобы оценивать реакцию и настроение покупателя и собирать демографическую информацию.
Виртуальные помощники — будущие версии популярных виртуальных помощников смогут использовать возможности обнаружения эмоций для улучшения обслуживания. Например, виртуальный помощник может изменять свой язык и тон в зависимости от настроения пользователя. Например, Apple подала патент и планирует интегрировать эту возможность в Siri.
ИИ для распознавания эмоций: методы и подходы
После многих лет научных исследований появились различные методы автоматического распознавания эмоций. Исследователи предлагают и оценивают различные подходы, используя технологии из разных областей, таких как машинное обучение, обработка сигналов, обработка речи и компьютерное зрение. 

В прошлом для распознавания эмоций использовались такие алгоритмы, как максимальная энтропия, машина опорных векторов (SVM) и наивный байесовский алгоритм. Сегодня современные алгоритмы основаны на глубоком обучении. Несколько примеров:

Глубокая сверточная нейронная сеть (CNN), которая извлекает ориентиры лица из данных, уменьшает изображения до 48 × 48 пикселей и пропускает их через два слоя объединения сверток (Mollahosseini et al., 2016).
CNN для обнаружения движений лица с использованием концепции единиц действия (AU) с двумя сверточными слоями, за которыми следует слой максимального объединения, и двумя полностью связанными слоями, которые предсказывают количество AU, найденных на изображении лица (Mohammadpour et al., 2017)
Использование трех CNN с одинаковой архитектурой, каждая из которых обнаруживает отдельную часть лица — бровь, глаз и рот. Выходные данные объединяются в «знаковое лицо», которое передается в другую CNN для обнаружения эмоций (Yolcu et al., 2019).
Узнайте больше об этих и других методах в статье Wafa et al .

Исследуйте синтетические данные с помощью нашей бесплатной пробной версии!
6 наборов данных для распознавания эмоций
Вот несколько примеров наборов данных, используемых для проектов по распознаванию и классификации эмоций.

База данных Белфаста
Эта база данных включает записи ответов на лабораторные задачи по индукции эмоций — она содержит данные о самооценке эмоций, интенсивности, сексе и пассивности или активности задачи. База данных Белфаста позволяет исследователям сравнивать выражения лиц людей из разных культур.

Получить набор данных

СЕМЕН
SEMAINE — это набор видеоданных, содержащий аудиовизуальные данные, фиксирующие взаимодействие между людьми и одной из четырех личностей (счастливой, мрачной, злой и прагматичной). Видеоклипы снабжены аннотациями, которые оценивают пары эпистемологических состояний, такие как вдумчивость, заинтересованность, уверенность, согласие и сосредоточенность.

Получить набор данных

Набор данных Interactive Emotional Dyadic Motion Capture (IEMOCAP)
IEMOCAP содержит 151 диалоговое видео с двумя говорящими в каждом (всего 302). Аннотации определяют девять эмоций: гнев, страх, волнение, печаль, удивление, разочарование, счастье, разочарование и нейтральность. Он также обнаруживает доминирование и валентность. 

Получить набор данных

DEAP
Этот набор данных содержит видео ЭЭГ, ЭКГ и лица с аннотациями эмоций. Он состоит из двух частей:

Рейтинги онлайн-самооценок — добровольцы оценили 120 отрывков из музыкальных видео по степени возбуждения, доминирования и валентности.
Видео с лицами и физиологические записи — добровольцы оценили 40 музыкальных клипов во время прохождения ЭЭГ или записи их лиц. 


Получить набор данных

Мультимодальный набор данных EmotionLines (MELD)
MELD расширяет набор данных EmotionLines, содержащий экземпляры диалогов, добавляя визуальные и слуховые модальности. Он содержит более 13 000 высказываний из 1400 диалогов из телешоу «Друзья». Каждое высказывание имеет метку, классифицирующую эмоцию — гнев, отвращение, страх, нейтральную, радость, печаль или удивление — наряду с отрицательными, положительными или нейтральными аннотациями.

Получить набор данных

Аффектнет
AffectNet — это база данных выражений лица, созданная для облегчения исследований в области автоматического распознавания выражений лица. Он содержит более 1 миллиона аннотированных изображений выражений лица с метками, указывающими на наличие и интенсивность различных эмоциональных состояний, таких как счастье, печаль, гнев и страх. 

Получить набор данных

Исследуйте синтетические данные с помощью нашей бесплатной пробной версии!