Распознавание эмоций по лицу (FER) — это технология, которая анализирует выражения лица с как статические изображения, так и видео, чтобы раскрыть информацию о своем эмоциональном состоянии.
Сложность мимики, возможность использования технологии в любом контексте,
и использование новых технологий, таких как искусственный интеллект, существенно повышает риски конфиденциальности.
I. Что такое лицевая эмоция
Признание?
Распознавание эмоций по лицу — это технология, используемая для анализа настроений по разным источникам, таких как изображения и видео. Он принадлежит
семейство технологий, часто называемое «аффективным вычислений», междисциплинарная область исследований способности компьютера распознавать и интерпретировать человеческие эмоции и аффективные состояния, и это часто
основывается на технологиях искусственного интеллекта.
Мимика – это форма невербального общение, давая намеки на человеческие эмоции. На протяжении десятилетий расшифровка таких выражений эмоций представляла исследовательский интерес в области психологии (Ekman and Friesen, 2003; Lang et al., 1993). но и в поле взаимодействия человека с компьютером
(Коуи и др., 2001; Абдат и др., 2011). В последнее время широкое распространение камер и технологических достижений в биометрическом анализе, машинном обучении и распознавание образов сыграло важную роль в
развитие технологии ФЭР.
Многие компании, начиная от технологических гигантов, таких от NEC или Google до более мелких, таких как Affectiva или Eyeris инвестируют в технологию, которая показывает свое растущее значение. Есть также несколько исследовательских и инновационных программ ЕС Horizon2020. инициативы1 изучение использования технологии. Анализ FER состоит из трех этапов: а) определение лица, б) обнаружение выражения лица, в) классификация выражения до эмоционального состояния. (Рисунок 1). Обнаружение эмоций основано на анализе положения лицевых ориентиров (например, кончика носа, брови). Кроме того, в видеороликах изменения в тех позиции также анализируются, чтобы выявить сокращения в группе лицевых мышц (Ko 2018). В зависимости от алгоритма мимика может быть
классифицируются по основным эмоциям (например, гнев, отвращение, страх,
радость, печаль и удивление) или сложные эмоции (например, радостно грустный, радостно удивленный, радостно отвращенный, печально испуганный, печально сердитый, печально удивленный) (Du и другие. 2014). В других случаях выражение лица может быть связанным с физиологическим или психическим состоянием ума
(например, усталость или скука).
Источник изображений или видео, служащих входными данными для алгоритмов FER, варьируется от камер наблюдения до камер, расположенных рядом с рекламными экранами. в магазинах, а также в социальных сетях и стриминге
услуги или собственные личные устройства. FER также может сочетаться с биометрической идентификацией. Его точность можно повысить с помощью технологий, анализирующих различные типы источников, таких как голос, текст, данные о состоянии здоровья с датчиков или данные о кровотоке.
закономерности, выведенные из изображения.
Потенциальные области применения ТЭР охватывают широкий спектр
приложения, примеры которых перечислены здесь ниже в группах по области их применения
Предоставление персонализированных услуг
• анализировать эмоции для отображения персонализированных сообщений в интеллектуальных средах
• предоставлять персональные рекомендации, например. на музыкальная подборка или культурный материал
• анализировать выражение лица, чтобы предсказывать индивидуальные реакция на фильмы
Анализ поведения клиентов и реклама
• анализировать эмоции покупателей во время покупок сосредоточены либо на товарах, либо на их расположении
в магазине
• рекламные вывески на вокзале с использованием система распознавания и отслеживания лица для маркетинговые цели
Здравоохранение
• обнаружить аутизм или нейродегенеративные заболевания
• прогнозировать психотические расстройства или депрессию определить пользователей, нуждающихся в помощи
• предотвращение самоубийств
• выявлять депрессию у пожилых людей
• наблюдать за состоянием пациентов во время лечения
Работа
• помощь в принятии решений рекрутерам
• выявить незаинтересованных кандидатов на собеседовании
• следить за настроением и вниманием сотрудников Обучение
• следить за вниманием учащихся
• выявлять эмоциональную реакцию пользователей на образовательную программу и адаптировать траекторию обучения
• разработать эффективную систему обучения
• определить участие в онлайн-обучении
Общественная безопасность
• детекторы лжи и умный пограничный контроль
• предиктивный скрининг общественных мест для определить эмоции, вызывающие потенциальную террористическую угрозу
• анализ отснятого материала с места преступления для определения возможных мотивов преступления
Раскрытие преступления
• выявлять и сокращать мошеннические страховые случаи
• внедрить стратегии предотвращения мошенничества
• выявлять магазинных воров
Другой
• обнаружение усталости водителя
• выявление политических взглядов

II. Что такое защита данных
проблемы?
Благодаря использованию биометрических данных и технологий искусственного интеллекта, FER разделяет некоторые риски использования распознавания лиц и искусственного интеллекта. Тем не менее, эта технология несет в себе и свою
собственные специфические риски. Будучи биометрической технологией, где стремление к идентификации не выглядит как основная цель, риски, связанные с интерпретацией эмоций точность и его применение являются выдающимися.
II.1. Необходимость и соразмерность
Превращение человеческих выражений в источник данных для вывода об эмоциях явно затрагивает часть самых частные данные. Будучи прорывной технологией, FER
поднимает важные вопросы, касающиеся необходимости и соразмерности.
Необходимо тщательно оценить, будет ли развертывание FER действительно необходим для достижения преследуемых целей или есть менее навязчивая альтернатива. Существует риск применения ТЭР без соблюдения необходимости и соразмерности оценка для каждого отдельного случая, введенная в заблуждение
решение использовать технологию в другом контексте.
Однако пропорциональность зависит от многих факторов,
таких как тип собранных данных, тип выводов, период хранения данных или возможные дополнительные обработка.
II.2. Точность данных
Анализ эмоций по мимике может быть неточным, так как выражение лица может
немного различаются у разных людей, могут смешиваться разные
эмоциональные состояния, переживаемые в одно и то же время (например,
страх и гнев, радость и грусть) или может не выражать вообще эмоция. С другой стороны, есть эмоции, которые не могут быть выражены на чьем-либо
лица, поэтому выводы, основанные исключительно на выражении лица, могут привести к неверным впечатлениям. Дополнительный факторы могут усилить двусмысленность выражений лица, например, контекстуальные предложения (сарказм) и социокультурный контекст. Кроме того, технические аспекты
(разные ракурсы камеры, условия освещения и маскирование нескольких частей лица) может повлиять на качество схваченного выражения лица.
Более того, даже в случае точного распознавания эмоций использование результатов может привести к к неверным выводам о человеке, как это делает ФЕР
не объяснить спусковой крючок эмоций, который может быть мысль о недавнем или прошлом событии. Однако результаты ФЭР, независимо от ограничений по точности,
обычно рассматриваются как факты и являются входными данными для процессов
влияющих на жизнь субъекта данных, а не инициирующих оценка, чтобы узнать больше об их ситуации в конкретном контексте.
II.3. Справедливость
Точность результатов алгоритма лицевых эмоций может сыграть важную роль в различении по цвету кожи или этническому происхождению. Социальный
нормы и культурные различия оказались влиять на уровень выражения некоторых эмоций в то время как некоторые алгоритмы оказались предвзятыми
против нескольких групп, в зависимости от цвета кожи. Для Например, исследование, тестирующее алгоритмы распознавания лицевых эмоций, показало, что они приписывают больше отрицательных эмоций (гнева) лицам лиц африканского происхождения. спуска, чем к другим лицам. Кроме того, всякий раз, когда
была неоднозначность, первые были оценены как более злые (Rhue, 2018). Выбор правильного набора данных, который является репрезентативным, имеет решающее значение для предотвращения дискриминации. Если обучающие данные недостаточно разнообразны, технология может быть предвзятым в отношении недопредставленного населения. Дискриминация, вызванная неисправной базой данных или ошибками в определении правильного эмоционального состояния
может иметь серьезные последствия, т.е. невозможность использования некоторых
услуги.
В другом аспекте той же проблемы, в случае заболеваний или физических недостатков при котором временный или постоянный паралич лица мышц, эмоции субъектов данных могут быть неправильно поняты алгоритмами. Это может привести к широкому ряд ситуаций неправильной классификации, последствия которых варьируются от получения нежелательных услуг до к ошибочному диагнозу психологического расстройства.

II.4. Прозрачность и контроль
Изображения лица и видео можно снимать где угодно, благодаря повсеместному распространению и небольшим размерам камер. Камеры наблюдения в общественных местах или магазинах не единственные камеры, дистанционно фиксирующие изображения лиц, поскольку собственные мобильные устройства могут фиксировать выражения лиц во время их использования. В этих ситуациях возникают вопросы прозрачности как в отношении сбора и дальнейшая обработка персональных данных. Где выражения лиц субъектов данных
снято дистанционно, может быть не ясно им какая система или приложение будет обрабатывать свои данные, для каких целей и кто является контролером. В результате их не будет в возможность свободно давать согласие или осуществлять контроль над обработкой своих персональных данных, включая передачу их третьим лицам. Где субъекты данных не обеспечены точной информацией, доступ
и контроля за использованием ТЭР, они лишены своей свободы выбирать, какие аспекты своей жизни может использоваться для воздействия на другие контексты (например, эмоции в социальных взаимодействиях может использоваться в контексте набор персонала). Более того, субъекты данных должны контролировать, в какие периоды времени их собранные данные будут обработаны и объединены в записи истории их эмоциональная ситуация, так как выводы об эмоциях могут не
быть действительным для них по прошествии некоторого времени.
Другое следствие удаленного захвата выражения лица и неясность их обработки заключается в том, что субъекты данных могут быть не предоставлены с информацией о том, какие другие источники данных они будут объединены в. Кроме того, продвинутый ИИ Алгоритмы усложняют требования к прозрачности, поскольку они могут обнаруживать небольшие движения лица. мышцы, которые бессознательны даже для отдельных лиц. Это будет способствовать неприятному ощущению уязвимости из-за нежелательного воздействия.

II.5. Обработка специальных категорий личные данные
Технология FER может обнаруживать наличие, изменения или полное отсутствие мимики, и связать это с эмоциональное состояние. В результате в некоторых контекстах алгоритмы могут выводить специальные категории персональных данных, например, политические взгляды или данные о состоянии здоровья.
Например, применение технологии ТЭР в политических событий, политические взгляды могут быть выведены путем изучения на мимику и реакцию зрителей.
Также отсутствием мимики, алгоритмов способны обнаружить признаки алекситимии, состояния в которые не могут понять чувства, которые они испытывают, или не хватает слов, чтобы описать эти чувства.
Это открытие может быть связано с тяжелыми психическими и
неврологические расстройства, такие как психоз. Кроме того, анализ исторических данных об эмоциональном состояние может выявить другие состояния здоровья, такие как депрессия. Такие данные, если их использовать в контексте здравоохранения, могут помочь в прогнозировании и своевременном лечении.
пациента. Однако там, где субъекты данных не способен контролировать поток полученной информации и его использование в других контекстах, они могут столкнуться с ситуацией вывод и использование таких конфиденциальных персональных данных неуполномоченными лицами, такими как работодатели или
страховые компании.
II.6. Профилирование и автоматизация принятие решений
Технология FER может быть дополнительно использована для создания профилей
людей в ряде ситуаций. Его можно было использовать добиться принятия продукта, рекламы или предложенной идеи. Его также можно использовать для классификации производительности и устойчивости к утомлению на рабочих местах. Риск заключается в том, что субъект данных может не знать об этом типе таргетинга и
могут чувствовать себя некомфортно, если узнают о это. Дальнейшие последствия могут возникнуть из-за ошибочного профилирование или выводы, основанные исключительно на связи с определенной группой людей, испытывающих
одни и те же эмоции.
Кроме того, знание личности эмоции могут облегчить манипулирование ими.
Например, знание эмоций, раскрывающих уязвимое эмоциональное состояние, может быть использовано для ментального заставлять людей совершать действия, которые они не стали бы делать иначе – напр. покупать товары, которые им не нужны.
Технология FER может быть использована для целей обеспечение общественной безопасности, например, на концертах, спортивных мероприятиях или в аэропортах, чтобы быстро идентифицировать признаки агрессии и стресса и выявить потенциальные террористы. Однако если такая идентификация была
основан исключительно на ТЭР и не сочетался с другие действия или триггеры, указывающие на то, что этот человек опасен, это может привести к дополнительным рискам для данных. предметы. Например, человек может быть подвержен
к неоправданным задержкам для проведения дальнейших проверок безопасности или расследований, в результате чего они пропускают
участие в мероприятии, посадка на рейс или даже привести к необоснованному аресту.
И последнее, но не менее важное: FER может влиять на поведенческие изменения, если человек знает о воздействии этой технологии (известной как реактивность в
психология). Люди могут изменить свои привычки или избегайте конкретных областей, где применяется технология в попытке самосенсора и защитить себя.
Можно себе представить, какой охлаждающий эффект это может иметь
к обществу и чувство незащищенности среди граждан, если такая технология будет использоваться недемократическими правительствами, чтобы сделать вывод о политическом отношении граждан.

III. Рекомендуемое чтение
Абдат, Ф. и др. (2011). Взаимодействие человека с компьютером
Использование распознавания эмоций по выражению лица.
В: 2011 UKSim 5-й Европейский симпозиум по компьютерному моделированию и моделированию. IEEE. дои: 10.
1109/ems.2011.20.
Андалиби, Назанин и Джастин Басс (2020). Человек в распознавании эмоций в социальных сетях: отношение, результаты, риски. В: Материалы
Конференция CHI 2020 по человеческому фактору в вычислительных системах. ЧИ 20. Гонолулу, Гавайи, США: Ассоциация вычислительной техники, стр. 1–16. isbn:
9781450367080. doi: 10.1145/3313831.3376680.
Барретт, Лиза Фельдман и др. (2019). Пересмотр эмоциональных выражений: проблемы с выводом эмоций из движений лица человека. В: Психологическая наука в интересах общества 20.1.
PMID: 31313636, стр. 1–68. дои: 10. 1177 /
1529100619832930.
Коуи Р. и соавт. (2001). Распознавание эмоций при взаимодействии человека с компьютером. В: Обработка сигналов IEEE
Журнал 18.1, стр. 32–80. дои: 10.1109/79.911197.
Кроуфорд, К. и др. (2919). Отчет AI Now 2019. Тех.
представитель Нью-Йорк: Институт ИИ сейчас.
Daily, Shaundra B. et al. (2017). Аффективные вычисления: исторические основы, текущие приложения,
и будущие тенденции. В: Эмоции и аффект в человеческом факторе и взаимодействии человека с компьютером. Эльзевир, стр. 213–231. дои: 10. 1016 / b978 - 0 - 12 -
801851-4.00009-4.
Ду, Шичуань и др. (2014). Сложные выражения эмоций на лице. В: Труды Национального
Академия наук 111.15, E1454–E1462. номер:
0027-8424. doi: 10.1073/pnas.1322355111. электронная почта:
https://www.pnas.org/content/111/15/E1454.full.
пдф.
Экман, Пол и Уоллес В. Фризен (2003). Снятие маски с лица: руководство по распознаванию эмоций
подсказки на лице. Ишк.
Джасинта, В. и др. (2019). Обзор эмоций на лице
Техники распознавания. In: Международная конференция по связи и обработке сигналов, 2019 г.
(ИКССП). IEEE, стр. 0517–0521. doi: 10.1109/ICCSP.
2019.8698067.
Ко, Бён Чул (2018). Краткий обзор распознавания лицевых эмоций на основе визуальной информации. В:
Датчики 18.2, с. 401. doi: 10.3390/s18020401.
Ланг, Питер Дж. и др. (1993). Глядя на картинки: аффективные, лицевые, висцеральные и поведенческие реакции. В:
Психофизиология 30.3, стр. 261–273. дои: 10.1111/
j.1469-8986.1993.tb03352.x.
Рю, Лорен (2018). Расовое влияние на автоматическое восприятие эмоций. В: Электронный ССРН
Журнал. doi: 10.2139/ssrn.3281765.
Рассел, Джеймс А. (1995). Выражение эмоций на лице: что лежит за пределами минимальной универсальности? В:
Психологический бюллетень 118.3, стр. 379–391. дои: 10.
1037/0033-2909.118.3.379.
Седенберг, Элейн и Джон Чуанг (2017). Улыбка
для камеры: последствия конфиденциальности и политики
Эмоции ИИ. arXiv: 1709.00396 [cs.CY].