Ученые из нижегородского филиала ВШЭ создали систему, которая распознает эмоции в человеческой речи. Нейронная сеть пока учится, но в будущем эта технология сможет существенно сократить "пропасть понимания" между человеком и компьютером.
Принцип работы нейросети
Исследователи используют искусственный интеллект — нейронную сеть. Это математическая модель, построенная по принципу работы сетей нервных клеток живого организма. Для обучения распознаванию эмоций ученые применили аудиозаписи.
Звук становится изображением
Звуковые волны человеческого голоса преобразовали в изображения. Эти изображения напоминают карты медицинской диагностики или тепловизорные данные. Они представляют собой двухцветные графики — зеленый и красный.
Цвет показывает энергию эмоции
"Чем краснее цвет, тем больше энергии, тем выше была громкость. Например, мы видим, что "злой" и "счастливый" — наиболее красные зоны. Это самые сильные эмоции, значит, там больше энергии. Этого не наблюдается, к примеру, при нейтральном или спокойном состоянии, или при испуге", — поясняет разработчик Александр Рассадин.
Обучение системы
Нейросеть "слушала" 1000 аудиофрагментов. Их записывали 24 носителя английского языка, произносившие фразы с разной эмоциональной окраской. "Мы выделили восемь эмоций: счастье, гнев, нейтральность, спокойствие, удивление, печаль, страх и отвращение. Наша программа распознает их с точностью 71 процент", — рассказывает исследователь Анастасия Попова.
Анализ спектрограмм
Звуковые колебания в микрофоне помогают математически преобразовать звук в изображение — мел-спектрограмму. Музыканты могут анализировать музыку по таким спектрограммам, не прослушивая ее. Аналогично программа работает с эмоциями.
Формирование паттернов
При обучении нейросеть ищет закономерности в изображениях, помеченных одинаковыми эмоциями. Она формирует внутреннее представление каждой эмоции. Программа хорошо отличает нейтральные и спокойные интонации. Хуже всего она пока распознает счастье и удивление. Счастье часто путает со страхом и печалью, а удивление — с отвращением. Ученым предстоит понять, какие именно закономерности выявила нейросеть.
Перспективы развития
"Достичь 100 процентной точности распознавания, вероятно, невозможно. Мы хотим обучать программу на расширенных данных. Это повысит ее компетентность, позволит ей распознать любую запись на любом языке, любые фразы. Нам важно, чтобы распознавание не зависело от языка", — подчеркивает Анастасия Попова.
Будущие применения
Исследователи пока не думали о коммерциализации. Для них это только начало большой работы. Она сделает общение человека и компьютера более интерактивным. Техника сможет понимать состояние владельца и принимать определенные действия.
Преодоление барьера
"Создание такого инструмента уменьшает пропасть в общении между компьютером и человеком. Если цифровые помощники научатся распознавать человеческие эмоции, существующие приложения станут интеллектуальнее. Текущие голосовые ассистенты лишены эмоций. Наделив их этим качеством, мы можем сделать их намного эффективнее", — уверен Александр Рассадин.
Применение в различных сферах
Ученые считают, что технология распознавания эмоций найдет применение в медицине, работе колл центров, робототехнике. Она может решить проблемы при создании "умного дома".
"Как разработчик систем "умного дома", я знаю о проблеме ложных срабатываний. Системе сложно отличить реальную угрозу (например, взлом или нападение) от детских игр. Создание нашего инструмента позволит сделать шаг к настоящей интеллектуальности таких систем", — говорит Александр Рассадин.
Источник: scientificrussia.ru
