Исследователи из Массачусетского технологического института разработали алгоритм, который способен реконструировать облик человека на основе записи его голоса.

 Совсем недавно исследователями из Массачусетского университета был опубликован алгоритм Speech2Face. Идея алгоритма заключается в преобразовании голоса человека в его внешние данные, т.е. алгоритм способен по голосу составить образ человека. Сами исследователи предупреждают, что алгоритм не способен выдавать портретное сходство на данном этапе, однако с отличительными чертами и внешним сходством справляется на ура. Так же стоит заметить, что Speech2Face показывает изображение в анфас и без эмоций.

 Для обучения алгоритма использовалось более миллиона видео разговаривающих людей с видеохостинга YouTube. Сам процесс преобразования голоса в изображение можно разделить на два этапа: 1. Кодировщик голоса, который принимает на вход спектограмму(фотографическое изображение спектра) и предсказывает вектор с характеристиками лица человека; 2. Декодировщик лица, который принимает на вход вектор с характеристиками лица человека и генерирует лицо человека в изображение.

 Стоит заметить, что разработчики Speech2Face не единственные в этой области – их коллеги из Университета Карнеги-Меллона ведут аналогичные исследования уже второй год. Всё говорит о том, что в ближайшие несколько лет люди смогут визуализировать аудиозаписи или звонки в реальном времени с высокой точностью.