Google научила нейросеть читать по губам лучше людей

Специалисты Google, работающие над DeepMind совместно с учеными из Оксфордского университета, обучили нейросеть читать по губам лучше, чем это делают люди, пишет The Verge.

Ученые отчитались о следующих результатах: коэффициент удачного распознавания машины — 46,8%, у человека — 12,4%. Отмечается, что искусственный интеллект, впрочем, совершал незначительные ошибки, но они не мешали общему восприятию текста.

В процессе обучения ученые показали нейросети Google более 5000 часов видео, которые содержали около 118 тыс. предложений на английском языке. В основном DeepMind тренировался на губах дикторов новостных телепередач с канала BBC.

Следует отметить, что в Оксфорде и до этого работали над созданием программного обеспечения для распознавания речи людей по губам в рамках проекта LipNet. Коэффициент правильного распознавания той программы составлял 93,4% против человеческих 52,3%. Столь высокий показатель предыдущего эксперимента объясняется упрощенными условиями: дикторы читали заготовленный текст из шаблонных фраз.