Нейросеть научилась превращать текст в анимацию

Ученые Сеульского университета создали нейросеть Text2Action, алгоритм которой способен переводить текст в трехмерную анимацию.

Как работает. Алгоритм создан на основе генеративно-состязательной сети (GAN). Машина самостоятельно учится находить связь между полученным текстовым сообщением и соответствующим анимированным изображением. Чтобы информация трансформировалась в изображение, разработчики применили рекуррентную нейронную сеть (RNN). Эта нейросеть имеет обратную связь от логически более удаленного элемента к менее удаленному.

Text2Action.jpg

Источник: arXiv

В качестве базы для обучения нейросети использовали данные MSR-VTT (Microsoft). База содержит письменные описания и видеоролики различных действий людей. Пока Text2Action знает 30 000 пар «видео-описание».

Впервые понятие нейронных сетей было употреблено в середине ХХ века учеными Уорреном Мак-Каллоком и Уолтером Питтсом. Позже в свет вышла научная работа о кибернетике, основная идея которой заключается в представлении биологических процессов математическими моделями. На сегодняшний день известно более 25 типов нейронных сетей.

Источник: arXiv