Disney представила нейросеть для преобразования текста в анимацию

19.07.2019 в 14:10, просмотров: 773

Disney представила нейросеть для преобразования текста в анимацию

Компания Disney Research разработала нейросеть, которая поможет студиям 3d-анимации превращать текст в готовые анимированные ролики. Система, использующая в своей основе обучаемый искусственный интеллект, работает со сценариями к фильмам и театральным постановкам.

До сих пор программное обеспечение было способно решать только легкие задачи. Теперь, благодаря разработке нового алгоритма, преобразованию будет подлежать текст любой сложности. Целью изобретения программисты из Disney называют не полную замену 3d-аниматоров, а упрощение их работы и достижение большей эффективности труда.Как это работает

Сложные предложения обрабатываются путем их упрощения при генерации анимационных роликов. Искусственный интеллект руководствуется набором алгоритмов, выделяющих в тексте важные смысловые участки. Извлеченная из них информация используется для первичной раскадровки видеопотока.

Система включает в себя три модуля:

Синтаксический анализ. Самостоятельно отбирает отрезки текста, необходимые для дальнейшей работы;

NLP. Занимается обработкой тех частей контента, которые были извлечены предыдущим модулем. Исключает сложные участки в предложениях и извлекает из них информацию для представления действия;

Создание анимации. Используя имеющиеся данные, генерирует анимированный ролик.

Для генерирования 3d-графики нейросеть использует движок Unreal Engine. Анимация генерируется в формате трехмерного видеоролика, события в котором протекают по заданному сценарию.Насколько это действенно

Для оценки качества работы нейросети компания привлекла трех специалистов, которые создали ролик по тем же принципам, что и искусственный интеллект. В результате наибольшая схожесть анимации наблюдалась в участках сценария, описывающих эмоции. По итогам опроса 45% респондентов отметили, что программа смогла правильно визуализировать текст.

Алгоритм может использоваться не только для преобразования сценариев, но и в 3d-рекламе. В перспективе он сильно удешевит процесс создания графических видеороликов. Впрочем, как отмечают многие студии 3d-анимации, включая 3DADDY.STUDIO, технология далека от идеала, и сегодня «ручной» метод позволяет добиться более точной смысловой и эмоциональной передачи.