На фоне громких побед ChatGPT тема цифровых двойников, казалось бы, отошла на второй план? Ничуть – не так давно был анонсирован целый ворох решений в этом поле.
Пионером тут конечно же выступает Nvidia. Прошлый год RnD компании потратил на изучение восприятия 3D аватаров пользователями.
Было установлено, что «роботизация» реалистичного лицы воспринимается несколько хуже чем анимированный персонаж на основе того же лица.
В 2023 году компания предоставила ранний доступ к инструментарию по работе с аватарами в том числе с уклоном в мультяшность. Avatars Cloud Engine (сокращённо — ACE).
ACE это набор инструментов:
📟 Video-to-animation — создание анимации на основе ИИ-анализа видео;
📟 Audio2Face — анимация лица с помощью речи из аудиофайла;
📟 Audio2Gesture — перевод голосовых команд в ростовую анимацию;
📟 Video-to-2D-portrait-face-animation — анимация рисунков людей или портретов с помощью видео;
📟 Text-to-speech — перевод текста в синтезированную ИИ речь.
В качестве первых партнёров к Nvidia уже присоединились Epic Games c MetaHuman Creator и Ready Player Me.
Synthesia (видео на синем) напротив, делает упор на реалистичность снабдила аватаров от Nvidia живой мимикой.
Кстати многие подозревают что на CES 2023 спикерами с презентации Nvidia были именно эти аватары топ менеджеров компании а не живые люди.
Майкрософт выпустил диффузионную модель, которая способна построить 3D аватар по одной фотографии человека.
На выходе модель дает рендер 3D головы человека. Текстовый промпт изменяет внешний вид аватара.
В этом году с высокой долей вероятности мы увидим полноценные решения в области цифровых двойников и в образовании.
И наша лаборатория и целый ряд российских стартапов уже начал активную работу в этом поле. Будем следить за их успехами.
Подробнее на канале «Дизайн Образования»
Андрей Комиссаров и Команда Digital Learning