Яблоко ОБНИМАЕТ
Apple выпустила исследовательскую работу, в которой обсуждается то, что она называет HUGS, генеративная технология искусственного интеллекта, которая может создать цифровой человеческий аватар из короткого видео примерно за 30 минут.
Опубликовано на странице Apple Machine Learning Research и опубликовано исследователем Apple Анурагом Ранджаном. на Х, «HUGS: Human Gaussian Splats» обсуждает методы создания цифровых аватаров людей. Используя машинное обучение и компьютерное зрение, исследование детализирует процесс создания, используя относительно небольшой исходный материал.
Текущие методы нейронного рендеринга являются заметным улучшением по сравнению с более ранними версиями, но они по-прежнему лучше всего подходят для «фотограмметрии статичных сцен и плохо распространяются на свободно перемещающихся людей в окружающей среде», поясняется во вводных параграфах.
Концепция Human Gaussian Splats, HUGS, использует технику под названием 3D Gaussian Splatting для создания анимированного человека внутри сцены.
Сам метод требует небольшого количества видео объекта, обычно движущегося внутри сцены и показывающего как можно больше поверхностей, с которыми может работать система. В некоторых случаях этот метод может использовать очень короткие клипы, иногда монокулярное видео с длиной от 50 до 100 кадров, что соответствует двум-четырем секундам видео со скоростью 24 кадра в секунду.
Система обучена «разделять статическую сцену и полностью анимированный человеческий аватар в течение 30 минут», утверждает Apple.
Хотя модель тела SMPL используется для инициализации гауссовских моделей человека, она не может охватить каждую деталь. В процессе допускается отклонение от модели SMPL для элементов, которые не моделируются, таких как ткань и волосы, чтобы заполнить пробелы в том, что было захвачено и включено в модель.
Существует также предложение оптимизировать веса скинов линейного смешивания, чтобы они могли координироваться с движениями гауссовой модели во время анимации, улучшая внешний вид модели.
В итоге время от обучающего видео до анимации «самого высокого качества рендеринга» человеческой модели и сцены, выводимой со скоростью рендеринга 60 кадров в секунду при HD-разрешении, составляет около получаса. Утверждается, что это примерно в 100 раз быстрее, чем другие методы, включая NeuMan и Vid2Avatar.
В исследовательской работе, авторами которой являются Мухаммед Коджабас, Рик Чанг, Джеймс Габриэль, Онсель Тузель и Анураг Ранджан, она была подготовлена в сотрудничестве с Институтом интеллектуальных систем Макса Планка.
Apple уже довольно давно работает над идеей создания цифровых аватаров, и концепция высокодетализированной версии появилась в Apple Vision Pro. Чтобы обеспечить возможность разговоров FaceTime, а также внешний вид глаз пользователя, гарнитура создает цифровую «Персону», которая используется различными способами для представления пользователя.
