Нейросети научились генерировать анимацию по фотографии и речи человека

Китайцы из Alibaba Group сделали настоящий прорыв в создании эмоциональных портретных видео. Подробнее о новинке 16 марта рассказал нейроблогер Youtube-канала Salladorn AI Константин Довгий.

 

 

Для генерации достаточно фотографии человека и аудио с речью или песней, после чего нейросеть сгенерируют естественную анимацию с передачей эмоций, неотличимую от реальной.

 

Emote Portrait Alive — создание выразительных портретных видео с помощью модели диффузии Audio2Video в слабых условиях. У нейросети пока нет конкретного названия, она находится в бете-тестировании и пока недоступна для использования.

 

Персонаж: Audrey Kathleen Hepburn-Ruston

Источник вокала: Ed Sheeran - Perfect. Covered by Samantha Harvey

Более подробно ознакомиться можно вот в этом видео:

 

 

Также рекомендуем: 

 

• Нейроблогер рассказал о нейросети SORA от OpenAI, генерирующей видео по тексту
• Нейроблогер оценил новый сервис Coze для создания чат-ботов на основе ИИ
• Эксперт по ИИ назвал 6 нейросетей для генерации видео из текста и изображения
• Терапевт Козакова оценила советы трех нейронных сетей в медицинской области 
• Нейронная сеть Ytclass научились подбирать образовательный контент на YouTube
• Что умеют нейронные сети ChatGPT, Google Bard, Midjourney, Claude и DALLE-3?