Stability AI, la startup à l'origine de Stable Diffusion, teste actuellement un nouveau modèle de génération de vidéos à partir d'une seule image. Le nouvel outil, appelé Stable Video Diffusion, est actuellement en phase de recherche et n'est pas encore disponible pour des applications commerciales.

Stable Video Diffusion est capable de générer des vidéos de 14 à 25 images par seconde à une résolution de 576 × 1024. Il peut créer des synthèses multi-vues à partir d'un seul cadre et a été formé sur un ensemble de données de millions de vidéos. Cependant, il a certaines limites, comme la génération de vidéos relativement courtes (moins de 4 secondes), l'absence de mouvement de caméra à part des panoramiques lents, et la possibilité de ne pas générer correctement des personnes et des visages.

Stability AI a comparé Stable Video Diffusion à d'autres plateformes de génération de vidéos comme Runway et Pika Labs, affirmant que leurs modèles surpassent les modèles fermés leaders dans les études de préférence des utilisateurs. Cependant, l'outil n'est actuellement disponible que pour des fins de recherche, et les utilisateurs potentiels peuvent s'inscrire sur une liste d'attente pour accéder à une "expérience web à venir avec une interface texte-vidéo".

Les défis et opportunités de Stable Video Diffusion

Malgré ses avancées, Stability AI a rencontré des difficultés pour commercialiser son produit Stable Diffusion et a dépensé de l'argent à un rythme élevé. De plus, la société a été poursuivie par Getty Images pour avoir utilisé ses archives d'images. Cependant, la génération de vidéos est un objectif clé pour l'IA générative, en raison de son potentiel pour simplifier la création de contenu.

Stability AI a également annoncé que Stable Video Diffusion pourrait avoir des applications potentielles dans des secteurs tels que la publicité, l'éducation, le divertissement et plus encore. Malgré les défis, la société reste à la pointe de la génération de contenu par intelligence artificielle et continue de faire des progrès significatifs dans le domaine.