Récemment, Meta a partagé un nouveau modèle d’IA qui fait en sorte que les invites textuelles se transforment en courtes vidéos silencieuses. Google a également eu une idée similaire et a publié récemment deux nouveaux systèmes de texte-vidéo d’intelligence artificielle (IA). Le premier se nomme Imagen Video et est axé sur la qualité de l’image. Tandis que le second a pour nom Phenaki et se concentre plutôt sur les créations de clips plus longs.
Pour des soucis de sécurité, et plus précisément pour que les systèmes ne soient pas utilisés à des fins malveillantes, Google a décidé de garder les deux systèmes privés. C’est également ce que Meta a fait avec son IA Make-A-Video. Par ailleurs, pour restreindre ces utilisations malveillantes, les chercheurs chez Google ont expliqué qu’ils ont expérimenté des filtres pour intercepter les invites NSFW et produire des vidéos mais ils n’ont pas clairement dit si cela marchait réellement. Selon eux, « il reste plusieurs défis importants en matière de sécurité et d’éthique ».
Imagen Video
Il existe un ancien système de texte en image dénommé Google Imagen. Le modèle de haute qualité, Imagen Video, tient son nom de cet ancien système. Ainsi, Imagen Video s’appuie sur des techniques perfectionnées de Google Imagen, de nouveaux composants au pipeline afin de transformer les images statiques en mouvement fluide.
Concernant la qualité, d’après les chercheurs de Google, ce premier modèle produit 16 images de séquences 3fps à une résolution de 24×48. Ce contenu basse résolution passe ensuite à travers divers modèles de super-résolution IA, qui augmentent cette sortie à 128 images de séquences 24fps à une résolution de 1280×768. Celle du modèle Make-A-Video de Meta est de 768×768.
Phenaki
Phenaki est différent du premier modèle de texte en vidéo, Imagen Video. Il traite la création de vidéos plus longues qui suivent les instructions d’une invite détaillée. C’est-à-dire que vous intégrez un long texte descriptif et Phenaki se chargera de générer pour vous une longue vidéo. Les chercheurs disent que la longueur des vidéos est sans limite.
Ces chercheurs déclarent que « bien que la qualité des vidéos générées par Phenaki ne soit pas encore indiscernable des vidéos réelles, atteindre cette barre pour un ensemble spécifique d’échantillons est du domaine du possible, même aujourd’hui ». Seulement, cela peut être dangereux si Phenaki est utilisé dans le but de produire des vidéos de quelqu’un à son insu et sans son consentement.