Pour améliorer les techniques de doublage cinéma, la société britannique Flawless AI a mis au point un nouveau système, il remplace les lèvres par des lèvres numériques grâce à l’IA.

Pour ceux qui ne sont pas bilingues mais qui ne veulent pas être distraits par les sous-titres pendant le visionnage d’un film, il est toujours possible de les regarder en version française. Mais pour les adeptes de la VF un peu maniaques, l’exercice peut être frustrant. Les mots entendus ne correspondent pas à la façon dont les lèvres des acteurs bougent. Flawless AI, une société anglaise co-créée par le réalisateur Scott Mann, a trouvé une solution. A l’aide de l’IA, elle fait correspondre dans toutes les langues le doublage aux mouvements de lèvres des acteurs. 

Modéliser de nouvelles lèvres pour préserver les performances des acteurs 

L’idée d’un tel système de doublage vient de Scott Mann lui-même. Un jour le réalisateur regarde, pour la première fois, une version traduite de son film “Heist” sorti en 2015. Il a l’impression de regarder un film complètement différent de celui qu’il a réalisé. Il souhaite  un système de doublage qui puisse préserver les performances des acteurs, leurs émotions, leur intention originelle. C’est là que naît TrueSync. 

Le système repose sur la deepfake, une technique qui permet de changer l’apparence d’un visage grâce à l’IA. Les lèvres des acteurs sont remplacées par des lèvres numériques qui sont synchronisées avec le texte. Le modèle d’IA et d’apprentissage automatique analyse les séquences vidéo de l’acteur, pour apprendre les nuances subtiles de la relation entre les mouvements des lèvres et les autres caractéristiques du visage : position de la tête, mouvement des yeux. Il analyse la performance du traducteur puis génère de nouvelles séquences qui imitent le style de l’acteur tout en incorporant les mouvements labiaux du traducteur. Les nouvelles images sont ensuite incluses sur le visage de l’acteur, le reste de la scène ne change pas.