HeyGen, l’IA de traduction vidéo qui bluffe tout le monde, mais fait peur aux doubleurs de films

IA – Non, Elon Musk et Donald Trump ne se sont pas mis à parler français du jour au lendemain : ils ont juste été doublés par une intelligence artificielle. Ces derniers jours sur Twitter, difficile de ne pas tomber sur une vidéo utilisant l’outil lancé par l’entreprise HeyGen début septembre. Et comme vous pouvez le voir dans notre vidéo en tête de l’article, les résultats sont plus qu’impressionnants, avec une traduction fluide, qui adapte même les mouvements de lèvres à la langue choisie.

Pour utiliser cette IA traductrice, quelques conditions doivent être réunies : la vidéo originale doit durer entre 30 secondes et 5 minutes, et HeyGen conseille de ne pas soumettre à l’outil des vidéos avec plusieurs personnes parlant en même temps, ou avec une musique de fond. L’entreprise, également connue pour ses services d’avatars générés par IA, offre pour l’instant un unique essai gratuit de ses outils, à utiliser sur une vidéo d’une minute maximum.

L’outil propose actuellement 8 langues différentes, que de nombreux internautes se sont empressés de tester sur des vidéos de Lionel Messi ou sur des discours du général de Gaulle. La plateforme est d’ailleurs saturée tant elle a gagné en popularité ces derniers jours, avec plus de 100 000 vidéos en attente de doublage, et des lenteurs de traitement remarquées par les utilisateurs.

Encore un outil qui pourrait remplacer les doubleurs

À l’origine, cette IA de doublage s’adressait aux créateurs de contenus et aux plateformes éducatives souhaitant traduire leurs vidéos YouTube, une manière de « briser les barrières linguistiques pour rendre un contenu accessible au monde entier » a expliqué sur Twitter Joshua Xu, un des fondateurs de HeyGen. Cependant, l’entreprise a déjà commencé à faire allusion à d’autres utilisations de son outil, notamment dans le monde du cinéma.

« Imaginez notre outil de traduction utilisé à Hollywood. Fini les doublages horribles, une synchronisation des lèvres parfaite, des clones vocaux capables d’imiter tous les accès, tons et émotions... », postait le compte d’HeyGen le 10 septembre. Une promesse controversée, alors que l’intelligence artificielle est au centre d’une grève qui secoue Hollywood depuis des mois.

L’outil propose actuellement 8 langues différentes, que de nombreux internautes se sont empressés de tester sur des vidéos de Lionel Messi ou sur des discours du général De Gaulle. La plateforme est d’ailleurs saturée tant elle a gagné en popularité ces derniers jours, avec plus de 100 000 vidéos en attente de doublage, et des lenteurs de traitement remarquées par les utilisateurs.

En 2021, la start-up Flawless AI avait développé un outil qui permettait déjà de synchroniser les lèvres des acteurs, évitant ainsi de faire de nouvelles prises pour changer un bout de dialogue. Le réalisateur Scott Mann, fondateur de l’entreprise, avait déclaré détester la mauvaise synchronisation dans le doublage, et souhaitait que son outil permette un visionnage plus agréable d’œuvres étrangères.

À voir également sur Le HuffPost :

Pourquoi la fiction imagine-t-elle toujours le pire de l’IA, dans les livres et au cinéma ? On a demandé à un expert

Sean Penn ne mâche pas ses mots contre le scan IA des acteurs