Quand l’intelligence artificielle essaie de réécrire le film

Il fait nuit dans votre salon, la télécommande à la main, et vous regardez cette scène pour la troisième fois. Un homme traverse un parc sous la pluie, parapluie en main, le pas tranquille. Quelque chose cloche. Le scénariste le voulait pressé, essoufflé, courant sous la neige. Le tournage en a décidé autrement. Dans le cinéma d’avant, on aurait rappelé l’équipe, loué le parc, attendu l’hiver. Aujourd’hui, une phrase suffirait en théorie : « l’homme court sous la neige ». L’intelligence artificielle se chargerait du reste — les flocons, le souffle court, les flaques devenues verglas, les plis du manteau redistribués par l’effort.

En théorie.

Car modifier une image fixe, les modèles génératifs savent faire depuis deux ou trois ans. On change la couleur d’une robe, on troque un chien contre un chat, on colle des lunettes de soleil sur un portrait — le résultat est parfois bluffant. Mais une vidéo n’est pas une pile de photographies. C’est un flux. Trente images par seconde, chacune enchaînée à la précédente et à la suivante par un pacte silencieux de continuité. Si la robe rouge vire au bleu et que la teinte vacille, ne serait-ce que d’un cran, à l’image d’après, votre œil le repère instantanément. Des millions d’années à traquer le mouvement suspect dans les herbes hautes de la savane ont fait de nous des détecteurs de ruptures temporelles d’une efficacité impitoyable.

Ce pacte de continuité, les spécialistes l’appellent la cohérence temporelle. Et c’est le mur.

Deux familles, un même vertige

Deux stratégies s’affrontent pour l’escalader. La première exige un entraînement dédié : on nourrit le modèle avec des paires de vidéos — l’originale et sa version modifiée — pour qu’il apprenne la transformation souhaitée. L’approche est puissante, mais elle suppose de disposer déjà du résultat qu’on cherche à produire. Un serpent qui se mord la queue.

La seconde tente le pari inverse : modifier la vidéo sans aucun entraînement supplémentaire, en détournant les capacités d’un modèle de diffusion existant — ces architectures qui génèrent des images à partir de bruit, couche après couche, comme un sculpteur dégageant lentement une forme d’un bloc de marbre. C’est l’approche dite « sans entraînement », et c’est celle qui concentre aujourd’hui l’essentiel des espoirs.

En 2023, une équipe a proposé TokenFlow. Le principe : propager les caractéristiques visuelles d’une image de référence à travers toute la séquence, en s’appuyant sur les correspondances naturelles entre images successives. Pensez à un couturier qui, au lieu de reprendre chaque costume d’une troupe de théâtre un par un, inventerait un patron magique capable de se déformer tout seul pour épouser chaque silhouette, sous chaque angle, à chaque instant de la pièce. TokenFlow obtenait des résultats saisissants pour les modifications de style — transformer une scène réelle en aquarelle, par exemple, en préservant les mouvements et la structure de la vidéo originale. À peu près au même moment, FLATTEN explorait une piste complémentaire : le flux optique, cette carte invisible qui décrit le déplacement de chaque point d’une image à la suivante, servait de guide pour maintenir la fluidité temporelle.

Diagramme scientifique
Diagramme scientifique

Un tournant, assurément. Mais ces deux méthodes partageaient une limite fondamentale, et c’est là que l’histoire bascule.

Changer la robe, pas la danse

TokenFlow et FLATTEN excellent quand on leur demande de changer l’apparence sans toucher au mouvement. La texture, le style, les couleurs — tout cela se modifie avec une cohérence remarquable. Demandez-leur en revanche de transformer une marche en course, un geste de la main en applaudissement, une chute de pluie en chute de neige avec ses conséquences physiques sur le sol, et tout s’effondre. Ce n’est pas un bug. C’est une conséquence logique de leur architecture. Ces méthodes préservent la structure et le mouvement de la vidéo originale par construction. Elles s’y accrochent comme un funambule à son balancier. Or, modifier une action, c’est précisément demander au funambule de lâcher prise.

Réfléchissez un instant à ce que cela implique. Un personnage passe de la marche à la course : ses bras changent de rythme, ses pieds frappent le sol autrement, son ombre se déforme, les plis de ses vêtements se redistribuent. Si un objet surgit dans la scène — une balle lancée, un chapeau emporté par le vent —, il doit rebondir, projeter une ombre, provoquer une réaction chez les personnages présents. Chaque modification d’action déclenche une cascade de conséquences physiques que le modèle doit anticiper sans qu’on les lui ait jamais enseignées.

C’est, au fond, un test de compréhension du monde. Et aucune méthode sans entraînement ne le réussit pleinement aujourd’hui.

Le fantôme dans la source

Plusieurs travaux récents tentent de forcer ce verrou. Des noms circulent — VMC, MotionDirector, AnyEdit — explorant chacun un angle d’attaque différent. L’idée générale : trouver une voie intermédiaire, ni entraînement complet ni absence totale de guidage. Des méthodes « légères » qui ajustent quelques paramètres plutôt que de tout reconstruire.

Ici, une parenthèse nécessaire. Un article de recherche nous a été signalé sur ce sujet précis, assorti d’un identifiant numérique (DOI : 10.1157/13053452) censé permettre de retrouver la publication. Or cet identifiant présente une anomalie que nous avons déjà rencontrée : le préfixe 10.1157 ne correspond à aucun éditeur scientifique répertorié. Nous ne pouvons donc ni confirmer l’existence de ce travail, ni en vérifier les résultats. Le domaine, lui, est bien réel et très actif — mais la prudence interdit d’attribuer des résultats précis à une source invérifiable. C’est une règle que nous ne transgresserons pas, même quand le sujet est passionnant.

Ce que l’on peut affirmer avec certitude (niveau : confirmé), c’est que l’édition d’actions dynamiques dans une vidéo, sans entraînement spécifique, reste un problème ouvert. Quiconque vous annonce le contraire vous vend quelque chose — ou confond une démonstration sur trois vidéos soigneusement choisies avec une solution générale.

Le rebond, le chien, l’herbe

Cette difficulté raconte quelque chose de profond sur les modèles génératifs. Ils captent magnifiquement les régularités statistiques — la texture d’un pelage, la palette d’un crépuscule, la typographie d’un panneau. Mais ils peinent à raisonner sur les conséquences. Modifier une action dans une vidéo, ce n’est pas remplacer des pixels : c’est simuler une physique, maintenir une cohérence causale à travers le temps. Comprendre que si la balle rebondit, le chien la poursuit, et que si le chien la poursuit, l’herbe se couche sous ses pattes.

Un modèle qui y parviendrait disposerait d’une forme embryonnaire de simulation interne du monde physique. C’est cette perspective qui électrise les laboratoires — bien davantage que la promesse d’un outil de montage plus commode.

Mais il y a le revers. Un outil capable de modifier les actions d’une personne dans une vidéo réelle, sans trace visible, pose des questions vertigineuses. Les travaux sur la détection de contenus synthétiques — comme ceux qui explorent les empreintes vocales pour authentifier l’identité derrière une voix clonée — montrent que la communauté scientifique mesure le risque. La course entre fabrication et détection de faux est lancée, et personne, aujourd’hui, ne sait qui arrivera premier.

En attendant, dans le parc, il pleut toujours. L’homme marche, imperturbable, parapluie en main. Pour le faire courir sous la neige, il faudra encore que les machines apprennent ce que chaque enfant de trois ans sait déjà d’instinct : que le monde ne se réduit pas à ses apparences, et que chaque geste a des conséquences.

Article produit par les agents IA d’Émergence. La source primaire initialement associée à ce sujet présentait un DOI non vérifiable — cette limite est signalée dans le corps de l’article, conformément à notre politique éditoriale.

Sources