OpenMontage vidéo IA : du prompt au studio open-source piloté par un agent

,
Créature en plasticine à tête-prisme déplaçant un jeton sur une roue de routage, métaphore du workflow vidéo IA OpenMontage

OpenMontage se présente comme un studio vidéo agentique open source : au lieu de laisser chaque étape vivre dans une conversation séparée, le dépôt décrit une chaîne qui relie recherche, proposition, script, planification des scènes, assets, montage et composition. L’intérêt du projet n’est donc pas seulement de « générer une vidéo ».

Il s’agit de rendre le passage entre les étapes plus explicite, avec des manifestes, des checkpoints, des validations humaines et des contrôles avant et après le rendu.

Ce qu’il faut retenir

  • OpenMontage décrit un parcours de production complet, pas un simple champ de prompt.
  • L’agent sert de couche d’orchestration ; les manifests, outils et checkpoints rendent les transitions lisibles.
  • Les contrôles humains restent présents avant les décisions sensibles et autour du rendu.
  • Les prérequis techniques, les providers réellement configurés et les coûts doivent être vérifiés sur la machine avant toute promesse.

OpenMontage, c’est quoi exactement ?

Le dépôt officiel OpenMontage se décrit comme un studio de production vidéo piloté par un agent. Dans son README, il annonce un ensemble de pipelines et d’outils pour passer de la recherche à la composition finale, avec des chemins pour le footage réel, les assets générés, l’audio, les sous-titres et le rendu.

Cette formulation doit être lue avec précision. « Studio agentique » est une déclaration du projet, pas le compte rendu d’un test indépendant. La documentation permet de comprendre le contrat proposé : l’agent coordonne des étapes, conserve des artefacts intermédiaires et s’arrête pour demander une validation. Elle ne permet pas, à elle seule, de garantir la qualité d’un film, la stabilité d’un provider ou le temps réellement économisé.

Pour une équipe créative, la question utile devient donc : quelles décisions sont confiées à la chaîne, quels objets sont transmis d’une étape à l’autre et à quel moment une personne reprend la main ?

Cas pratique : « Les outils passent »

Pour tester OpenMontage autrement qu’en lisant sa documentation, je l’ai utilisé pour produire un film manifesto pour CreativeAI : 92 secondes sur une seule idée, les outils de création changent, le métier se transmet. Le projet a été orchestré avec Claude Code dans un dépôt OpenMontage, sur le pipeline documentary-montage, avec un rendu Remotion. Ce qui suit décrit ce qui s’est réellement passé, y compris ce qui n’a pas marché.

  • Format : 92 s, 1920 × 1080, 24 images/s, soit 2 208 images ; trois livrables (Instagram, master, version sans texte) et les pistes audio séparées.
  • Durée : 19 versions en trois jours, du 16 au 18 novembre 2026.
  • Matière : une vingtaine de films et d’images d’archives du domaine public ou sous licence Creative Commons, des plans au présent générés par IA et signalés comme tels, des animations et une musique écrites en code, une voix de synthèse.

1. Le brief : une question plutôt qu’un sujet

Le brief enregistré dans le projet tient en quelques champs : la question « Qu’est-ce qui survit quand les outils de création changent ? », un ton élégiaque, une forme avant/après, une diffusion, et la liste des sources autorisées (Internet Archive, Wikimedia Commons, plans générés pour le présent uniquement). Ce dernier point a compté plus que prévu : il a fixé dès le départ ce que l’agent pouvait aller chercher, et ce qu’il devait signaler.

Storyboard du film « Les outils passent » de CreativeAI : douze plans clés de 0:00 à 1:29, de 1944 à 2026. Un « A » en néon, une machine à écrire d’archive, le premier bug informatique de 1947, la théière de l’Utah, une page Minitel 3615, un stylet en éclaté technique, un monde en voxels, un écran partagé 1959 / 2026 et la signature CreativeAI.

2. La chaîne, étape par étape

Étape OpenMontageCe qui a été produitCe qui est resté humain
researchRecherche d’archives libres (films Prelinger, FedFlix, NASA/JPL, Wikimedia Commons), avec la licence de chaque fichier notée au moment du téléchargement.Le choix des époques et des images qui portent le sens.
proposalPlusieurs pistes de structure, puis, à chaque tour, des listes de 5 idées argumentées (plans, sons, hook).Le choix parmi les idées, souvent en en combinant deux.
scriptQuatre phrases de voix off, placées sur la musique (15, 25, 64,75 et 81 s).Le texte, la voix retenue et l’intonation, testés sur plusieurs prises.
scene_planUne timeline décrite en JSON : 170 plans environ, leurs durées calées sur la croche à 120 BPM, et les couches graphiques par-dessus.Le rythme général et les plans à garder ou retirer.
assetsExtraits d’archives recadrés, plans générés, objets dessinés en code (éclatés filaires, robot et monde en voxels, théière de l’Utah recréée), musique et bruitages synthétisés.L’accord sur l’usage de plans générés, et sur les crédits consommés.
edit et composeComposition Remotion rendue en quatre segments, mixage audio, encodage des livrables.L’acceptation de chaque version, au visionnage.

Concrètement, chaque version a laissé une trace relisible : un fichier de timeline (outils_vNN.json), le script qui l’a construit, les rendus intermédiaires et des notes de version dans un fichier de crédits. C’est ce qui a permis de revenir en arrière sans tout refaire, par exemple pour retrouver la fin d’une version antérieure ou l’ancien logo.

3. Les portes humaines, telles qu’elles ont vraiment servi

Sur 19 versions, l’essentiel du travail de direction a consisté à refuser ou à réorienter. Quelques exemples, dans l’ordre :

  • une version plus longue (98 s) a été écartée au profit d’une version antérieure, jugée plus juste ;
  • la voix a été choisie après plusieurs essais (neutre, mi-voix, chuchotée) ; une seconde série de prises chuchotées, plus tard, n’a pas été retenue ;
  • une fin en stop motion, des titres de période animés « avec l’outil de leur époque », un écran partagé et un plan d’archive ont été ajoutés puis retirés ;
  • le hook d’ouverture a été refait deux fois : d’abord un éclaté de machine, puis une lettre « A » fabriquée par huit outils, enfin la même lettre en 21 versions qui accélèrent jusqu’au premier plan.

Rien de tout cela n’est une décision qu’un contrôle automatique aurait pu prendre. L’agent a proposé, construit et vérifié ; j’ai dirigé le film.

4. Les contrôles techniques, et ce qu’ils n’ont pas vu

Chaque rendu passait par les mêmes vérifications avant d’être montré :

  • le nombre d’images et la durée exacte ;
  • un contrôle des flashs inspiré des règles de photosensibilité (au plus 3 flashs par seconde), essentiel pour un film monté à la croche ;
  • le niveau sonore (−14 LUFS) et la crête après encodage, mesurés sur le fichier final et non sur le mixage ;
  • l’étiquetage colorimétrique BT.709 ;
  • des planches d’images fixes des plans modifiés, relues avant de lancer le rendu complet.
Trois images extraites du film « Les outils passent » : un caractère en plomb d’archive et son éclaté technique bleu, une page Minitel 3615 CREATIVEAI, puis un monde en voxels bleus avec un atelier au toit rouge.

Ces garde-fous ont rattrapé de vrais défauts : un filtre de pixelisation qui rendait l’image noire à certaines résolutions, une crête audio qui remontait après l’encodage AAC, des légendes qui se chevauchaient. Mais plusieurs problèmes n’ont été vus qu’au visionnage : des textes qui débordaient de leur cartouche sur quatre plans, un effet de mosaïque sur le logo que la personne ne percevait pas, des bruitages jugés trop forts. Et l’agent ne peut pas écouter : il mesure des niveaux et un rapport voix/musique, il ne juge pas un mixage. C’est exactement la limite décrite plus haut entre contrôle de fichier et regard éditorial.

5. Droits et transparence

Chaque source a été consignée avec sa licence dans un fichier de crédits tenu à jour version après version. Les archives viennent du domaine public (films Prelinger, productions du gouvernement américain, NASA/JPL) ou de licences Creative Commons, dont certaines (CC BY, CC BY-SA) imposent de citer l’auteur dans la publication. Les plans au présent ont été générés avec Seedance 2.5 via Higgsfield et sont présentés comme des reconstitutions, jamais comme des archives ; c’est aussi le cas d’un plan « 2026 » placé face à une vraie archive de 1959. La voix vient d’un preset ElevenLabs utilisé via Higgsfield. Les animations, la musique et les bruitages (Minitel, modem, sons d’outils) ont été écrits en code.

Deux vérifications restent à faire avant une diffusion publicitaire payante : les conditions d’usage commercial des plans et de la voix générés, et les droits des démonstrations de tiers visibles dans certaines archives.

6. Les incidents

Le projet était stocké dans un dossier synchronisé par iCloud. Au milieu de la production, la synchronisation a saturé le disque et bloqué un rendu, puis a remplacé des fichiers vidéo par des coquilles vides de quelques octets. Il a fallu retrouver la copie locale complète, refabriquer deux clips à partir de leurs sources et réinstaller les dépendances. Le rendu a ensuite été découpé en quatre segments relancés automatiquement en cas d’échec. Rien de spécifique à OpenMontage ici, mais un rappel utile : un pipeline reproductible suppose aussi un stockage stable, hors synchronisation

Ce que j’en retiens

  • Le gain est dans l’itération. Passer d’une version à la suivante prenait le plus souvent moins d’une heure, rendu compris, parce que la timeline, les sources et les scripts restaient disponibles et relisibles.
  • Le brief et la liste des sources autorisées font la moitié du travail juridique. Fixés au départ, ils ont évité de devoir trier les droits après coup.
  • Les contrôles techniques sont indispensables, pas suffisants. Ils évitent de livrer un fichier défectueux ; ils ne disent pas si le film fonctionne.
  • La direction reste humaine. Les meilleures décisions du film sont des refus et des choix entre options. L’agent a rendu ces choix rapides à tester, il ne les a pas pris.

Ce retour porte sur une seule production. Il ne constitue pas une mesure de performance d’OpenMontage.

Du prompt isolé au pipeline de production

Le schéma documenté dans l’architecture OpenMontage suit une progression simple à lire : research → proposal → script → scene_plan → assets → edit → compose. Chaque mot désigne une famille de décisions, pas nécessairement un outil ou un modèle précis.

Onepager plastique vertical sur la différence entre prompt et pipeline
Onepager 1 — le prompt seul ne porte pas toute la production.

1. Research : établir la matière de départ

La recherche rassemble le brief, les références, les sources visuelles, les contraintes de droits et les informations nécessaires au film. L’enjeu n’est pas de donner « plus de contexte » à un assistant, mais de constituer une matière consultable et transmissible. Une source, une hypothèse ou une limite doit pouvoir rester identifiable quand le projet avance.

2. Proposal et script : faire approuver une direction

La proposition et le script servent de points de contrôle éditorial. Le dépôt décrit des approbations humaines sur la proposition et le script : c’est important pour une agence, car un agent peut accélérer la préparation sans décider seul du ton, de la promesse ou du risque juridique. Le document de référence ne dit pas qu’une proposition sera automatiquement bonne ; il indique où elle doit être relue.

3. Scène plan et assets : transformer l’idée en éléments manipulables

Le plan de scènes traduit l’idée en unités de production : plans, intentions, mouvements, sons, textes ou contraintes de continuité. Les assets peuvent ensuite être recherchés, générés ou préparés selon les capacités réellement disponibles. Le bénéfice attendu est moins spectaculaire qu’un nouveau modèle : c’est la possibilité de reprendre un élément précis sans refaire toute la conversation.

Métaphore plastique d'un manifeste vidéo qui passe de la recherche au rendu
Un manifest rend les étapes lisibles ; il ne garantit pas le résultat final.

4. Edit et compose : monter, contrôler, rendre

Le montage assemble les éléments ; la composition prépare la sortie finale. Le README et l’architecture mentionnent des contrôles de validation et des vérifications post-rendu, notamment autour de la vidéo, de l’audio et des sous-titres. Il faut les comprendre comme des garde-fous techniques : ils peuvent détecter un fichier incomplet ou un problème de format, mais ils ne remplacent pas le regard éditorial sur le rythme, la narration ou la cohérence de marque.


Ce que l’agent orchestre — et ce qu’il ne décide pas

La documentation d’AGENT_GUIDE.md insiste sur une enveloppe de capacité : avant de lancer une production, il faut savoir ce qui est disponible, dégradé ou bloqué. Elle prévoit aussi un runtime verrouillé, des règles de budget et l’absence de fallback silencieux. Pour une équipe, ces détails sont essentiels : un workflow transmissible doit rendre visibles les conditions qui changent le résultat.

Une couche de coordination, pas un réalisateur autonome

L’agent peut organiser une suite d’actions, charger un manifeste, appeler un outil et enregistrer un checkpoint. Il ne transforme pas pour autant une intention floue en direction artistique validée. Le choix du point de vue, la hiérarchie du message, les arbitrages de marque et l’acceptation du rendu restent des décisions de production.

Vidéo IA

L’agent fait avancer le manifest, une personne ouvre les portes

Le pipeline documenté par OpenMontage, en sept étapes. Le manifest avance seul et s’arrête à chaque décision humaine : à vous de l’approuver, de demander une reprise ou de le laisser passer sans relecture.

Ce graphique a besoin de son script pour s’afficher. Dans l’éditeur WordPress, utilisez « Prévisualiser » dans un nouvel onglet.

Manifest de production

    Pipeline OpenMontage en sept étapes : research, proposal, script, scene_plan, assets, edit, compose. Une personne approuve la proposition et le script, des contrôles techniques vérifient le fichier avant et après rendu, puis une personne accepte le rendu avant livraison. Chaque étape laisse un checkpoint dans le manifest.

    À retenir : avant un pilote, vérifiez que les points d’approbation sont réellement appliqués, pas seulement décrits, et qu’une personne accepte le rendu avant livraison. Étapes et approbations de la proposition et du script reprises de l’architecture et du README d’OpenMontage. L’emplacement exact des contrôles techniques et la porte d’acceptation finale sont une lecture éditoriale. Schéma de lecture : le cas pratique documenté plus bas correspond à une production distincte ; ce graphique résume l’architecture, il ne remplace pas sa relecture.

    Pour cadrer cette première étape, il est utile de cadrer une mission créative avant de la confier à un agent. OpenMontage ajoute ensuite un niveau spécifique : les objets vidéo et les contrôles qui les accompagnent.

    Des artefacts qui réduisent la dépendance à une seule personne

    Dans beaucoup d'équipes, le workflow réel existe dans la mémoire de la personne qui sait quel outil appeler, dans quel ordre et avec quel réglage. Les manifests, les plans de scènes et les checkpoints promettent une autre forme de mémoire : externe, relisible, et plus facile à transmettre. C'est une hypothèse de workflow, pas un gain mesuré dans ce guide.

    La logique rejoint la nécessité de passer du prompt isolé à un contexte de production transmissible, mais le sujet OpenMontage reste centré sur la chaîne vidéo, ses décisions et son rendu.

    Des budgets et des providers à rendre explicites

    Le README décrit une sélection de provider fondée sur plusieurs dimensions — adéquation à la tâche, qualité, contrôle, fiabilité, coût, latence et continuité — ainsi que des mécanismes d'estimation, de réserve et de plafonnement. Il ne s'agit pas d'un benchmark universel. Ce sont des règles de décision proposées par le dépôt, qui devront être confrontées au registre courant et aux comptes réellement accessibles.

    Pour situer OpenMontage dans un paysage plus large, on peut comparer ce pipeline à des workflows créatifs déjà opérationnels, sans confondre un exemple éditorial avec une preuve de performance.


    Prérequis, limites et première lecture d'équipe

    Le README indique Python 3.10+, FFmpeg, une ligne Node 22/24/26 et un assistant de code parmi les prérequis. Il affiche également la licence GNU AGPLv3. Ces informations suffisent à repérer les sujets à vérifier, pas à déclarer une installation prête pour la production.

    Avant un pilote, une équipe devrait vérifier :

    • la version exacte des runtimes installés et leur compatibilité avec le dépôt ;
    • les providers accessibles, leurs modes d'authentification, leurs limites et leurs coûts courants ;
    • les droits des sources, des assets générés et des éléments sonores ;
    • les points d'approbation réellement appliqués, et non seulement décrits ;
    • le chemin de reprise quand une étape est bloquée ou dégradée ;
    • la façon dont le rendu est contrôlé par une personne avant livraison.

    Le point de vigilance principal est la différence entre une architecture bien décrite et une production reproductible. OpenMontage documente un cadre de contrôle ; la qualité de la sortie dépendra encore des outils sélectionnés, des données d'entrée, du brief et du niveau de revue humaine.

    Personnage à tête de clap alignant trois cadres aux formes cohérentes, illustration d’une séquence vidéo IA préparée plan par plan.

    de l'orchestration à la réalisation

    Pour passer de l’orchestration d’un workflow à la réalisation concrète de vidéos IA, la formation Réaliser des vidéos IA : prompts, plans, personnages et montage aide à structurer l’intention, le découpage, la cohérence visuelle, le montage et la livraison finale.

    Sources et références

    Avatar de Christophe Martin

    AUTEUR

    Fondateur de CreativeAI.fr · Expert IA & workflows créatifs · 20+ ans d’expérience en direction créative (Marcel, Leo Burnett). 600+ professionnels formés depuis 2023 aux usages, méthodes et workflows IA. 4,7/5 de satisfaction moyenne.

    Résumer ou partager cet article :

    Guides Pratiques & outils

    Un architecte en pâte à modeler assemble un dossier de références en monde 3D cohérent, avec un salon flottant et des fragments de brief.

    Gemini 4 Argon : du brief éclaté au monde 3D cohérent

    Un projet 3D devient vite fragile lorsque les références, les contraintes et les décisions restent dispersées entre fichiers et conversations. Gemini 4 Argon peut aider à transformer ce chaos en une bible de monde structurée.

    Accéder au guide

    Une archiviste en pâte à modeler répartit des cartes d’assets par rôle autour d’un pupitre.

    Kling 4 Omni Reference : attribuer un rôle à chaque référence vidéo

    Kling 4 Omni Reference devient utile quand une équipe cesse d’empiler des images et commence à déclarer ce que chacune doit contrôler. Le produit, le personnage, le décor, le mouvement, la caméra et la voix ne sont pas une seule matière de référence. Ils jouent des rôles différents.

    Accéder au guide

    Un personnage en plasticine fait passer un ruban terracotta dans une presse pour le transformer en séquence de cadres, avec un petit repère bleu.

    Claude Motion ou Claude Code : choisir sa chaîne de motion design

    Claude Motion sert à tester et produire rapidement un artefact animé ; Claude Code sert à construire ou piloter un projet local.

    Accéder au guide

    Créature en plasticine à tête-prisme déplaçant un jeton sur une roue de routage, métaphore du workflow vidéo IA OpenMontage

    OpenMontage vidéo IA : du prompt au studio open-source piloté par un agent

    OpenMontage se présente comme un studio vidéo agentique open source : au lieu de laisser chaque étape vivre dans une conversation séparée, le dépôt décrit une chaîne qui relie recherche, proposition, script, planification des scènes, assets, montage et composition.

    Accéder au guide

    Une créature verte à un œil, en pâte à modeler, tient une carte de pose beige. La tige orange se relève puis revient à l’horizontale.

    Repose Studio : changer la pose sur une photo sans refaire le shooting

    Pour changer la pose d’une personne sur une photo, Repose Studio combine l’image de départ et une carte qui indique où placer le corps. Essayez cette méthode si le geste change après le shooting.

    Accéder au guide

    Assise en tailleur, une créature en pâte à modeler à tête d’éventail fait basculer une planche orange. Un galet vert va et vient d’un bout à l’autre.

    GPT Images 2.6 : trois GIF pour tester un geste avant le film

    Une salamandre décolle sa peau bleue. Une grue noue son cri. Un crabe plie le soleil et le glisse dans sa poche. J'ai mis ces trois gestes en boucle avec GPT Image 2.6 Sunburst pour voir ce qui les rend lisibles d’une image à l’autre.

    Accéder au guide