IA Créative • 28 juin 2026

---

---

Un benchmark mesure si la retouche IA respecte réellement la lumière

Les auteurs de 3DLP ont créé un benchmark fondé sur 1 000 paires d’images HDR de scènes intérieures photographiées avec des sources lumineuses allumées puis éteintes.

Les zones d’ombre portée, les surfaces métalliques et les reflets sont annotés séparément. Les meilleurs éditeurs suivent déjà une partie de la physique réelle, mais tous échouent davantage dans les régions recevant peu de lumière. Les modèles vision-langage ne détectent pas correctement ces écarts au niveau du pixel. Le photoréalisme apparent ne suffit donc pas encore à garantir une lumière cohérente. Source : publication 3DLP sur arXiv

NVIDIA extrait des matériaux 3D complexes à partir de photographies

NVIDIA Research et ses partenaires ont présenté NeuMatEx, une méthode qui reconstruit des matériaux neuronaux depuis plusieurs vues photographiques d’un objet.

Le système prédit la couleur, les propriétés du matériau et l’incertitude, puis affine le résultat par rendu inverse. Il sépare ainsi les reflets et l’éclairage de la matière elle-même, une difficulté classique de la photogrammétrie. Les textures capturées deviennent rééclairables et transférables dans des scènes 3D, avec une meilleure décomposition que les méthodes PBR comparées par les auteurs. Source : publication NeuMatEx sur arXiv

DanceOPD réunit génération et retouche dans un même modèle d’image

Les chercheurs de DanceOPD ont présenté un cadre qui combine texte-vers-image, retouche locale et retouche globale sans sacrifier la qualité de génération initiale.

Le système distribue chaque exemple vers un champ de compétence distinct, puis apprend à composer ces expertises dans un même modèle. Trois capacités jusque-là concurrentes peuvent ainsi cohabiter. Cette méthode ouvre une piste pour des modèles visuels moins fragmentés, capables de passer de la création à la correction sans changer d’outil. Source : publication DanceOPD sur arXiv

SAM2Matting transforme un tracker en outil de détourage vidéo

Les chercheurs de SAM2Matting ont converti les trackers SAM2 et SAM3 en systèmes de détourage précis pour l’image et la vidéo, avec un entraînement fondé uniquement sur des images fixes.

Le matting consiste à estimer la transparence fine de chaque pixel, notamment autour des cheveux, du verre ou de la fumée. Le modèle sépare le suivi temporel du calcul des contours et annonce un nouvel état de l’art sur la vidéo. Pour les workflows créatifs, cela rapproche le détourage génératif d’un outil généraliste, moins dépendant de jeux de données spécialisés. Source : publication SAM2Matting sur arXiv

LiveEdit porte la retouche vidéo générative à 12,66 images par seconde

Les auteurs de LiveEdit ont présenté un système de retouche vidéo qui modifie un flux image par image à 12,66 images par seconde tout en préservant les zones non éditées.

Une distillation en trois étapes transfère les capacités d’un modèle bidirectionnel vers un éditeur causal plus léger. Un cache de masque réutilise aussi les calculs liés aux régions ciblées. Cette architecture prépare des effets génératifs interactifs pour la réalité augmentée, le direct et les plateaux virtuels, là où l’attente entre deux générations casse encore le geste créatif. Source : publication LiveEdit sur arXiv

---