Vidéo IA
WAN & VACE

Avant de lancer quoi que ce soit, comprendre pourquoi il existe deux versions (et pourquoi 2.1 reste souvent préféré) évite de nombreuses confusions.

• T2V (Text-to-Video) : le mode de base. Pas d'image d'entrée — le modèle génère tout depuis le prompt. Idéal pour explorer le style et le mouvement du modèle.
• I2V (Image-to-Video) : tu fournis une image de départ et WAN l'anime. WAN 2.2 I2V A14B est spécialisé pour ça. Très utilisé pour animer des illustrations ou concept arts.
• Qu'est-ce que "A14B" ? Le suffixe A signifie "Animé/Anime" — entraîné avec un dataset orienté animation, pas seulement vidéo réaliste. Résultats plus stylisés.
• LightX2V LoRA : accélérateur universel — passe de ~20 steps à 4 steps. Compatible WAN 2.1 et 2.2. Kijai préfère encore la version 2.1 même sur les modèles 2.2. Attention : le LoRA ne peut pas produire de scènes sombres (filtré du training set par erreur).
• CLIP vision : ne fait rien sur WAN 2.2. Si tu vois des workflows qui l'utilisent avec 2.2, c'est un vestige de 2.1 — ne pas connecter.

• Workflow T2V minimal : dans WanVideoWrapper, sélectionne le modèle 2.1 14B, connecte le text encoder umt5-xxl, le VAE, et un sampler basique. 20 steps, CFG 6.0 pour commencer.
• Workflow I2V : change le mode sur "I2V" dans WanVideoWrapper, connecte ton image de référence via le nœud LoadImage. Le modèle utilise l'image comme frame 0. Avec WAN 2.2 I2V A14B, le résultat est meilleur qu'avec 2.1 sur les images d'illustration.
• Prompting WAN : plus verbeux que SD — décris le mouvement explicitement ("slowly turning head", "camera dolly left"). WAN répond bien aux instructions de mouvement caméra.
• WanAnimate (extension temporelle) : pour dépasser ~81 frames sans context windows. Chaque fenêtre démarre là où la précédente s'est arrêtée. Plus rapide que les context windows mais la cohérence se dégrade progressivement sur très long.
• Context windows : tiling temporel — découpe la génération en fenêtres qui se chevauchent. 50% plus lent qu'une extension classique (test Ablejones : 346s vs 226s pour 281 frames), mais maintient la cohérence sur des vidéos longues. Gère mal le mouvement caméra.
• NativeLooping (Kijai) : ComfyUI-NativeLooping_testing — crée des boucles vidéo seamless internes au modèle. La communauté a obtenu des résultats "rivalisant avec Kling" avec SCAIL-2 + NativeLooping.

VACE est un module spécialisé de WAN 2.1 entraîné à comprendre les masques. Contrairement à Bernini (qui suit des instructions texte), VACE opère via des masques spatiaux — tu dessines la zone à modifier et VACE régénère seulement cette zone en cohérence avec le reste.

• Cas d'usage VACE : remplacer un personnage dans une vidéo, modifier un vêtement, supprimer un élément, stitcher plusieurs générations pour une vidéo longue.
• VACE vs Bernini : VACE = masque spatial précis, contrôle pixel. Bernini = instruction ("rends cette vidéo lego"), contrôle éditorial. Pour modifier une zone précise → VACE. Pour changer le style global → Bernini.
• WanVaceAdvanced (drozbay) : github.com/drozbay/ComfyUI-WanVaceAdvanced — nœuds avancés spécialisés VACE avec gestion context windows intégrée. Recommandé pour les workflows complexes.
• VACE + context windows : la combinaison standard pour la vidéo longue. Le champ cond_retain_index_list (voir ci-dessous) est particulièrement important ici.

SCAIL-2 est un module entraîné sur WAN 2.1 14B qui transfère une pose/squelette vidéo sur un personnage cible. Tu fournis une "pose video" (squelette OpenPose ou similaire) et une image de référence du personnage — SCAIL-2 génère le personnage qui effectue ce mouvement.

• Ordre des références (multiref) : l'image de référence principale doit aller en dernier dans le batch. C'est une règle contre-intuitive, confirmée par Kijai (malgré un commentaire de code contradictoire — suivre la règle verbale).
• Un seul angle de référence : avec plusieurs angles dans le batch, des éléments de la scène peuvent disparaître (mur, fond). Commence avec une seule image de référence par génération.
• DPO LoRA + fond noir : pour le replacement mode (remplacer un personnage dans une scène), Kijai utilise le DPO LoRA combiné à un encode vision du personnage sur fond noir pur. Cette combinaison "fixe" les clips récalcitrants.
• Model optimisé 5090 : wan2.1_14B_SCAIL_2_nvfp4_mxpf8_mix.safetensors — mix nvfp4/mxfp8 trouvé par Kijai par trial-and-error, optimal sur Blackwell.
• NativeLooping + SCAIL-2 : la combinaison la plus impressionnante à date — boucles de danse seamless "rivalisant avec Kling". Ablejones a partagé un workflow JSON SCAIL-2 + looping dès la sortie.
• Background ref image : ajouter une image du fond (arrière-plan seul) dans le context window aide à maintenir la stabilité du décor, notamment sur de longues générations (confirmé Kijai).

Cette phase couvre les outils les plus récents et avancés de l'écosystème WAN. Résultats impressionnants, mais chaque outil a ses angles morts qu'il faut connaître.

• Ce que c'est : finetune WAN 2.2 pour l'édition par instruction texte ("rends-le en style lego", "change la saison", "modifie le vêtement"). Différent de VACE : pas de masque spatial, le modèle interprète ton instruction sur toute la vidéo.
• Settings optimaux (Kijai) : 6 steps, CFG 1.0, avec LightX2V LoRA — et la version Wan 2.1 du LightX2V fonctionne mieux que la version 2.2 sur Bernini, à cause d'un mismatch architectural dans l'entraînement.
• Sweet spot : 241 frames + 4 images de référence → résultats "absolument parfaits" (Stef, test communauté). Pas de color shift, pas de dérive.
• Coût : 245 frames Bernini ≈ 490 frames WAN 2.2 standard en termes de compute (pose video pleine résolution = 2× vs SCAIL-2 à 1.5×).
• Meilleur que WAN 2.2 pour l'I2V : Kijai dit "miles better than Wan22" pour animer une image — génère à 6 steps ce que WAN 2.2 fait moins bien à 20.
• Limitation : les prompts influencent beaucoup l'output. La correspondance colorimétrique entre plusieurs sources reste imparfaite. Pas de génération longue intégrée — les context windows ralentiront encore plus (déjà 2× plus lent que base).

• Ce que c'est : module WAN 2.2 spécialisé pour étendre la vidéo au-delà de 81 frames. Glissement de fenêtre temporelle (extension, pas context windows).
• Color match : s'active seulement en replacement mode — quand le fond ET le masque sont branchés. En mode image complète (sans masque), la sortie garde la lumière de l'entrée : tu dois préparer manuellement ombres et lumières.
• Vitesse : plus rapide que les context windows sur la même longueur. La dérive s'accumule progressivement — acceptable pour des vidéos moyennement longues, problématique au-delà de ~240 frames.

• MagoNodes (sxela) : ComfyUI-MagoNodes — sampler tiled multi-échelle pour WAN. Génère d'abord en basse résolution, puis en 2×2 tiles haute résolution. Permet des résolutions plus élevées que le token count natif. Pas encore de benchmarks communautaires solides.
• Clownsampler + 1536px : BNP4535353 a produit des résultats photoréalistes confondants avec WAN 2.1 SCAIL-2 à 1536px en utilisant le clownsampler. La communauté a demandé si c'était du vrai footage. Les settings LoRA ont été partagés.
• ONE-SHOT-14B : WAN 2.1 T2V + branche VACE + cross-attention mesh humain 3D. Support multi-images de référence pour la cohérence de personnage. Apache 2.0. En cours d'intégration dans WanVideoWrapper.

L'objectif final : utiliser WAN non pas comme une démo isolée, mais comme une brique dans un pipeline de production — génération d'alternatives, de références de mouvement, de matière pour le compositing.

• WAN → Compositing : les limites de cohérence (dérive après 81 frames, resolution caps de SCAIL-2) font de WAN un outil idéal pour des clips courts (~5s) qu'on assemble ensuite en comp. Ce n'est pas une contrainte — c'est le workflow attendu.
• SCAIL-2 pour la préviz mouvement : utiliser une vidéo mocap ou de référence comme driver, appliquer sur un asset character art, utiliser le résultat comme préviz animatique. Pas besoin de perfection à cette étape.
• VACE pour la retouche : générer en WAN T2V, identifier les zones à corriger, masquer et régénérer avec VACE. Boucle génération → retouche masquée → génération.
• Prompts de mouvement caméra : WAN répond bien au vocabulaire cinématographique. "dolly in", "rack focus", "crane shot", "handheld camera movement" influencent réellement le résultat. Documenter les prompts qui fonctionnent pour ton style.
• Sortie multi-takes : générer 3-4 variantes avec seeds différentes pour avoir du choix au montage. Sur 5090, une génération 81 frames en 4 steps avec LightX2V est suffisamment rapide pour ce workflow.
• Ressources pour aller plus loin : wanx-troopers.github.io — knowledge base communautaire curatée par 42hub avec workflows, settings, comparaisons.