ComfyUI Tutorial Series Ep 51: Nvidia Cosmos Predict2 Image & Video Models in Action

Summary

Dans cet épisode de la série de tutoriels Comfy UI, l'auteur explore le modèle NVIDIA Cosmos Predict 2, permettant de générer des images ou des vidéos à partir d'images. Après une mise à jour de Comfy UI, le processus est détaillé, y compris l'intégration de modèles Cosmos, Clip et VAE, ainsi que les paramètres nécessaires pour une génération d'image fluide. Bien que le modèle soit petit et rapide, il présente des limites en termes de taille d'image et de détails. Des comparaisons avec d'autres modèles comme Fluxdev et SDXL sont faites, et l'auteur teste également la génération vidéo, en notant des résultats mixtes. Il encourage les utilisateurs à explorer différentes versions pour des résultats optimaux.

Takeaways

• 😀 Mettez à jour Comfy UI avant d'utiliser les modèles Cosmos Predict 2 pour générer des images et des vidéos à partir d'images.
• 😀 Téléchargez et installez les modèles Cosmos Predict 2, ainsi que les modèles Clip et VAE nécessaires dans les dossiers appropriés.
• 😀 Cosmos Predict 2 fonctionne bien pour générer des images, mais il ne gère pas bien les tailles d'images très grandes.
• 😀 Le modèle Cosmos Predict 2 version 2B, avec 2 milliards de paramètres, est plus petit (moins de 4 Go) que des modèles comme SDXL, mais reste performant.
• 😀 Les paramètres recommandés pour les générateurs d'images sont le CFG, les samplers et les schedulers, mais il est conseillé d'expérimenter avec ces réglages.
• 😀 Utilisez un calculateur de résolution pour ajuster facilement le rapport d'aspect de vos images sans entrer les tailles manuellement.
• 😀 Lors de la génération d'images à partir d'images existantes, ajustez la valeur de 'denoising' pour obtenir des variations sans changer complètement l'image.
• 😀 Le modèle Cosmos Predict 2 est plus rapide que d'autres modèles plus grands, mais il peut avoir des difficultés avec des images de grande taille, notamment pour le redimensionnement ou l'upscaling.
• 😀 Le modèle Cosmos 14B est plus détaillé que le modèle 2B et fonctionne mieux pour des images réalistes, mais il est plus grand et plus lent à charger.
• 😀 Cosmos Predict 2 peut également générer des vidéos à partir d'images, bien que la qualité et la vitesse de rendu dépendent de la version et des paramètres choisis.

Q & A

Qu'est-ce que le modèle NVIDIA Cosmos Predict 2 et comment fonctionne-t-il ?

Le modèle NVIDIA Cosmos Predict 2 permet de générer des images ou des vidéos à partir d'images. Il utilise des modèles spécifiques comme le modèle '2B' pour la génération texte-à-image et d'autres modèles comme 'clip' et 'VAE' pour améliorer les résultats.

Comment mettre à jour Comfy UI pour utiliser le modèle Cosmos Predict 2 ?

Pour utiliser le modèle Cosmos Predict 2, il est nécessaire de mettre à jour Comfy UI. Vous pouvez le faire via l'option 'Manager' en cliquant sur 'Update All'. Si cela ne fonctionne pas, un fichier BAT dans le dossier de mise à jour permet une mise à jour manuelle.

Quels sont les modèles nécessaires pour utiliser le workflow Cosmos Predict 2 dans Comfy UI ?

Trois modèles sont nécessaires : le modèle Cosmos Predict 2 (version 2B), un modèle Clip (version qui commence par 'old') et un modèle VAE (version 2.1). Ces modèles sont ensuite chargés dans les dossiers appropriés dans Comfy UI.

Que se passe-t-il si l'image générée par Cosmos Predict 2 est trop grande ?

Si l'image générée est trop grande, le modèle peut rencontrer des difficultés. Par exemple, des problèmes comme des têtes doubles ou des rendus flous peuvent survenir, et cela peut ralentir considérablement le temps de rendu.

Comment ajuster la taille d'une image avant de la traiter avec le modèle Cosmos Predict 2 ?

Vous pouvez ajuster la taille de l'image en utilisant un 'node' de mise à l'échelle. Il est recommandé d'utiliser un nœud de mise à l'échelle pour réduire la taille des images, comme dans le cas où l'image est redimensionnée à 1024 pixels.

Quelle est la différence entre le modèle Cosmos Predict 2 version 2B et les autres versions comme la 14B ?

La version 2B est plus petite (moins de 4 Go) et plus rapide, idéale pour des illustrations simples. La version 14B, bien que plus grande et plus lente, offre une meilleure qualité et des détails plus fins, particulièrement pour des images réalistes.

Pourquoi le modèle Cosmos Predict 2 est-il plus rapide que d'autres modèles comme le Flux ?

Le modèle Cosmos Predict 2 version 2B est plus rapide car il est plus petit, ce qui réduit le temps de chargement et le besoin en ressources. En revanche, des versions plus grandes comme la 14B prennent plus de temps à charger et à générer des images.

Qu'est-ce qu'un 'node' de contrôle pour la résolution d'image et comment l'utiliser ?

Un 'node' de contrôle pour la résolution d'image permet de sélectionner facilement les ratios d'aspect (comme portrait, paysage, etc.) et de calculer automatiquement la taille de l'image. Vous pouvez l'installer via le 'Custom Node Manager' dans Comfy UI.

Comment Cosmos Predict 2 gère-t-il les vidéos et quelle est la durée de génération des vidéos ?

Cosmos Predict 2 peut générer des vidéos à partir d'images en utilisant un modèle vidéo spécifique. Une vidéo de 5 secondes peut prendre entre 4 et 5 minutes pour être générée, selon le modèle utilisé et la version choisie.

Quelles sont les limitations de Cosmos Predict 2 en termes de qualité d'image pour des images réalistes ?

Bien que Cosmos Predict 2 offre de bons résultats pour des images de type illustration ou 3D, il peine à générer des images réalistes avec une grande fidélité. Des modèles comme Flux Mania produisent de meilleurs résultats pour des images réalistes.