Flux: all samplers, schedulers, guidance, shift tested!

Summary

En este vídeo, Mato explora el modelo de generación de imágenes Flux, desmitificando leyendas y probando múltiples configuraciones. Tras generar miles de imágenes con distintas combinaciones de muestreos, programadores y guías, analiza los resultados para comprender mejor cómo funciona el modelo. Descubre que el número de pasos, la longitud de las consultas y los parámetros de muestreo son cruciales para la calidad de las imágenes. Además, introduce herramientas como el nodo 'flux attention seeker' para ajustar el enfoque del modelo, ofreciendo una visión detallada de cómo personalizar la generación de imágenes con Flux.

Takeaways

• 🔧 El modelo Flux es complicado y puede resultar frustrante, ya que una configuración que funciona para una imagen puede no funcionar para otra.
• 🖼️ El usuario realizó una exhaustiva prueba del modelo Flux, generando miles de imágenes con todas las combinaciones posibles de parámetros para entender mejor cómo funciona.
• 🔄 Se utilizó el nodo 'flux sampler parameters' para generar imágenes con múltiples parámetros, lo que ayudó a simplificar el proceso y a generar menos desorden.
• 📊 El nodo 'plot sampler parameters' se conecta a los parámetros del sampler y permite visualizar los datos que generaron la imagen, facilitando su análisis.
• 🎛️ Al probar diferentes configuraciones, se descubrió que la cantidad de pasos necesarios para que una imagen se 'convierta' puede variar significativamente, y a veces no es determinista.
• 🖋️ La longitud de la frase de prompt no afecta mucho la calidad de la imagen, lo que sugiere que prompts excesivamente complicados no son necesarios para obtener ilustraciones.
• 🏞️ Para imágenes realistas, los mejores Samplers según las pruebas fueron DPM, DPM++ 2M, IP y DM, mientras que para ilustraciones, Oiler y otros también tuvieron buenos resultados.
• 🔄 Los schedulers como SGM, uniforme, simple y beta funcionan bien, pero DDM uniforme se destaca por generar imágenes únicas en algunos casos.
• 🎨 La orientación de la imagen (retrato, paisaje) y el shift pueden afectar significativamente la calidad y el estilo de la imagen generada.
• ⚙️ La atención y la corrección de parámetros en el modelo Flux son complejas y pueden requerir ajustes sutiles para lograr los resultados deseados.
• 🤖 Aunque Flux es un modelo rígido y no muy adaptable a todos los tipos de imágenes, con la información adecuada y pruebas exhaustivas, se pueden obtener resultados excelentes dentro de sus capacidades.

Q & A

¿Qué problema estaba enfrentando Mato con el modelo de generación de imágenes Flux?

Mato estaba enfrentándose a la frustración de que una configuración que parecía funcionar bien para una imagen no funcionaba para otra, y que las configuraciones variaban mucho.

¿Cuál fue el enfoque de Mato para entender mejor cómo funciona el modelo Flux?

Mato decidió realizar una serie extensa de pruebas, generando miles de imágenes con todas las combinaciones posibles de muestreadores (samplers), programadores (schedulers), cambios de guía (guidance shift) y pasos (steps), todo esto para diferentes temas y longitudes de prompt.

¿Qué herramienta usó Mato para generar imágenes de manera más eficiente?

Mato utilizó el nodo 'flux sampler parameters' de la extensión Confy Essentials, que permite generar decenas de imágenes con múltiples parámetros y reducir el desorden en el flujo de trabajo.

¿Cómo pueden los usuarios evaluar mejor las imágenes generadas y sus parámetros con el nodo 'flux sampler parameters'?

Mediante el uso del nodo 'plot sampler parameters', que permite visualizar todos los datos que generaron la imagen en la parte inferior, y la opción de mostrar solo los cambios para reducir la información mostrada.

¿Cuál fue la sorpresa que Mato encontró al analizar cuántos pasos eran necesarios para que las imágenes convergen?

Mato se sorprendió al descubrir que no todos los temas convergen en los mismos pasos, y que a veces las imágenes pueden cambiar drásticamente entre 25 y 30 pasos, lo que indica que el modelo tiende a converger en niveles.

¿Cómo afecta la longitud del prompt la calidad de las imágenes generadas por Flux?

La longitud del prompt no afecta mucho la calidad de las imágenes, lo que sugiere que los prompts excesivamente complejos no son necesarios para obtener ilustraciones de buena calidad.

¿Qué muestreadores y programadores funcionan mejor para obtener imágenes realistas con Flux?

Para imágenes realistas, los muestreadores que más bien funcionaron fueron DPM, DPM++ 2M, IP y DM, mientras que para programadores, SGM, uniforme, simple y beta son adecuados.

¿Cómo cambia el rendimiento de Flux al generar ilustraciones en comparación con fotografías realistas?

Flux tiende a hacer las ilustraciones más realistas y detalladas a medida que aumenta el número de pasos, lo que puede llevar a un estilo completamente diferente, mientras que para fotografías realistas, 15 pasos a menudo son suficientes.

¿Qué es la guía (guidance) en el contexto de generación de imágenes con Flux y cómo afecta los resultados?

La guía es un valor que controla la cantidad de alucinación en la imagen; un valor más alto de guía generalmente da imágenes más pulidas y saturadas, mientras que un valor más bajo puede dar un estilo más cinético y realista.

¿Qué es el nodo 'flux attention seeker' y cómo puede ayudar a cambiar el comportamiento del modelo Flux?

El nodo 'flux attention seeker' permite cambiar la importancia de cada bloque tanto en el codificador CLIP L como en T5, lo que puede usarse para influir en la composición y el estilo de las imágenes generadas.