Serie ComfyUI (XIII) — Multi-LoRA: cómo combinar estilos sin romper la imagen (Cyberpunk + Acuarela)

hace 3 días
12 Min. de lectura

Continuamos la Serie ComfyUI, dedicada a entender y dominar la generación de imágenes con IA en local.

En el artículo anterior dimos un paso clave: entender qué es un LoRA y cómo aplicarlo correctamente sobre un modelo base.

Pero en cuanto empiezas a experimentar, aparece una pregunta inevitable: ¿Puedo usar más de un LoRA a la vez?. La respuesta es sí, pero también es donde empiezan la mayoría de los problemas.

Muchos usuarios prueban a combinar varios LoRA sin entender cómo interactúan entre sí, y el resultado suele ser:

imágenes inconsistentes
estilos que se “pisan”
resultados exagerados o directamente rotos

En este artículo vamos a resolver justo eso. Aprenderás a combinar dos LoRA de forma controlada, entendiendo qué papel juega cada uno y cómo ajustar sus parámetros sin perder el control del resultado.

Para ello trabajaremos con un caso práctico muy claro:

un LoRA de estilo cyberpunk (atmósfera, neón, sci-fi)
un LoRA de estilo acuarela (textura, trazo, acabado artístico)

El objetivo no es complicar el workflow, sino todo lo contrario, entender qué está pasando realmente cuando mezclas estilos.

Diagrama de flujo LoRA en fondo gris muestra módulos de carga, codificación y guardado de imágenes. Incluye texto Workflow Multi - LoRA. Logotipo de LozKorp azul. — Workflow LORA SD MultiLoRA Simple

Incluimos el workflow listo para descarga: 📁 wf_LORA_SD_Multi_Simple.json (descargable al final del artículo)

🎯 Qué vas a lograr

Al finalizar este artículo serás capaz de:

Entender qué ocurre realmente cuando aplicas más de un LoRA sobre el mismo modelo base.
Diferenciar entre combinar LoRA que se complementan y LoRA que compiten entre sí.
Construir un workflow en ComfyUI con dos LoRA encadenados de forma correcta.
Ajustar de forma consciente los parámetros clave:
- strength_model
- strength_clip
Usar correctamente los trigger words cuando un LoRA los requiere (como en el caso de acuarela).
Diseñar prompts que refuercen el resultado, en lugar de depender únicamente del LoRA.
Detectar y corregir problemas habituales como:
- estilos que se “pisan”
- imágenes sobreprocesadas
- pérdida de detalle o coherencia
Aplicar una regla fundamental en workflows complejos:
👉 cambiar una variable cada vez
Disponer de un workflow base reutilizable para:
- combinar estilos
- experimentar con nuevos LoRA
- y construir pipelines más avanzados en el futuro

Combinar LoRA no es “añadir más efectos”, es aprender a equilibrar influencias sobre el modelo.

🧩 Requisitos

Para seguir este artículo y ejecutar correctamente el workflow Multi-LoRA, necesitas lo siguiente:

💻 Entorno

ComfyUI instalado y funcionando correctamente.
Preferiblemente con GPU, aunque el workflow es relativamente ligero.

🧠 Modelo base (checkpoint)

Este workflow está diseñado para trabajar con SDXL.

Puedes usar cualquier checkpoint compatible, como por ejemplo SDXL base 1.0, AniVerse XL,...

⚠️ Importante:

Los LoRA que usamos en este artículo están entrenados para SDXL.
Si usas un checkpoint de SD 1.5, los resultados serán inconsistentes o directamente incorrectos.

🎨 LoRA (2 archivos obligatorios)

Para este artículo utilizamos dos LoRA de estilo:

🔹 1. Cyberpunk [Style] Sci-Fi LoRA XL

https://civitai.com/models/135492/cyberpunk-style-sci-fi-lora-xl
Aporta atmósfera sci-fi, neones y estética futurista.
No requiere trigger obligatorio, pero añadir “cyberpunk” en el prompt mejora el resultado.

🔹 2. Watercolor Style LoRA (SDXL)

https://civitai.com/models/484723/watercolor-style-sdxl
Aporta textura de acuarela, lavado de color y acabado artístico.
Requiere el uso del trigger:
👉 ral-wtrclr

📁 Ubicación de los LoRA

Ambos archivos .safetensors deben colocarse en:

ComfyUI/models/loras/

🗂️ Crear o cargar el workflow en ComfyUI

Tienes dos maneras de trabajar con este flujo:

🅰️ Opción A — Cargar el workflow ya creado

1️⃣ Descarga el archivo JSON adjunto:📁 wf_LORA_SD_Multi_Simple.json

2️⃣ Abre ComfyUI.

3️⃣ En el menú superior selecciona:Workflow → Load

4️⃣ Carga el archivo JSON. Verás en el lienzo todos los nodos conectados y listos para funcionar.

Interfaz de software con menús "Workflow" y "Open" resaltados en rosa. Fondo gris con bloques de colores conectados por líneas. — Cargar workflow en ComfyUI

🅱️ Opción B — Crear el workflow desde cero

Si prefieres entenderlo pieza a pieza, puedes recrearlo manualmente. En la siguiente sección explicamos qué hace cada bloque del flujo.

Interfaz de software muestra "Workflow", opciones "New" y "Open". Flecha magenta apunta al área de trabajo en gris. — Empezar con Workflow en blanco

🧠 ¿Qué pasa cuando usas varios LoRA?

Cuando aplicas un solo LoRA, el concepto es sencillo: el modelo base genera la imagen y el LoRA modifica cómo lo hace; pero cuando introduces más de un LoRA, la cosa cambia.

🔄 No se suman… se mezclan

Es fácil pensar que dos LoRA funcionan así:

LoRA A + LoRA B = resultado combinado perfecto

Pero en realidad no ocurre así. Los LoRA no se suman de forma limpia, se aplican sobre las mismas partes del modelo. Eso significa que pueden reforzarse, pueden interferir o pueden competir directamente

⚖️ Influencias sobre el mismo modelo

Recuerda: Solo hay un modelo base. Todos los LoRA actúan sobre él al mismo tiempo.

Esto implica que no hay “capas separadas” para cada LoRA, no hay aislamiento entre estilos, todo se mezcla en el mismo espacio.

Por eso el resultado depende tanto de los pesos (strength_model), el prompt y la compatibilidad entre LoRA

🧠 Analogía sencilla

Imagina que el modelo base es un pintor profesional. Cada LoRA es un profesor que le da instrucciones:

uno le dice: “pinta en estilo cyberpunk”
otro le dice: “usa técnica de acuarela”

Si ambos profesores están coordinados → el resultado funciona.

Si cada uno tira en una dirección distinta → el pintor se confunde.

👉 El resultado no es una suma, es una negociación

🔀 Cuándo los LoRA funcionan bien juntos

La combinación funciona cuando:

los estilos son compatibles
uno es dominante y el otro complementario
los pesos están equilibrados

Ejemplo del artículo:

Cyberpunk → define la estética principal
Acuarela → añade textura y acabado

👉 No compiten, se complementan

Los problemas aparecen cuando ambos LoRA intentan dominar, los pesos son demasiado altos, los estilos son incompatibles o el prompt no ayuda. El resultado típico es imagen “sobrecargada”, pérdida de coherencia, estilos mezclados sin sentido...

🎛️ La clave: control, no cantidad

El error más común es pensar: “Más LoRA = mejor resultado”

Pero en realidad más LoRA es más complejidad y más complejidad implica menos control. No intentes que todos los LoRA manden, decide cuál es el principal y cuál es el secundario

⚙️ El workflow: estructura general

El workflow de este artículo está diseñado para ser simple, claro y totalmente controlable. Su objetivo no es hacer cosas complejas, sino que entiendas exactamente: qué hace cada bloque y cómo interactúan los dos LoRA entre sí

El workflow sigue una estructura lineal:

Checkpoint → LoRA 1 → LoRA 2 → KSampler → VAE → Output

A esto se añaden:

los prompts (positivo y negativo)
el latente inicial (resolución)

📦 Bloques principales

El flujo completo se compone de los siguientes elementos:

Nº	Bloque	Función
1️⃣	CheckpointLoader	Carga el modelo base (SDXL)
2️⃣	LoRALoader #1	Aplica el LoRA principal (Cyberpunk)
3️⃣	LoRALoader #2	Aplica el LoRA secundario (Acuarela)
4️⃣	CLIPTextEncode (+)	Prompt positivo
5️⃣	CLIPTextEncode (–)	Prompt negativo
6️⃣	Empty Latent Image	Define resolución
7️⃣	KSampler	Genera la imagen
8️⃣	VAEDecode	Convierte a imagen visible
9️⃣	Preview / Save	Visualiza y guarda

🧱 Entendiendo el workflow paso a paso

Ahora que ya has visto la estructura general, vamos a descomponer el workflow nodo a nodo para entender exactamente qué está ocurriendo en cada parte del flujo.

1️⃣ CheckpointLoader (modelo base)

Qué hace: carga el modelo base de Stable Diffusion (SDXL). Este es el núcleo del sistema, sin checkpoint no hay generación.

Qué tocar:

Selecciona un modelo compatible con SDXL
Evita modelos excesivamente estilizados (para no “ensuciar” el experimento)
Idea clave: el modelo base define qué sabe hacer el sistema y los LoRA definen cómo lo hace
En nuestro caso hemos usado "AniVerse XL v2.0", descargado de "https://civitai.com/models/522756?modelVersionId=646313"

Salida:

MODEL → LoRA #1
CLIP → LoRA #1
VAE → VAEDecode

Diagrama de flujo con tres bloques lilas: Load Checkpoint, Load LoRA, Load LoRA. Conectores en naranja y morado. Texto: nombres de archivos y valores de fuerza. — Load Checkpoint & Load LoRA #1 & Load LoRA #2

2️⃣ LoRALoader #1 — LoRA principal (Cyberpunk)

Qué hace: aplica el primer LoRA sobre el modelo base.

En este caso:

Cyberpunk [Style] Sci-Fi LoRA XL
- https://civitai.com/models/135492/cyberpunk-style-sci-fi-lora-xl

Qué tocar (parámetros recomendados):

LoRA name: seleccionar el archivo descargado.
strength_model: 0.65 – 0.75 (este va a ser el LoRA dominante. Define la estética principal, introduciendo el estilo base (cyberpunk))
strength_clip: ligeramente menor o igual

Salida:

MODEL modificado → LoRA #2
CLIP modificado → LoRA #2

3️⃣ LoRALoader #2 — LoRA secundario (Acuarela)

Qué hace: añade una segunda modificación sobre el modelo ya alterado por el primer LoRA. No debe competir, debe completar. En este caso añade textura, suavidad y acabado artístico. Este LoRA ajusta el resultado, no lo redefine.

Qué tocar (parámetros recomendados):

LoRA name: seleccionar el archivo descargado.
- Watercolor Style [SDXL]: https://civitai.com/models/484723/watercolor-style-sdxl
strength_model: 0.30 – 0.45
strength_clip: igual o menor

Salida:

MODEL modificado → KSampler
CLIP: a los 2 CLIP TEXT Encode, donde se define el prompt positivo y el negativo.

4️⃣ CLIPTextEncode (Prompt positivo)

Qué hace: convierte el texto en instrucciones para el modelo.

Ejemplo usado en este artículo:

ral-wtrclr, cyberpunk city, neon signs, rainy night, glowing reflections, dense street, cinematic lighting, detailed illustration, watercolor wash, ink outlines, high detail

Qué tocar:

El contenido del prompt
Incluir triggers cuando sean necesarios (ral-wtrclr)
Idea clave: el prompt no sustituye al LoRA, lo refuerza

Salida:

CONDITIONING → KSampler

Diagrama de flujo con múltiples módulos. Texto técnico en inglés dentro de cajas de color conectadas por líneas. Fondo gris cuadriculado. — Load LoRA & CLIPTextEncode & KSampler

5️⃣ CLIPTextEncode (Prompt negativo)

Qué hace: indica qué debe evitar el modelo.

Ejemplo:

photorealistic, realism, 3d render, CGI, lowres, blurry, noise, jpeg artifacts, watermark, signature, text, logo, bad anatomy, extra fingers, extra limbs, deformed hands, ugly, worst quality

Por qué es importante aquí:

Evita que los estilos se “descontrolen”
Reduce artefactos típicos
Idea clave: el negativo estabiliza el resultado

6️⃣ Empty Latent Image

Qué hace: crea el espacio donde se generará la imagen.

Qué tocar:

Resolución (ejemplo: 1024×1024)
Batch size si quieres múltiples imágenes
Idea clave: es el lienzo, no el estilo

Salida:

LATENT→ KSampler

7️⃣ KSampler (el corazón del proceso)

Qué hace: combina todo y genera la imagen.

modelo base + LoRA
prompt
ruido inicial
parámetros de muestreo

Valores recomendados:

steps: 25–30
CFG: 5–6
sampler: Euler / DPM++
scheduler: normal

Tip: si algo falla, primero revisa los LoRA. No intentes arreglarlo subiendo CFG sin control

Interfaz de software de IA con parámetros visibles. Imagen de ciudad futurista con luces de neón en un cuadro pequeño a la derecha. — KSampler & VAE Decode & Save Image

8️⃣ VAEDecode

Qué hace: convierte el resultado latente en una imagen visible.

Qué tocar:

Nada (en este flujo)

Salida:

Image→ Save Image

9️⃣ PreviewImage / SaveImage

Se puede usar un nodo PreviewImage o un nodo SaveImage.

Qué hacen:

Visualizar el resultado
Guardarlo en disco

🎛️ Ajuste de pesos: cómo controlar el resultado

Una vez que tienes el workflow funcionando, la variable más importante para controlar el resultado no es el sampler, ni el CFG. Son los pesos de los LoRA, en concreto strength_model y strength_clip

⚙️ Qué significa cada parámetro

🔹 strength_model

Define cuánto influye el LoRA en la generación de la imagen. Afecta directamente al resultado visual

Más alto → más estilo
Más bajo → más neutral

🔹 strength_clip

Define cuánto influye el LoRA en la interpretación del prompt. Afecta a cómo el modelo entiende el texto

En la práctica:

valores similares a strength_model funcionan bien
ligeramente más bajos suelen dar más estabilidad

⚖️ Regla clave en Multi-LoRA

No todos los LoRA deben tener el mismo peso. En este workflow usamos una estructura clara:

LoRA principal (Cyberpunk) → dominante
LoRA secundario (Acuarela) → complementario

🎯 Configuración base recomendada

Punto de partida sólido:

Cyberpunk (LoRA principal)

strength_model: 0.70
strength_clip: 0.65

Acuarela (LoRA secundario)

strength_model: 0.35
strength_clip: 0.30

Esto crea un equilibrio donde el estilo cyberpunk define la escena y la acuarela suaviza y aporta textura

🔁 Cómo ajustar correctamente

1️⃣ Empieza siempre bajo. No empieces con valores altos. Es más fácil subir que corregir un exceso

2️⃣ Cambia solo un LoRA cada vez. Regla fundamental: una variable por iteración

Ejemplo:

primero ajusta Cyberpunk
luego ajusta Acuarela

3️⃣ Ajusta antes el LoRA que el CFG. Error típico: “no me gusta el resultado → subo CFG”. No es lo correcto, primero revisa pesos, revisa prompt y luego si hace falta ya tocas el CFG.

🧪 Casos típicos y cómo corregirlos

Caso	Problema	Causa probable	Solución
🔴 No parece cyberpunk	Falta identidad visual	Peso bajo del LoRA principal o prompt débil	Subir Cyberpunk a 0.75–0.80 y reforzar prompt con cyberpunk, neon, futuristic
🔴 Se pierde la acuarela	Imagen demasiado limpia o digital	Peso bajo del LoRA de acuarela o falta de trigger	Subir acuarela a 0.40–0.45 y añadir watercolor texture, paper grain
🔴 Imagen pastosa o borrosa	Falta de definición, exceso de suavizado	Peso alto del LoRA secundario	Bajar acuarela a 0.25–0.30 y mantener Cyberpunk estable
🔴 Estilos mezclados sin sentido	Resultado incoherente o caótico	Ambos LoRA compiten con pesos altos	Bajar ambos ligeramente y reforzar el prompt
🔴 El LoRA “no hace nada”	No se aprecia el efecto del estilo	Falta de trigger o peso demasiado bajo	Añadir trigger (ral-wtrclr) y subir peso progresivamente
🔴 Resultado impredecible	Cambios difíciles de controlar	Demasiadas variables modificadas a la vez	Volver a base y aplicar regla: una variable por iteración

💡 Consejos y errores comunes

Cuando empiezas a combinar LoRA, la diferencia entre un buen resultado y uno frustrante suele estar en pequeños detalles.

✅ Buenas prácticas

Práctica	Qué hacer	Por qué es importante
Empezar con valores bajos	Usar pesos moderados en los LoRA (ej. 0.3–0.7)	Evita resultados exagerados y facilita el ajuste progresivo
Definir un LoRA principal	Asignar mayor peso al LoRA dominante	Permite una estética clara y evita conflictos
Usar un LoRA secundario	Mantener el segundo LoRA con menor peso	Añade matices sin romper el resultado
Reforzar con el prompt	Incluir palabras clave del estilo (ej. cyberpunk, watercolor)	El LoRA no sustituye al prompt, lo complementa
Usar trigger words	Añadir triggers cuando el LoRA lo requiere (ej. ral-wtrclr)	Activa correctamente el comportamiento del LoRA
Cambiar una variable cada vez	Ajustar un parámetro por iteración	Permite entender qué efecto produce cada cambio
Mantener el workflow simple	Empezar con pocos nodos y sin complejidad extra	Facilita el aprendizaje y evita errores innecesarios

❌ Errores habituales

Error	Qué ocurre	Por qué pasa	Cómo solucionarlo
Poner todos los LoRA a 1.0	Imagen exagerada, poco controlable	Exceso de influencia simultánea	Usar pesos moderados (0.3–0.7) y definir un LoRA dominante
Mezclar LoRA incompatibles	Resultado incoherente o roto	Diferentes bases (SD1.5 vs SDXL)	Asegurar compatibilidad (todo SDXL en este workflow)
No usar el trigger del LoRA	El LoRA “no hace nada”	El modelo no activa el comportamiento esperado	Añadir el trigger en el prompt (ral-wtrclr)
Subir el CFG para arreglar problemas	Imagen peor o más artificial	Se intenta corregir mal ajuste de LoRA	Ajustar primero los pesos de los LoRA
Cambiar demasiadas variables a la vez	Resultado impredecible	Falta de control en la iteración	Aplicar regla: una variable por iteración
Usar demasiados LoRA desde el inicio	Imagen caótica o inconsistente	Exceso de complejidad	Empezar con 1–2 LoRA y aumentar progresivamente
No reforzar el prompt	Resultado débil o poco definido	Dependencia excesiva del LoRA	Añadir palabras clave del estilo en el prompt
Pesos desbalanceados	Estilos que se pisan o compiten	Ambos LoRA tienen demasiado peso	Definir jerarquía: principal + secundario

🔁 Qué puedes probar a continuación

Una vez que tienes el workflow funcionando y entiendes cómo ajustar los LoRA, el siguiente paso es experimentar de forma controlada. Aquí tienes varias pruebas que te ayudarán a dominar realmente el Multi-LoRA.