Serie ComfyUI (XII) — ¿Qué es un LoRA y cómo usarlo en Stable Diffusion?

Continuamos la Serie ComfyUI, dedicada a entender y dominar la generación de imágenes con IA en local.En esta entrega damos un paso clave: los LoRA.

Los LoRA son uno de los conceptos más importantes —y a la vez más mal entendidos— del ecosistema Stable Diffusion. Mucha gente los usa, pero pocos saben realmente qué hacen y cómo afectan al modelo.

En este artículo aprenderás qué es un LoRA, para qué sirve y cómo aplicarlo correctamente en ComfyUI usando un workflow simple con Stable Diffusion, que nos servirá de base para artículos más avanzados posteriores.

Workflow LoRA SD Simple

Incluimos el workflow listo para descarga: 📁 wf_LORA_SD_Simple.json (descargable al final del artículo)

📁 Workflow del artículo: wf_LORA_SD_Simple.json

🎯 Qué vas a lograr

Al finalizar este artículo serás capaz de:

• Entender qué es exactamente un LoRA y qué papel juega dentro de Stable Diffusion.

• Diferenciar claramente entre:

  • modelo base (checkpoint)

  • LoRA

  • prompt

• Saber para qué tipo de tareas tiene sentido usar un LoRA (y cuándo no).

• Cargar correctamente un LoRA en ComfyUI usando un workflow simple.

• Ajustar de forma consciente los parámetros clave del LoRA:

  • strength_model

  • strength_clip

• Ver cómo un LoRA modifica el estilo o el concepto sin reemplazar al modelo base.

• Evitar errores comunes como:

  • sobreestilizar la imagen,

  • usar fuerzas excesivas,

  • o confiar en el LoRA sin apoyar el prompt.

• Disponer de un workflow base reutilizable para probar cualquier LoRA de Stable Diffusion.

💡 La idea de este artículo no es complicar el proceso, sino que entiendas qué está pasando realmente cuando “activas un LoRA”.

🧩 Requisitos

Para seguir este artículo y ejecutar el workflow correctamente necesitarás lo siguiente:

💻 Entorno

• ComfyUI instalado y funcionando correctamente.

• Preferiblemente con GPU, aunque el workflow es sencillo y no especialmente pesado.

🧠 Modelo base (checkpoint)

• Un modelo Stable Diffusion compatible, por ejemplo:

  • SD 1.5, o

  • SDXL (recomendado para estilos más ricos).

El modelo base es imprescindible:👉 un LoRA no funciona sin un checkpoint cargado.

🎨 LoRA

• Al menos un archivo LoRA (.safetensors).

• Los LoRA se pueden descargar de sitios como CivitAI o HuggingFace.

• 📁 Los LoRA deben colocarse en la carpeta:

ComfyUI/models/loras

🗂️ Crear o cargar el workflow en ComfyUI

Tienes dos maneras de trabajar con este flujo:

🅰️ Opción A — Cargar el workflow ya creado

1️⃣ Descarga el archivo JSON adjunto:📁 WF_ComfyUI_PromptsDeImagenes.json

wf_LORA_SD_Simple.json

Descargar JSON • 12KB

2️⃣ Abre ComfyUI.

3️⃣ En el menú superior selecciona:Workflow → Load

4️⃣ Carga el archivo JSON. Verás en el lienzo todos los nodos conectados y listos para funcionar.

Cargar workflow en ComfyUI

🅱️ Opción B — Crear el workflow desde cero

Si prefieres entenderlo pieza a pieza, puedes recrearlo manualmente. En la siguiente sección explicamos qué hace cada bloque del flujo.

Empezar con Workflow en blanco

🧠 ¿Qué es un LoRA?

Un LoRA (Low-Rank Adaptation) es un tipo de adaptación ligera que se aplica sobre un modelo base para modificar su comportamiento sin necesidad de reentrenarlo por completo.

Dicho de forma sencilla: El modelo base sabe dibujar “de todo”.El LoRA le enseña cómo dibujar algo concreto.

Un LoRA no es un modelo completo. No puede funcionar por sí solo. Siempre necesita un checkpoint base cargado previamente.

🔧 ¿Qué puede aprender un LoRA?

Un LoRA puede especializar al modelo en cosas como:

• 🎨 Estilos visuales(cómic, anime, acuarela, ilustración digital, cyberpunk…)

• 🧍 Personajes concretos

• 💡 Iluminaciones o atmósferas

• 🧠 Conceptos visuales específicos

• ✍️ Formas de dibujo o trazo

Todo esto se consigue con archivos relativamente pequeños (decenas o cientos de MB), frente a los varios GB de un modelo completo.

🧩 LoRA vs Checkpoint (modelo base)

Elemento	Qué es	Qué aporta
Checkpoint	Modelo completo	Conocimiento general del mundo
LoRA	Adaptación ligera	Estilo o concepto específico
Prompt	Texto de control	Dirección creativa

👉 El checkpoint define qué sabe hacer el modelo.👉 El LoRA define cómo lo hace.👉 El prompt define qué quieres ahora mismo.

🧠 Qué no es un LoRA

Es importante aclararlo:

• ❌ No es un reemplazo del modelo base.

• ❌ No “contiene” imágenes completas.

• ❌ No funciona sin prompt.

• ❌ No garantiza resultados perfectos por sí solo.

Un LoRA potencia al modelo, pero no lo sustituye.

💡 Por qué los LoRA son tan importantes

Los LoRA permiten:

• experimentar rápido sin cambiar de modelo,

• mantener estilos consistentes,

• reutilizar workflows,

• combinar estilos con ControlNet,

• y construir pipelines avanzados sin duplicar modelos.

👉 Un LoRA no sustituye al modelo base.👉 Lo especializa.

🧠 LoRA vs modelo base

Un LoRA no es un modelo completo porque no se entrena como un modelo desde cero ni contiene todo el conocimiento necesario para generar imágenes por sí mismo.

Para entenderlo bien, pensemos primero cómo se crea un modelo “normal”.

🧱 Cómo se entrena un modelo base (checkpoint)

Un modelo base de Stable Diffusion se entrena:

• con millones o miles de millones de imágenes,

• junto a sus descripciones de texto,

• durante semanas o meses,

• aprendiendo desde cero:

  • formas,

  • objetos,

  • personas,

  • composición,

  • iluminación,

  • perspectiva,

  • semántica del lenguaje.

Ese entrenamiento genera un checkpoint:un modelo que “sabe dibujar el mundo”.

🔧 Cómo se crea un LoRA (la clave)

Un LoRA sí se entrena con imágenes, pero no aprende todo desde cero.

En lugar de eso:

• parte de un modelo base ya entrenado,

• no modifica sus pesos originales,

• aprende solo pequeñas correcciones matemáticas sobre capas concretas del modelo,

• y guarda únicamente esas diferencias.

Es decir:

Un LoRA no aprende a dibujar. Aprende a dibujar de una manera concreta.

Por eso los LoRA son:

• mucho más pequeños,

• mucho más rápidos de entrenar,

• y dependientes del modelo base.

🧠 Analogía sencilla

Imagina que el modelo base es un pintor profesional.

• El checkpoint → sabe anatomía, luz, perspectiva, composición.

• El LoRA → es un curso intensivo que le enseña:

  • “dibuja como cómic”

  • “dibuja este personaje”

  • “usa este tipo de trazo”

Si quitas al pintor y dejas solo el curso…👉 no hay nadie que pinte.

❓ Entonces… ¿por qué un LoRA no funciona solo?

Porque un LoRA:

• ❌ no contiene el conocimiento general,

• ❌ no sabe generar imágenes desde ruido,

• ❌ no entiende el lenguaje por sí mismo,

• ✅ solo ajusta cómo responde el modelo base.

Por eso en ComfyUI:

• primero cargas el checkpoint,

• y luego aplicas el LoRA encima.

🧩 Relación clara

Elemento	Rol
Checkpoint	Conocimiento general
LoRA	Especialización
Prompt	Instrucción concreta

Lora vs Checkpoint

📦 Dónde conseguir LoRAs (y cómo elegir uno)

Antes de usar un LoRA en un workflow, hay dos cosas clave que debes saber:

1. De dónde descargar LoRAs fiables

2. Cómo leer la información del LoRA para usarlo correctamente

🌍 Plataformas habituales para descargar LoRAs

La principal fuente hoy en día es CivitAI, una plataforma comunitaria donde creadores publican:

• LoRAs de estilo

• LoRAs de personajes

• LoRAs de ropa, poses o conceptos

• Modelos completos (checkpoints), ejemplos y workflows

Cada LoRA suele incluir:

• Descripción técnica

• Imágenes de ejemplo

• Parámetros recomendados

• Notas importantes de uso (trigger words, pesos, compatibilidad)

🧠 LoRA usado en este artículo

En este workflow vamos a trabajar con el siguiente LoRA: Cyberpunk [Style] Sci-Fi LoRA XL

📥 Descargado desde CivitAI:👉 https://civitai.com/models/135492/cyberpunk-style-sci-fi-lora-xl

LoRA: Cyberpunk [Style] Sci-Fi LoRA XL

Es importante revisar la información que aparece en la "página del LoRA"; cosas como a que modelos base (checkpoint) se puede aplicar y notas del autor para su uso, como parámetros recomendados y otras anotaciones. Además aparecen imágenes creadas usando el LoRA, muchas veces con su prompt, lo que nos va a ayudar a ver la mejor manera de usarlo para lo que nosotros buscamos.

En nuestro caso concreto, la información que indica el autor es:

"Cyberpunk style sci-fi LoRA for SDXL 1.0. No trigger word needed but adding "cyberpunk" to the prompt enhances the cyberpunky effect."

Esto nos da varias pistas importantes:

• 🔹 Es un LoRA para SDXL 1.0→ Debe usarse con checkpoints SDXL, no con SD 1.5

• 🔹 No necesita palabra trigger obligatoria→ Funciona aunque no pongas nada especial

• 🔹 Añadir “cyberpunk” al prompt mejora el efecto→ Recomendado para reforzar el estilo

📁 Dónde colocar el LoRA en ComfyUI

Una vez descargado el archivo .safetensors, debes copiarlo en:

ComfyUI/models/loras/

Después:

• Reinicia ComfyUI (o pulsa Reload Models)

• El LoRA aparecerá automáticamente en el nodo LoRA Loader

⚖️ Cosas importantes a revisar antes de usar un LoRA

Antes de integrarlo en un workflow, fíjate siempre en:

• ✅ Compatibilidad (SD 1.5 vs SDXL)

• 🎯 Tipo de LoRA (estilo, personaje, concepto…)

• 🧪 Peso recomendado (0.6, 0.8, 1.0…)

• 📝 Trigger words (si existen)

• 🖼️ Ejemplos visuales del autor

Esto evita errores típicos como:

• “El LoRA no hace nada”

• “Rompe la imagen”

• “El estilo no se parece al ejemplo”

⚙️ El workflow: estructura general

El workflow wf_LORA_SD_Simple.json es deliberadamente sencillo y se compone de estos bloques:

Nº	Bloque	Función
1️⃣	Carga del modelo base	Define el conocimiento general (checkpoint SD)
2️⃣	Carga del LoRA	Aplica el estilo del LoRA (cyberpunk en nuestro caso)
3️⃣	Prompts	Controlan el contenido y lo que se evita
4️⃣	Difusión	Genera la imagen a partir del ruido
5️⃣	Decodificación	Convierte el latente en imagen
6️⃣	Salida	Visualiza y guarda el resultado

🧱 Entendiendo el workflow paso a paso

1️⃣ CheckpointLoader (modelo base)

Qué hace: carga el modelo Stable Diffusion base (checkpoint). Este es el núcleo del sistema: sin él no hay generación.

Qué tocar:

• Selecciona un checkpoint compatible con SDXL, ya que el LoRA usado en este artículo está entrenado para SDXL.

• Recuerda: El LoRA no reemplaza este modelo; se aplica encima.Si el checkpoint no es compatible, el LoRA no funcionará correctamente.

• En nuestro caso hemos usado "AniVerse XL v2.0", descargado de "https://civitai.com/models/522756?modelVersionId=646313"

Salida:

• MODEL → se conecta al LoRALoader y al KSampler

Load Checkpoint & Load LoRA

2️⃣ LoRALoader

Qué hace: carga el archivo LoRA (.safetensors) y lo aplica como una adaptación ligera al modelo base.

En este caso:

• Cyberpunk [Style] Sci-Fi LoRA XL

  • https://civitai.com/models/135492/cyberpunk-style-sci-fi-lora-xl

Qué tocar:

• LoRA name: seleccionar el archivo descargado.

• strength_model: intensidad del LoRA sobre el modelo (recomendado: 0.6 – 0.8)

• strength_clip: cuánto influye el LoRA en la interpretación del prompt (normalmente igual al anterior).

💡 Consejo:

• Si el estilo es muy agresivo → baja el valor.

• Si apenas se nota → súbelo poco a poco.

Salida:

• MODEL modificado → va al KSampler

3️⃣ CLIPTextEncode (Prompt positivo)

Qué hace: convierte el texto del prompt positivo en instrucciones que el modelo pueda entender.

Ejemplo típico en este artículo:

cyberpunk city, neon lights, futuristic sci-fi atmosphere, detailed illustration

Qué tocar:

• El contenido del prompt.

• Añadir palabras clave que refuercen el LoRA (en este caso, cyberpunk).

Salida:

• CONDITIONING positivo → al KSampler

Clip Text Encode

4️⃣ CLIPTextEncode (Prompt negativo)

Qué hace: indica al modelo qué evitar.

Ejemplo habitual:

photorealistic, realism, blurry, low quality, watermark, text

Por qué es clave con LoRAs: evita que el modelo “escape” del estilo buscado o meta artefactos.

Salida:

• CONDITIONING negativo → al KSampler

5️⃣ Empty Latent Image

Qué hace: crea el lienzo latente inicial donde se generará la imagen.

Qué tocar:

• Resolución (por ejemplo 1024×1024 en SDXL)

• Batch size si quieres varias imágenes por ejecución.

Salida:

• LATENT → al KSampler

6️⃣ KSampler

Qué hace: es el corazón del proceso. Combina:

• modelo base + LoRA,

• prompts,

• ruido inicial,

• parámetros de muestreo,

y genera el latente final.

Qué tocar (valores típicos):

• steps: 25–35

• CFG: 5–7

• sampler: Euler / DPM++ (según preferencias)

• scheduler: normal / karras

Salida:

• LATENT → al VAEDecode

KSampler - VAE Decode - Save Image

7️⃣ VAEDecode

Qué hace: convierte el latente final en una imagen RGB visible.

Qué tocar: nada, salvo que uses un VAE alternativo (no necesario en este flujo).

8️⃣ PreviewImage / SaveImage

Qué hacen:

• PreviewImage: muestra el resultado en ComfyUI.

• SaveImage: guarda la imagen en la carpeta de salida.

▶️ Cómo usarlo

1️⃣ Abre ComfyUI.

2️⃣ En el menú superior, selecciona: Workflow → Load

3️⃣ Carga el archivo:📁 wf_LORA_SD_Simple.json

4️⃣ Pulsa Run

🔁 Qué puedes probar a continuación

• En el nodo CheckpointLoader, selecciona otro modelo base compatible con SDXL

• Cambiar solo el peso del LoRA para ver cómo varía el estilo.

• Mantener el mismo LoRA y modificar el prompt.

• Usar el mismo prompt con otro LoRA para comparar estilos.

• Ajustar CFG y steps para refinar el resultado.

💡 Consejos y errores comunes

• ❌ No intentes usar un LoRA sin modelo base.

• ❌ No mezcles LoRAs incompatibles.

• ✅ Ajusta fuerza antes de tocar CFG.

• ✅ Usa prompts claros: el LoRA no adivina.

• ✅ Prueba el LoRA con distintos checkpoints.

• 🧪 Cambia una cosa cada vez

• 🔁 No mezcles demasiados LoRAs al empezar. Es posible cargar varios LoRAs, pero empieza sólo con uno y aprende su comportamiento. Luego combínalos.

• Piensa en el LoRA como un potenciador, no como una varita mágica.

  • Modelo base = conocimiento

  • LoRA = estilo

  • Prompt = intención

🌐 Recursos útiles

• 🌍 Hugging Face: uno de los mayores repositorios de IA del mundo, donde encontrarás miles de modelos —incluidos los compatibles con Stable Diffusion y ComfyUI— listos para descargar y usar.

• 🎨CivitAI: plataforma comunitaria donde los usuarios comparten modelos, estilos, LoRAs y nodos específicos para ComfyUI, clasificados por categoría, versión y nivel de complejidad.

• Recursos dentro del workflow:

  • Checkpoint: AniVerse XL v2.0 - https://civitai.com/models/522756?modelVersionId=646313

  • LoRA: Cyberpunk [Style] Sci-Fi LoRA XL - https://civitai.com/models/135492/cyberpunk-style-sci-fi-lora-xl

• 🧠 En Lozkorp: 

  • Descubre el artículo previo donde introdujimos ComfyUI dentro del ciclo “Generación de imágenes con IA en local (IV)”:🔗 Generación de imágenes con IA en local (IV) — ComfyUI

  • Serie ComfyUI (I) — Tu primer workflow con SDXL

  • Serie ComfyUI (II) — Workflow simple con FLUX

  • Serie ComfyUI (III) — Elimina el fondo de tus imágenes

  • Serie ComfyUI (IV) — Workflow de cambio de cara 

  • Serie ComfyUI (V) -- Generar imágenes a partir de prompts guardados en un archivo de texto

  • Serie ComfyUI (VI) — Extraer prompts desde una carpeta de imágenes (WD14 Tagger)

  • Serie ComfyUI (VII) — Img2Img simple: mejorar o modificar una imagen en local

  • Serie ComfyUI (VIII) — Upscale de imágenes: qué es, cómo funciona y workflow comparativo

  • Serie ComfyUI (IX) — Upscale y normalización automática de imágenes

  • Serie ComfyUI (X) — Img2Img estilo cómic por lotes

  • Serie ComfyUI (XI) — Introducción a ControlNet: control real sobre la forma

  • Archivo JSON de este ejemplo 📁 wf_LORA_SD_Simple.json

wf_LORA_SD_Simple.json

Descargar JSON • 12KB

🗺️ Conclusión

Con esta entrega de la Serie ComfyUI (XII) ya tienes una base sólida para entender qué es realmente un LoRA y cómo se utiliza correctamente en Stable Diffusion.

Has visto que:

• un LoRA no sustituye al modelo base,

• se entrena como una adaptación ligera sobre un checkpoint existente,

• modifica el estilo o el concepto sin reentrenar todo el modelo,

• y se integra de forma muy sencilla dentro de un workflow en ComfyUI.

Gracias al workflow simple de este artículo puedes:

• probar LoRAs de forma controlada,

• entender cómo afectan al resultado,

• y reutilizar esta estructura como punto de partida para flujos más avanzados.

Este conocimiento es clave para dar el siguiente salto: pasar de generar imágenes “sueltas” a construir estilos consistentes, personajes recurrentes y pipelines creativos reales.

Descarga el Workflow del artículo, cárgalo en tu ComfyUI y experimenta con distintos LoRAs, pesos y prompts. Cambia una variable cada vez y observa cómo responde el modelo.

Si quieres seguir aprendiendo a dominar la IA en local y con control total, visita: 👉 www.lozkorp.com

🚀 Aquí es donde la generación deja de ser azar y empieza a ser diseño.