Qwen3-4B sin muletillas de IA: cómo lo logró un ingeniero

⏱️ Lectura: 16 min

Un ingeniero entrenó a Qwen3-4B para que dejara de escribir como una IA: el puntaje de muletillas de IA bajó de 121 a 12,5 por cada 1.000 palabras, y los guiones largos retóricos pasaron de 20,5 por 1.000 palabras a cero, según documenta el propio autor.

📑 En este artículo

1. TL;DR
2. ¿Qué son las muletillas de IA?
3. Por qué aparecen: el sesgo de RLHF hacia la aprobación humana
4. Cómo funciona el fine-tuning dirigido para quitarlas
   1. El detector de tics de escritura: cómo se mide el puntaje
5. Ejemplos prácticos: antes y después
6. Cómo empezar: correr Qwen3-4B-deslop en Ollama
7. Casos de uso reales
8. Errores comunes y buenas prácticas
9. Comparativa: tres formas de quitar los manierismos del modelo
10. Profundizando: la dirección oculta dentro de los pesos
11. Preguntas frecuentes
    1. ¿Qué significa que un modelo tenga muletillas de IA?
    2. ¿Cómo se entrena Qwen3-4B-deslop para evitar estos tics?
    3. ¿Funciona igual que el modelo original en preguntas factuales?
    4. ¿Es gratis correr Qwen3-4B-deslop en Ollama?
    5. ¿El fine-tuning de este tipo sirve para modelos más grandes?
    6. ¿Un detector automático puede distinguir buena de mala escritura?
12. Referencias
    1. 📚 Artículos relacionados

El resultado se llama qwen3-4b-deslop y pesa 2,5 GB en su versión cuantizada. Cualquiera puede descargarlo con Ollama y comparar, prompt por prompt, cómo responde frente al modelo original. No es un experimento de laboratorio cerrado: es un modelo público que corre en una laptop.

TL;DR

• El puntaje de muletillas de IA de Qwen3-4B-deslop cae de 121 a 12,5 por 1.000 palabras tras el fine-tuning.
• Los guiones largos (em dash) desaparecen por completo: de 20,5 por 1.000 palabras a cero.
• RLHF premia el tono que suena ‘servicial’, y ese sesgo es el origen de los tics de escritura de la IA.
• Un LoRA sobre 161 respuestas filtradas quita las muletillas sin tocar el conocimiento: acierta 30/30 preguntas.
• Ollama corre el modelo cuantizado (2,5 GB) en tu laptop para comparar el antes y el después en tus propios prompts.

¿Qué son las muletillas de IA?

Las muletillas de IA son fragmentos de estilo que un modelo de lenguaje repite con tanta frecuencia que delatan su origen artificial: el guion largo como pausa dramática, los tríos de adjetivos, la fórmula «no es X, sino Y» y las preguntas que el propio texto responde de inmediato.

Es parecido a lo que pasa con un vendedor que aprende, a fuerza de repetir el mismo discurso, qué frases hacen asentir a la mayoría de la gente aunque no digan nada nuevo. El modelo no entiende que esas frases son vacías: solo sabe que, en el entrenamiento, subieron su calificación.

No son errores aleatorios. Vienen del mismo proceso de entrenamiento, y por eso aparecen con la misma forma en modelos de laboratorios distintos. Entender de dónde salen es el primer paso para poder quitarlas sin dañar lo que el modelo sabe.

Por qué aparecen: el sesgo de RLHF hacia la aprobación humana

El afinado que le da a un modelo su «voz de asistente» se llama aprendizaje por refuerzo con retroalimentación humana (RLHF). Un grupo de personas califica pares de respuestas, un modelo de recompensa aprende a predecir esas calificaciones y el modelo final se ajusta para maximizar esa puntuación.

El problema es que los calificadores humanos no leen con la misma atención que un editor. Premian respuestas que «se sienten» completas y seguras, y ciertos adornos superficiales generan esa sensación sin aportar información real. Un trío de adjetivos suena exhaustivo. Una pregunta respondida en la misma frase suena didáctico. Un guion largo en mitad de la oración suena a pausa reflexiva. Nada de eso añade un dato, pero sí sube la calificación promedio.

Por eso los tics de escritura de la IA no son un capricho de un modelo en particular, sino el subproducto estadístico de optimizar para el gusto promedio de miles de calificadores. Y como el proceso se repite en cada laboratorio con metodologías parecidas, los mismos hábitos aparecen en modelos que nunca compartieron código ni datos de entrenamiento.

Cómo funciona el fine-tuning dirigido para quitarlas

Antes de tocar los pesos del modelo, el autor probó dos atajos que no requieren reentrenar nada. El primero fue el «activation steering»: restar, durante la generación, la dirección interna que corresponde a la «voz de asistente», combinada con un prompt de sistema que pide un estilo plano. Funciona, y bajó el puntaje hasta cerca de 15, pero necesita ese prompt y ese código corriendo en cada respuesta, y además desvía las predicciones del modelo sobre texto normal que no tiene nada que ver con el estilo.

El segundo atajo fue más quirúrgico: revisar neuronas una por una hasta encontrar cuatro cuya activación, si se invierte, elimina el 70% de los casos de «no es X, sino Y» casi sin costo. Pero ese parche solo funciona para esa muletilla puntual y no generaliza al resto de los hábitos.

Para resolverlo de forma permanente, dentro de los pesos y sin hooks en tiempo de ejecución, el autor usó destilación. Un modelo «profesor» (construido con lo mejor que había funcionado hasta ese punto) genera respuestas a un conjunto de prompts de entrenamiento. Las respuestas que pasan los filtros de calidad alimentan un adaptador LoRA pequeño, que aprende a producir ese mismo estilo a partir del prompt original, sin el profesor ni el código extra.

flowchart TD
A["Profesor genera 3 respuestas por prompt"] --> B["Filtro: puntaje de muletillas bajo 12"]
B --> C["Filtro: sin daño (deriva y quiz de 30 preguntas)"]
C --> D["Filtro: la respuesta cumple la tarea pedida"]
D --> E["LoRA aprende del subconjunto aprobado"]
E --> F["Modelo estudiante Qwen3-4B-deslop"]

La primera ronda de este proceso, sin gancho de estilo ni esteroides de prompt, ya bajó el puntaje a cerca de 20. Fue la prueba de que destilar funciona mejor que forzar el estilo en tiempo de ejecución.

flowchart LR
R1["Ronda 1: puntaje cercano a 20"] --> R2["Ronda 2: puntaje 9.9, pero falla el ajuste a la tarea"]
R2 --> R3["Ronda 3: puntaje 12.5, ajuste a la tarea en 80%"]

El detector de tics de escritura: cómo se mide el puntaje

Para saber si el modelo mejoró, hace falta medir, no solo mirar. El detector que usa el autor mide patrones de escritura de IA con un conjunto de reglas con pesos. Cuenta guiones largos, apariciones de «no es X, sino Y», tríos de tres elementos, preguntas retóricas respondidas en la misma frase, muletillas de transición como «aquí está la clave» y palabras como «delve» o «seamless» en inglés (sus equivalentes en español serían «profundizar en» o «sin fisuras» usados como relleno). Cada hábito pesa distinto, y la suma se normaliza por cada 1.000 palabras.

Un detector basado en reglas no distingue por sí solo buena de mala escritura, así que el autor también revisó manualmente una muestra de respuestas en cada ronda. Un regex puede contar guiones largos, pero no puede decir si el párrafo que los rodea tiene sentido.

flowchart LR
T["Texto generado"] --> H1["Cuenta guiones largos"]
T --> H2a["Cuenta 'no es X, sino Y'"]
T --> H3a["Cuenta preguntas que se responden solas"]
H1 --> S["Suma ponderada"]
H2a --> S
H3a --> S
S --> P["Puntaje por 1.000 palabras"]

Para ilustrar la idea, este es un detector simplificado en Python que cualquiera puede correr sobre un párrafo propio:

import re

def slop_score(text):
    words = len(text.split())
    em_dashes = text.count(", ")
    not_x_but_y = len(re.findall(r"no es .*?, sino", text, re.IGNORECASE))
    rhetorical = len(re.findall(r"\?\s*[A-ZÁÉÍÓÚ]", text))
    raw = em_dashes * 3 + not_x_but_y * 4 + rhetorical * 2
    return round(raw / words * 1000, 1)

texto = "El framework no es solo rápido, es, ante todo, elegante. ¿Por qué importa? Porque resuelve tres problemas: velocidad, memoria y legibilidad."
print(slop_score(texto))

Con ese párrafo de ejemplo (que acumula un guion largo y una pregunta respondida en la misma frase), la función devuelve 227.3. Es un juguete de diez líneas, no el detector real del autor, pero muestra el principio: contar patrones, no juzgar el tema.

Ejemplos prácticos: antes y después

El autor probó el modelo con 40 prompts que nunca vio en entrenamiento, repartidos en diez temas y cuatro géneros: reseña de producto, publicación personal, pieza de opinión y correo. En el modelo original, una pieza de opinión sobre el nuevo CRM de una empresa (ver el detalle en la publicación original) nunca tomaba una postura: leía como un reporte de incidente, lleno de guiones largos y tríos de beneficios.

Una versión intermedia del modelo, entrenada antes de ajustar bien los filtros, se fue al otro extremo: bajó el puntaje de muletillas a 9,9, pero empezó a inventar datos. Citó un estudio de una universidad que no existe, y encadenó casi todas las oraciones con «, which» (el equivalente sería encadenar todo con «, lo cual» o «, así que»), 28 veces más seguido que el modelo original. Ese hábito nuevo venía del propio prompt que el autor le dio al profesor, que pedía unir oraciones «con porque, así que, pero, lo cual», y dos rondas de imitación lo habían amplificado sin querer.

El filtro de ajuste a la tarea que añadió la tercera ronda no es un detector de estilo, sino un conjunto de reglas específicas por género. Un correo tiene que abrir con un saludo. Una reflexión personal tiene que estar en primera persona. Una pieza de opinión tiene que tomar postura temprano. Y la longitud tiene que acercarse a lo que pidió el prompt. Esas reglas, sumadas a contar las uniones con «, lo cual» y los estudios inventados, fueron las que detectaron el problema de la versión intermedia.

La versión final, entrenada con ese filtro adicional, subió apenas de 9,9 a 12,5 en el puntaje de muletillas, pero recuperó el ajuste a la tarea: del 60% de la versión intermedia al 80% del modelo original. Las uniones con «, lo cual» bajaron de 1,4 a 0,3 por cada 100 palabras.

⚠️ Ojo: optimizar solo por el puntaje de muletillas, sin medir si la respuesta cumple la tarea, produce un modelo que escribe plano pero inventa datos y evita tomar postura.

Cómo empezar: correr Qwen3-4B-deslop en Ollama

Para probarlo hace falta tener Ollama instalado. En Linux y macOS, el comando es:

curl -fsSL https://ollama.com/install.sh | sh

En Windows, el instalador se descarga directamente desde ollama.com/download. Con Ollama corriendo, el modelo cuantizado (2,5 GB) se descarga y arranca con un solo comando:

ollama run hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M

La primera vez, Ollama descarga el manifiesto y las capas del modelo, verifica su integridad y las guarda en disco. Cuando termina, abre un prompt interactivo donde se puede escribir directamente. Para comparar contra el modelo original, basta correr en otra terminal:

ollama run qwen3:4b

Y hacerle la misma pregunta a los dos. La diferencia de estilo entre ambas respuestas, el original lleno de guiones largos y tríos, el deslop más plano y directo, es el experimento que el propio autor invita a repetir.

Para confirmar qué se descargó, ollama list muestra el nombre del modelo, su tamaño y la fecha de modificación en una tabla de texto. Y ollama show hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M imprime la cuantización, el tamaño de contexto y la familia del modelo.

Casos de uso reales

El caso de uso más directo es el control de calidad editorial: pasar un borrador generado por IA por un detector de hábitos de redacción sintética antes de publicarlo, igual que se corre un linter sobre código antes de un commit. Un medio o un canal técnico puede usarlo como filtro automático antes de que un editor humano revise el texto.

También sirve como base para fine-tuning propio. El LoRA que produce qwen3-4b-deslop es chico, y el método (profesor que genera, filtros que aprueban, adaptador que aprende) se puede aplicar a cualquier estilo que se quiera reforzar o eliminar: no solo tics de escritura, también jerga corporativa, un tono de marca específico o un idioma de salida constante.

Y hay un caso de uso educativo, que es el que motiva este artículo: correr el modelo original y el deslop lado a lado deja ver, en texto real y no en una tabla de benchmarks, qué efecto tiene exactamente el fine-tuning sobre el estilo de una IA.

Errores comunes y buenas prácticas

• Medir solo el estilo: un detector de muletillas no avisa si el modelo inventó un dato o evitó responder lo que se le pidió. Hace falta un chequeo de ajuste a la tarea en paralelo, no después.
• Confiar en el prompt del profesor sin auditarlo: el hábito de unir cada oración con «, lo cual» salió del propio prompt que pedía conectores variados. Revisar las respuestas del profesor antes de usarlas para entrenar evita amplificar un sesgo nuevo.
• Usar un solo filtro de daño: un quiz de conocimiento no detecta que el modelo dejó de tomar postura en una opinión. Hacen falta chequeos específicos por género de texto.
• Tratar el puntaje como verdad absoluta: un regex cuenta patrones, no calidad. Revisar manualmente una muestra en cada ronda de entrenamiento sigue siendo necesario.

Comparativa: tres formas de quitar los manierismos del modelo

Profundizando: la dirección oculta dentro de los pesos

Un hallazgo previo del mismo autor, en un experimento anterior sobre este modelo, encontró algo más estructural que una simple preferencia de estilo: la «voz de asistente» existe como una dirección medible dentro del espacio de activaciones del modelo. Restarla matemáticamente durante la generación cambia el estilo de la respuesta, de la misma forma en que mover un objeto en un plano de coordenadas cambia su posición sin cambiar su forma.

El parche de cuatro neuronas es un caso más puntual de la misma idea: para el hábito «no es X, sino Y» específicamente, basta invertir el signo de activación de cuatro neuronas para eliminar el 70% de los casos. Pero esa solución es frágil porque está atada a esa única muletilla y no se generaliza a los guiones largos ni a los tríos.

💭 Clave: que exista una dirección interna para el estilo no significa que todas las muletillas comparten esa misma dirección. Cada hábito puede vivir en una parte distinta de la red.

Por eso la destilación resulta más robusta que localizar neuronas o direcciones. No necesita encontrar la ubicación exacta de cada hábito dentro de la red: alcanza con mostrarle al modelo, con ejemplos reales, cómo se ve el resultado que se quiere.

Tu próximo paso: descargá ollama run hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M, hacele la misma pregunta de opinión a ese modelo y a ollama run qwen3:4b, y contá a mano cuántos guiones largos aparecen en cada respuesta.

📖 Resumen en Telegram: Ver resumen

Preguntas frecuentes

¿Qué significa que un modelo tenga muletillas de IA?

Significa que repite, con más frecuencia de la que usaría un humano al escribir con cuidado, un conjunto reducido de recursos de estilo: guiones largos, tríos de elementos, la fórmula «no es X, sino Y» y preguntas que responde en la misma frase. Un detector automático puede contarlos y dar un puntaje por cada 1.000 palabras.

¿Cómo se entrena Qwen3-4B-deslop para evitar estos tics?

Con destilación en tres rondas: un modelo profesor genera respuestas, un conjunto de filtros descarta las que tienen muletillas, inventan datos o no cumplen la tarea pedida, y un adaptador LoRA chico aprende a imitar las respuestas que quedan. El resultado se mete en los pesos del modelo, sin prompt ni código extra en tiempo de ejecución.

¿Funciona igual que el modelo original en preguntas factuales?

Según el autor, responde correctamente las 30 de 30 preguntas de un quiz de conocimiento, el mismo número que el modelo original sin afinar.

¿Es gratis correr Qwen3-4B-deslop en Ollama?

Sí. El modelo está publicado en Hugging Face bajo un repositorio público y la versión cuantizada pesa 2,5 GB; solo hace falta tener Ollama instalado y suficiente espacio en disco.

¿El fine-tuning de este tipo sirve para modelos más grandes?

El autor entrenó este experimento en una MacBook Air, con un modelo de 4.000 millones de parámetros y 161 respuestas de entrenamiento. La receta no depende del tamaño del modelo, aunque probarla en modelos más grandes queda como trabajo pendiente.

¿Un detector automático puede distinguir buena de mala escritura?

No por sí solo. Un detector basado en reglas cuenta patrones, no juzga sentido ni coherencia, y por eso el autor complementó cada ronda de entrenamiento con una revisión manual de respuestas.

Referencias

• 100toolkit.com: publicación original con la metodología completa, los puntajes de cada ronda y los enlaces a los pesos del modelo.
• Hugging Face: repositorio con los pesos cuantizados de Qwen3-4B-deslop en formato GGUF.
• Ollama: documentación oficial para instalar y correr modelos de lenguaje en local.
• Wikipedia: explicación general del aprendizaje por refuerzo con retroalimentación humana (RLHF).
• GitHub, QwenLM/Qwen3: repositorio oficial de la familia de modelos Qwen3 sobre la que se construyó este fine-tuning.

📱 ¿Te gusta este contenido? Únete a nuestro canal de Telegram @programacion donde publicamos a diario lo más relevante de tecnología, IA y desarrollo. Resúmenes rápidos, contenido fresco todos los días.

Imagen destacada: Foto de Logan Voss en Unsplash