El Solitario

  • GNU/Linux
  • Tutoriales
  • Opinión

cuantizacion

Diagrama de KL divergence en la inferencia de un LLM local
Inteligencia Artificial

KL divergence explica por qué tu LLM local rinde peor que el original

Un análisis técnico publicado en los foros de Level1Techs muestra cómo los backends de atención, la cuantización y los ajustes de sampler alteran la salida de un LLM local respecto al modelo de referencia. La métrica clave para medir esa diferencia es la KL divergence.

Por Andrés Morales, hace 6 días
Logo de Qwen3.8-27B-FP8, el modelo de Alibaba en Hugging Face con FP8 nativo
Noticias Tech

Qwen3.8-27B-FP8: Alibaba lanza el modelo con FP8 nativo y reasoning effort

Alibaba publicó Qwen3.8-27B-FP8 en Hugging Face, un modelo de 27.000 millones de parámetros con cuantización FP8 nativa y control de esfuerzo de razonamiento. Repasamos su chat template, cómo usarlo con transformers y sus límites de hardware.

Por Andrés Morales, hace 2 semanas
Diagrama del modelo Bonsai 27B de PrismML corriendo en un celular
Inteligencia Artificial

PrismML lanza Bonsai 27B, el primer modelo de 27B que corre en un celular

PrismML presentó Bonsai 27B, un modelo de 27.000 millones de parámetros comprimido a 3.9 GB que corre en un iPhone 17 Pro. La compañía lo publica bajo licencia Apache 2.0 en dos variantes, Ternary y 1-bit, pensadas para agentes que operan por completo en el dispositivo.

Por Andrés Morales, hace 2 meses
Cursos sobre Linux
Introducción a Linux: Instala Linux en tu PC

Introducción a Linux: Instala Linux en tu PC

Empieza seguro en Linux

4.2 | Gratis


Aprendiendo Linux: uso, terminal y comandos

Aprendiendo Linux: uso, terminal y comandos

Aprende sobre el entorno de escritorio y los comandos básicos de GNU/Linux

4.7 | $19.99

El Solitario > cuantizacion
Entradas recientes
  • Bugonomics: el tiempo medio de explotar un bug ya es de -7 días
  • htmx 4.0.0 ya está disponible: fetch() reemplaza a XMLHttpRequest
  • GNOME HIG exige que toda GUI sea totalmente navegable por teclado
  • GNOME HIG exige que toda GUI sea totalmente navegable por teclado
  • GNOME HIG exige que toda GUI sea totalmente navegable por teclado
Categorías
  • GNU/Linux
  • Inteligencia Artificial
  • Microservicios
  • Noticias Tech
  • Opinión
  • Programación
  • Redes
  • Seguridad
  • Tutoriales
Comentarios recientes
  • Casey en El estándar OpenAI-compatible API: auditoría técnica del contrato de-facto que unificó la inferencia LLM (2020–2026)
  • Angel_Bran en Solucionar el problema con VSYNC en Linux
  • Angel_Bran en Configurar GRUB en Ubuntu y derivados: Cambiar el orden de arranque por defecto
  • Sergio en Configurar GRUB en Ubuntu y derivados: Cambiar el orden de arranque por defecto
  • carlitos en Solucionar el problema con VSYNC en Linux
Etiquetas
accesibilidad agentes algoritmos amazon amd android anthropic apple arquitectura atencion benchmark benchmarks china chips claude codex cogs costos cuantizacion firmware github gnome gpu gui huggingface inferencia Javascript kimi llm microsoft modelos moe moonshot opensource privacidad Programacion Python qwen razonamiento rust seguridad teclado vibecoding vulnerabilidad wcag
  • Política de privacidad
Hestia | Desarrollado por ThemeIsle