inferencia - El Solitario

Hardware y GPU relacionados con la velocidad de LLM local

Inteligencia Artificial

Velocidad de LLM local: qué determina los tokens por segundo

Antes de comprar una GPU o una Mac para correr modelos de IA en tu propia máquina conviene entender qué determina la velocidad de LLM local. Ancho de banda, cuantización y arquitectura MoE explican por qué dos equipos con specs parecidas rinden distinto.

Por Andrés Morales, hace 5 días17 octubre, 2026

Chip FUJITSU-MONAKA de Fujitsu, CPU de 2 nm para IA soberana

Noticias Tech

FUJITSU-MONAKA: CPU de 2 nm que duplica el rendimiento de IA en inferencia

Fujitsu anunció FUJITSU-MONAKA, su nueva CPU de 2 nanómetros fabricada en Japón, que promete duplicar el rendimiento de inferencia de IA sin GPU. El Fujitsu MONAKA Server llega en noviembre de 2026 a Japón y Europa como base de infraestructura de IA soberana.

Por Javier Alarcón, hace 1 mes

Diagrama de la compresión de modelos en el catálogo de Cerebras Inference

Noticias Tech

Cerebras detalla su catálogo de inferencia: GPT OSS 120B corre a 3.000 tokens/s

Cerebras actualizó la documentación de su servicio de inferencia con la tabla de modelos disponibles y una explicación detallada de su política de compresión de modelos: cuantización selectiva por capas, sin poda de arquitectura en producción.

Por Andrés Morales, hace 2 meses

Ilustración de modelos pequeños de ia procesando tareas a bajo costo y alta velocidad

Inteligencia Artificial

gpt-5.6-luna: 100 tokens por segundo por centavos de dólar

gpt-5.6-luna resuelve tareas de investigación complejas por centavos de dólar y a unos 100 tokens por segundo, según documentó Calvin French-Owen. El hallazgo, sumado a la llegada de GLM 5.3 a la frontera de Pareto costo-capacidad, redefine qué apps de ia de consumo son económicamente viables.

Por Andrés Morales, hace 2 meses

Diagrama de KL divergence en la inferencia de un LLM local

Inteligencia Artificial

KL divergence explica por qué tu LLM local rinde peor que el original

Un análisis técnico publicado en los foros de Level1Techs muestra cómo los backends de atención, la cuantización y los ajustes de sampler alteran la salida de un LLM local respecto al modelo de referencia. La métrica clave para medir esa diferencia es la KL divergence.

Por Andrés Morales, hace 2 meses

Chip wafer-scale de Cerebras potenciando GPT-5.6 Sol Ultrafast

Inteligencia Artificial

Cerebras acelera GPT-5.6 Sol a 750 tokens por segundo con OpenAI

Cerebras y OpenAI presentaron Ultrafast Mode, una nueva capa de inferencia que hace correr a GPT-5.6 Sol hasta 750 tokens de salida por segundo. En el examen Humanity’s Last Exam, el modelo resolvió 2.500 preguntas en 11 horas y 11 minutos, casi siete veces más rápido que Claude Fable 5.

Por Andrés Morales, hace 2 meses13 agosto, 2026

Chip de Taalas con pesos de un modelo de IA grabados en silicio, tecnología adquirida por AMD

Inteligencia Artificial

AMD compra Taalas: chips que graban modelos en silicio a 17.000 tokens/s

AMD adquirió Taalas, una startup de Toronto que graba los pesos de modelos de IA directamente en el silicio de sus chips. El primer prototipo sirvió Llama 3.1 8B a 16.960 tokens por segundo, y AMD planea combinarlo con sus GPU Instinct en despliegues de inferencia a gran escala.

Por Andrés Morales, hace 3 meses

Diagrama de AirLLM cargando capas de Kimi K3 por streaming en una GPU de 4 GB

Inteligencia Artificial

AirLLM ejecuta Kimi K3, el modelo abierto más grande, en 3.72 GB de VRAM

AirLLM, la librería open source que permite correr modelos gigantes en poca memoria, ya soporta Kimi K3: el modelo abierto de 2.8 billones de parámetros que ahora corre en una sola GPU de menos de 4 GB. La técnica de streaming por experto evita cargar el modelo completo en memoria.

Por Andrés Morales, hace 3 meses

Centro de datos con GPUs procesando el costo de inferencia de un modelo de IA

Inteligencia Artificial

Modelos de IA abiertos no son gratis: el COGS que ignora Wall Street

Ben Thompson argumenta en Stratechery que los modelos de pesos abiertos como Kimi K3 no son gratis de servir: el costo de inferencia, no el precio de licencia, es lo que define el margen de la industria de IA. El debate reabre la pregunta de qué gana realmente cuando un modelo compite con un rival que cobra menos por token pero necesita más tokens para responder.

Por Andrés Morales, hace 3 meses

GPU en un centro de datos representando el COGS de la IA en inferencia

Inteligencia Artificial

Ben Thompson: la inteligencia es el commodity de la IA, no los tokens

Ben Thompson analiza en Stratechery por qué los modelos abiertos chinos como Kimi K3 no son gratis de servir. El ensayo distingue el COGS de la IA, un costo variable, de la inversión fija en investigación y desarrollo, y explica por qué los tokens no son un commodity fungible.

Por Andrés Morales, hace 3 meses