JEPA: qué es la arquitectura de LeCun que no genera píxeles

⏱️ Lectura: 15 min

Yann LeCun lleva años insistiendo en que los modelos generativos, los mismos que producen texto o imágenes token por token, no son el camino hacia una inteligencia artificial con sentido común. El 29 de octubre de 2026 publicó, junto a Randall Balestriero, la prueba matemática de esa intuición. Su paper en arXiv demuestra que la arquitectura JEPA que ambos diseñaron converge a la misma representación del mundo sin importar la modalidad de entrada, algo que la predicción de próximo token logra con mucha menos eficiencia.

📑 En este artículo

1. TL;DR
2. ¿Qué es la arquitectura JEPA?
3. Por qué importa el enfoque predictivo de LeCun
4. Cómo funciona JEPA por dentro
5. Ejemplos prácticos: así se ve una predicción de JEPA en código
6. Cómo empezar con I-JEPA y V-JEPA
7. JEPA vs. modelos generativos y contrastivos
8. Casos de uso reales: de la clasificación de imágenes a los modelos de mundo
9. Errores comunes y buenas prácticas
10. Profundizando: la hipótesis platónica y el teorema de representación
11. Preguntas frecuentes
    1. ¿La arquitectura JEPA reemplaza a los transformers generativos?
    2. ¿Qué diferencia a I-JEPA de V-JEPA?
    3. ¿JEPA necesita pares negativos como el aprendizaje contrastivo?
    4. ¿Por qué next-token prediction alinea peor con la visión, según el paper de LeCun?
    5. ¿Se puede usar JEPA para texto, no solo para imágenes y video?
    6. ¿JEPA sirve para generar imágenes o video nuevo?
12. Referencias
    1. 📚 Artículos relacionados

Esa demostración no es el tema de este artículo. Lo que importa para un desarrollador es entender qué hace distinta a esta arquitectura, que Meta ya usa en producción en I-JEPA y V-JEPA. Su apuesta central es predecir representaciones en vez de píxeles.

TL;DR

• JEPA predice la representación latente de una parte oculta, sin reconstruir píxeles ni tokens.
• Meta usa este diseño en I-JEPA para imágenes y en V-JEPA para video en producción.
• Un codificador objetivo con pesos EMA y stop-gradient evita el colapso representacional.
• Las vistas positivas necesitan 42 veces menos muestras que el next-token prediction para alinear representaciones.
• A diferencia de la difusión, JEPA predice embeddings para entender el mundo, no para generar contenido nuevo.

¿Qué es la arquitectura JEPA?

La arquitectura JEPA es una familia de modelos de aprendizaje autosupervisado que predice la representación latente de una parte faltante de los datos a partir de una parte visible, sin generar los datos originales pixel por pixel. LeCun la propuso en 2022 como alternativa a los generativos.

LeCun presentó la idea en su ensayo A Path Towards Autonomous Machine Intelligence, donde argumentaba que un sistema inteligente necesita un modelo del mundo capaz de predecir sin gastar cómputo en detalles irrelevantes. Reconstruir cada píxel de un video, por ejemplo, obliga al modelo a aprender ruido de cámara o texturas de fondo que no ayudan a entender la escena.

JEPA evita ese desperdicio prediciendo en el espacio de las representaciones (embeddings) en lugar del espacio de los datos crudos. En la práctica significa entrenar dos codificadores que nunca comparten gradiente directo y un predictor que conecta ambos. El resultado es un modelo que aprende qué información importa de una escena sin que nadie le diga qué es importante.

Por qué importa el enfoque predictivo de LeCun

El problema que resuelve JEPA es concreto: entrenar modelos de visión sin millones de etiquetas humanas. Los modelos generativos de imágenes (difusión, autoencoders variacionales) también aprenden sin etiquetas, pero gastan su capacidad reconstruyendo cada textura y cada pixel de ruido, justo lo que después hay que ignorar para tareas como clasificación o segmentación.

El paper de Balestriero y LeCun le pone números a esa intuición. Usando un corpus de 145.000 descripciones de imágenes y 940 millones de imágenes web, encontraron que las vistas positivas (dos observaciones de la misma escena) alinean representaciones usando 42 veces menos muestras que el next-token prediction entrenado sobre el mismo texto.

Eso explica por qué los modelos de lenguaje alinean con la visión solo a gran escala. La predicción de próximo token es, según los propios autores, una JEPA con «vistas malas», fragmentos de un mismo documento en lugar de observaciones reales de una escena compartida. Un modelo de texto de apenas 109 millones de parámetros entrenado con vistas buenas alineó mejor con los encoders de imagen de DINOv2 y CLIP que cualquier modelo de lenguaje evaluado, incluso uno de 72.000 millones de parámetros.

Para quien entrena modelos con presupuesto limitado la lección es práctica. Elegir una arquitectura que prediga en espacio latente ahorra cómputo y datos etiquetados, dos recursos que escasean fuera de los laboratorios grandes.

Cómo funciona JEPA por dentro

La arquitectura tiene tres piezas. El codificador de contexto procesa la parte visible de la entrada, un bloque de parches de una imagen o un clip de video. El codificador objetivo procesa la parte oculta, pero sus pesos no se entrenan por gradiente, se actualizan como un promedio móvil exponencial (EMA) de los pesos del codificador de contexto. El predictor toma la salida del codificador de contexto y trata de adivinar la salida del codificador objetivo.

flowchart TD
    A["Entrada (imagen o video)"] --> B["Codificador de contexto"]
    A --> C["Codificador objetivo (EMA)"]
    B --> D["Embedding de contexto"]
    C --> E["Embedding objetivo"]
    D --> F["Predictor"]
    F --> G["Embedding predicho"]
    G --> H["Perdida en espacio latente"]
    E --> H

La pérdida de entrenamiento compara esa predicción contra el embedding objetivo real, casi siempre con una distancia L2 o smooth L1, nunca contra los píxeles originales. Como el codificador objetivo nunca recibe gradiente directo y el predictor ve menos información que el codificador objetivo, el sistema no puede memorizar una salida constante para hacer trampa, y ese detalle es lo que previene el colapso representacional, el fracaso más común de este tipo de entrenamiento.

💭 Clave: Sin la asimetría entre el codificador de contexto y el codificador objetivo (EMA más stop-gradient), el modelo encuentra el camino más corto: predecir siempre el mismo vector y minimizar la pérdida sin aprender nada.

I-JEPA divide una imagen en parches y oculta varios bloques grandes y contiguos, no parches sueltos al azar. Ocultar bloques grandes obliga al predictor a razonar sobre la estructura de la escena, dónde termina un objeto, qué hay detrás, en lugar de copiar textura del parche vecino, que es lo que pasa si el hueco es minúsculo.

flowchart LR
    A["Imagen dividida en parches"] --> B["Bloque de contexto visible"]
    A --> C["Bloques objetivo ocultos"]
    B --> D["Codificador de contexto"]
    C --> E["Codificador objetivo"]
    D --> F["Predictor predice embeddings de C"]
    E --> G["Embeddings reales de C"]
    F --> H["Comparar con perdida L2"]
    G --> H

V-JEPA extiende la misma idea al tiempo. En vez de ocultar solo una región espacial, oculta bloques que se extienden a lo largo de varios cuadros consecutivos, así el predictor tiene que modelar tanto la estructura de la escena como su evolución, el primer paso hacia lo que Meta llama un modelo de mundo.

Ejemplos prácticos: así se ve una predicción de JEPA en código

El mecanismo central de JEPA, predecir un embedding a partir de otro, se puede ilustrar con un fragmento mínimo en PyTorch. No es el código real de los repositorios de Meta, es un esqueleto que muestra la forma del problema.

import torch
import torch.nn as nn

class Predictor(nn.Module):
    def __init__(self, dim=768):
        super().__init__()
        self.proj = nn.Linear(dim, dim)

    def forward(self, context_embedding, mask_tokens):
        return self.proj(context_embedding + mask_tokens)

context_embedding = torch.randn(1, 196, 768)   # embeddings del bloque visible
mask_tokens = torch.randn(1, 196, 768)         # tokens posicionales del bloque oculto
predictor = Predictor()

predicted_embedding = predictor(context_embedding, mask_tokens)
print(predicted_embedding.shape)

La salida es torch.Size([1, 196, 768]): un batch, 196 parches (14×14 en una imagen de 224×224 con parches de 16 píxeles) y 768 dimensiones por embedding. Esa misma forma es la que debe tener el embedding objetivo real para poder compararlos con la función de pérdida.

Cómo empezar con I-JEPA y V-JEPA

Para correr el código oficial necesitás Python 3.9 o superior, Git y, para entrenar en serio, una GPU con soporte CUDA. Para solo cargar un checkpoint preentrenado alcanza con CPU, aunque mucho más lento. Los pasos siguientes son para Linux y macOS; en Windows corren igual dentro de WSL.

git clone https://github.com/facebookresearch/ijepa.git
cd ijepa
python -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Para V-JEPA el repositorio es distinto: git clone https://github.com/facebookresearch/jepa.git, seguido de los mismos tres pasos de entorno virtual e instalación.

No hay una forma de confirmar la instalación con un solo comando genérico, porque cada repositorio expone su propio script de evaluación. La señal de que todo cargó bien es que ese script termine e imprima la métrica final (la accuracy del linear probe, en el caso de I-JEPA) en vez de interrumpirse con un traceback de dependencias faltantes.

JEPA vs. modelos generativos y contrastivos

JEPA no es la única forma de aprender sin etiquetas. Comparado con otras dos familias, la diferencia queda más clara.

flowchart TD
    subgraph Generativo["Modelo generativo"]
    P1["Entrada parcial"] --> P2["Decodificador"]
    P2 --> P3["Reconstruccion en espacio de pixeles"]
    end
    subgraph JEPA["Arquitectura JEPA"]
    J1["Entrada parcial"] --> J2["Predictor"]
    J2 --> J3["Prediccion en espacio latente"]
    end

La elección no es ideológica. Si el objetivo final es generar una imagen o un texto, un modelo generativo sigue siendo la herramienta correcta. Si el objetivo es que un sistema entienda una escena para después actuar sobre ella, un robot, un auto autónomo, predecir en espacio latente rinde más por cada muestra de entrenamiento.

Casos de uso reales: de la clasificación de imágenes a los modelos de mundo

Meta publicó I-JEPA en 2023 como su primer modelo de visión entrenado con esta arquitectura, pensado para tareas de clasificación y segmentación con pocas etiquetas disponibles. El paper original lo mostró compitiendo con modelos contrastivos usando una fracción de su cómputo de entrenamiento.

V-JEPA, publicado en 2024, extendió la idea a video para tareas como reconocimiento de acciones y comprensión de movimiento físico. El paper de V-JEPA lo presenta como un paso hacia modelos que entienden causa y efecto en el mundo físico, lo que LeCun describe como «modelos de mundo»: sistemas capaces de predecir qué pasa después de una acción sin haber visto exactamente esa secuencia antes.

El caso de uso más concreto hoy es el preentrenamiento: entrenar primero con JEPA sobre datos sin etiquetar y después afinar una cabeza pequeña para la tarea final, con muchas menos imágenes o videos etiquetados que los que necesitaría un modelo entrenado desde cero.

Errores comunes y buenas prácticas

El error más citado en la literatura de aprendizaje autosupervisado es el colapso representacional: el modelo aprende a producir el mismo embedding para cualquier entrada, minimizando la pérdida sin aprender nada útil. JEPA lo evita con la asimetría entre codificadores, pero esa asimetría no es automática. Si el codificador objetivo se actualiza demasiado rápido (un EMA con momentum bajo) o demasiado lento, el riesgo de colapso vuelve.

Otro error común es confundir JEPA con aprendizaje contrastivo. SimCLR y CLIP necesitan pares negativos, ejemplos que NO deben parecerse, y aumentaciones de datos cuidadosamente diseñadas. I-JEPA y V-JEPA no usan negativos explícitos; la asimetría arquitectónica hace ese trabajo.

⚠️ Ojo: La limitación real, y la razón por la que JEPA no reemplaza a los modelos generativos, es que sus embeddings no sirven para generar contenido directamente. Si el proyecto necesita un generador de imágenes o un chatbot, un modelo generativo sigue siendo la pieza correcta.

Profundizando: la hipótesis platónica y el teorema de representación

El resultado más fuerte del paper de Balestriero y LeCun es lo que llaman el teorema de representación platónica. Los autores demuestran que dos JEPA entrenadas por separado sobre modalidades distintas, texto e imagen, por ejemplo, convergen a la misma representación salvo una rotación, siempre que sus pares positivos sean «vistas buenas», dos observaciones reales de la misma escena. Con vistas malas, fragmentos arbitrarios de un documento, la convergencia tiene un límite acotado pero no desaparece.

La consecuencia práctica, no solo teórica, es que esa rotación se puede calcular sin reentrenar nada. Los autores tomaron un encoder de texto y un encoder de imagen entrenados por separado, calcularon la rotación que los alinea y construyeron un generador de descripciones que obtuvo un CIDEr de 0,838 en COCO, sin que los dos encoders hubieran visto jamás un par imagen-texto durante el entrenamiento. En un benchmark sin pares, ese mismo text JEPA superó el zero-shot de todos los modelos de lenguaje evaluados hasta 8.000 millones de parámetros, con 64% contra un máximo de 56% top-5 en ImageNet-100.

Esto no significa que la arquitectura JEPA resuelva la hipótesis platónica de LeCun por completo. El propio paper aclara que el límite de desalineación depende de qué tan «buena» sea la vista, y construir vistas buenas para cada modalidad nueva, audio, sensores de robots, sigue siendo un problema de diseño abierto, no una receta universal.

📖 Resumen en Telegram: Ver resumen

Tu próximo paso: cloná el repositorio de I-JEPA, cargá un checkpoint preentrenado y corré el script de linear probing sobre un dataset chico propio para ver cuántas etiquetas necesitás realmente para una accuracy aceptable.

Preguntas frecuentes

¿La arquitectura JEPA reemplaza a los transformers generativos?

No. JEPA resuelve el problema de aprender representaciones sin etiquetas; los transformers generativos siguen siendo la herramienta cuando el objetivo final es producir texto, imagen o audio nuevo. Son complementarios, no rivales directos.

¿Qué diferencia a I-JEPA de V-JEPA?

I-JEPA trabaja sobre imágenes estáticas y oculta bloques espaciales de parches. V-JEPA extiende la idea a video, ocultando bloques que se extienden en el tiempo para que el modelo aprenda también la dinámica de una escena.

¿JEPA necesita pares negativos como el aprendizaje contrastivo?

No. SimCLR y CLIP comparan pares positivos contra negativos explícitos. I-JEPA y V-JEPA evitan el colapso con la asimetría entre el codificador de contexto y el codificador objetivo, sin necesitar negativos.

¿Por qué next-token prediction alinea peor con la visión, según el paper de LeCun?

Porque sus pares de entrenamiento son fragmentos de un mismo documento de texto, no dos observaciones reales de una escena compartida. El paper lo describe como una JEPA con «vistas malas», y por eso necesita mucha más escala para alinear con modelos de imagen.

¿Se puede usar JEPA para texto, no solo para imágenes y video?

Sí. El propio paper de Balestriero y LeCun entrena un text JEPA de 109 millones de parámetros con vistas positivas y lo compara directamente contra modelos de lenguaje de hasta 72.000 millones de parámetros.

¿JEPA sirve para generar imágenes o video nuevo?

No directamente. Sus embeddings describen una escena, pero no están pensados para reconstruir píxeles. Generar contenido nuevo a partir de esos embeddings requiere acoplar un decodificador o un modelo generativo aparte.

Referencias

• Balestriero y LeCun, «Proving and Improving the Platonic Representation Hypothesis with JEPAs» (arXiv, 2026): el paper que motiva este artículo.
• Assran et al., «Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture» (arXiv, 2023): el paper original de I-JEPA.
• Bardes et al., «V-JEPA: Video Joint-Embedding Predictive Architecture for Self-Supervised Visual Learning» (arXiv, 2024): el paper original de V-JEPA.
• Repositorio oficial de I-JEPA en GitHub: código y checkpoints preentrenados.
• Repositorio oficial de V-JEPA en GitHub: código y checkpoints preentrenados.

📱 ¿Te gusta este contenido? Únete a nuestro canal de Telegram @programacion donde publicamos a diario lo más relevante de tecnología, IA y desarrollo. Resúmenes rápidos, contenido fresco todos los días.

Imagen destacada: Foto de Logan Voss en Unsplash