Inteligencia Artificial
RoPE: cómo la mayoría de los LLM ubican cada token
Los LLM necesitan saber en qué posición de la secuencia está cada token, y ese problema se resuelve con embeddings posicionales. RoPE, el método que domina en los modelos abiertos de 2026, rota los vectores de atención en cada capa en vez de sumar una posición fija al principio. Acá explicamos cómo funciona, en qué se diferencia de ALiBi y de los embeddings absolutos, y qué implica para quien extiende el contexto de un modelo.