Inteligencia Artificial Gigatoken tokeniza a 24,53 GB/s: hasta 989 veces más rápido que HuggingFaceGigatoken es un tokenizador en Rust que alcanza 24,53 GB/s en benchmarks, hasta 989 veces más rápido que HuggingFace Tokenizers. Es compatible con más de 15 familias de modelos, desde Llama hasta DeepSeek, y se instala con un simple pip install. Por Andrés Morales, hace 2 meses
