Full-duplex en voz: qué es y cómo lo hace Dessa

⏱️ Lectura: 15 min

Dessa puede reírse en medio de tu frase, antes de que termines de hablar. No espera su turno, como hacen Siri o Alexa. Escucha y responde al mismo tiempo, igual que una persona real. La IA de Block aprendió a sostener una conversación completa escuchando únicamente audio, sin una sola palabra de texto en su entrenamiento. Ese detalle la convierte en el ejemplo más concreto que existe hoy de lo que significa un modelo de voz full-duplex, y en la mejor forma de explicar en qué se diferencia de cualquier asistente de voz tradicional.

📑 En este artículo

1. TL;DR
2. ¿Qué es un modelo de voz full-duplex?
3. Por qué importa un sistema de voz a voz
4. Cómo funciona esta conversación de voz en tiempo real
5. Dessa, el modelo conversacional de voz de Block
   1. Lo que muestran las demos de habla y escucha simultáneas
6. Comparando modelos conversacionales de voz
7. Casos de uso de una conversación de voz en tiempo real
8. Limitaciones de un sistema de voz a voz
9. Profundizando: la arquitectura de la habla y escucha simultáneas
10. Preguntas frecuentes
    1. ¿Qué diferencia a la voz full-duplex de un asistente de voz normal?
    2. ¿Dessa es un producto que se puede usar hoy?
    3. ¿En qué hardware corre el modelo conversacional de Dessa?
    4. ¿Con qué datos se entrenó Dessa si no usó texto?
    5. ¿Un modelo de voz a voz como Dessa entiende las emociones?
    6. ¿Qué empresa está detrás de Dessa?
11. Referencias
    1. 📚 Artículos relacionados

TL;DR

• Full-duplex significa escuchar y hablar en simultáneo, sin ceder el turno como en una llamada telefónica normal.
• Dessa, de Block, se entrenó solo con audio de conversaciones reales, sin texto ni modelos de lenguaje previos.
• El modelo corre más rápido que tiempo real y funciona local en una MacBook Pro M4 Max o superior.
• Interrumpir, reírse a mitad de frase o subir el volumen al pedirlo son reacciones que nadie programó a mano.
• La cascada clásica (voz a texto a texto a voz) pierde el tono; un sistema full-duplex lo conserva de punta a punta.

¿Qué es un modelo de voz full-duplex?

Un modelo de voz full-duplex es un sistema de inteligencia artificial que procesa audio de entrada y genera audio de salida de forma continua y simultánea, sin turnos fijos de «habla uno, después el otro». Puede escuchar mientras habla y reaccionar a una interrupción a mitad de oración, en tiempo real.

El término viene de las telecomunicaciones. Un canal full-duplex permite transmitir y recibir datos al mismo tiempo, como un teléfono normal, mientras que uno half-duplex obliga a turnos, como un walkie-talkie. Aplicado a la voz, la diferencia es la misma. Un asistente half-duplex graba tu frase completa, la procesa y después responde. Uno full-duplex escucha y genera audio en el mismo instante, por eso puede interrumpir o ser interrumpido sin que la conversación se trabe.

Por qué importa un sistema de voz a voz

Los asistentes de voz actuales (Siri, Alexa, el modo de voz clásico de los chatbots) convierten tu audio en texto, ese texto pasa por un modelo de lenguaje y la respuesta se sintetiza de nuevo en audio. En ese camino se pierde casi toda la información que no es palabra: el tono, la ironía, un suspiro de cansancio, una voz que se quiebra. El resultado es una conversación que funciona, pero se siente acartonada y siempre un paso atrás del ritmo humano.

Block, la empresa detrás de Dessa, sostiene que esa pérdida de información no es solo un problema de experiencia, también es un problema de seguridad. Si una IA no puede distinguir si quien le habla está en pánico o solo apurado, difícilmente puede reaccionar como corresponde. Según Block, un asistente que no escucha el tono de quien le habla puede, en un caso extremo, seguir dando instrucciones mientras la persona está sufriendo dolor real.

Construir una cascada de voz a texto a voz es mucho más barato y predecible: cada pieza se puede comprar por separado, auditar por separado y reemplazar sin tocar el resto. Un modelo full-duplex entrenado de punta a punta pierde esa modularidad. Si falla, es más difícil saber en qué parte de la red ocurrió el problema, y por ahora casi ningún laboratorio fuera de Block publicó un modelo de este tipo entrenado completamente desde cero con audio.

Cómo funciona esta conversación de voz en tiempo real

La arquitectura más común en voz AI hoy es una cascada de tres piezas: reconocimiento de voz (ASR), un modelo de lenguaje, y un sintetizador (TTS). El ASR pasa el audio a texto, el modelo de lenguaje razona sobre ese texto, y el sintetizador convierte la respuesta de vuelta en audio. Cada pieza procesa por turnos: primero transcribe todo lo que dijiste, después piensa, después habla. Es una cadena de pasos secuenciales, y por eso el asistente no puede escuchar mientras genera su respuesta.

Un modelo de voz full-duplex colapsa esas tres piezas en una sola red que recibe audio crudo como entrada y produce audio crudo como salida, sin pasar por texto en ningún punto intermedio. Para lograrlo, el modelo necesita escuchar y generar audio en paralelo: dos flujos corriendo al mismo tiempo sobre la misma red, no una conversación que se resuelve por turnos. Esa arquitectura es la que le permite reaccionar en milisegundos a una interrupción, en lugar de esperar a que el micrófono detecte silencio para asumir que terminaste de hablar, que es el truco que usan los asistentes tradicionales.

La latencia es el otro factor crítico. Si el modelo tarda más de unos cientos de milisegundos en reaccionar, la conversación deja de sentirse natural, aunque el contenido de la respuesta sea perfecto. Por eso Block diseñó Dessa para correr más rápido que tiempo real: necesita generar cada fragmento de audio de respuesta en menos tiempo del que tarda en reproducirse, para no acumular retraso frase tras frase.

sequenceDiagram
    participant U as Usuario
    participant C as Asistente en cascada
    participant F as Modelo full-duplex
    U->>C: termina de hablar
    C->>C: transcribe audio a texto
    C->>C: genera respuesta con el LLM
    C->>U: sintetiza y reproduce audio
    Note over U,C: la respuesta llega tras 3 pasos secuenciales
    U->>F: habla
    F->>U: escucha y responde en paralelo
    Note over U,F: el audio fluye en ambos sentidos a la vez

Dessa, el modelo conversacional de voz de Block

Dessa es el modelo que un pequeño laboratorio de investigación dentro de Block construyó para probar si una IA puede aprender a hablar sin ver jamás una palabra escrita. El equipo lo entrenó únicamente con grabaciones de conversaciones humanas reales: nada de texto, nada de modelos de lenguaje preentrenados como punto de partida. Según Block, es la primera vez que se documenta una IA capaz de sostener una conversación realista en vivo habiendo aprendido exclusivamente de audio.

El laboratorio detrás de Dessa no es nuevo en esto. Sus fundadores vienen de la startup de deep learning Dessa, con sede en Toronto, y llevan más de ocho años construyendo modelos generativos de voz. Hoy ese equipo reporta directamente a Jack Dorsey, cofundador y presidente de Block. Lo que cambia con este modelo no es la ambición (llevan desde 2012 en deep learning), sino la decisión de cortar por completo la dependencia del texto.

Para entrenarlo usaron una sola unidad NVIDIA GB200 NVL72, un detalle relevante porque buena parte de los modelos de lenguaje de frontera se entrenan con miles de esas unidades en paralelo. Dessa corre además más rápido que tiempo real, y funciona localmente en una MacBook Pro M4 Max o superior, sin necesidad de un centro de datos para responder.

Block también abrió una convocatoria específica para investigadores de seguridad de IA, antes de ampliar el acceso al público general. La razón que da la compañía es que un modelo que aprendió a hablar sin pasar por texto es territorio nuevo, y prefieren que alguien externo busque riesgos que el equipo interno no haya anticipado antes de abrir la lista de espera a más usuarios.

Lo que muestran las demos de habla y escucha simultáneas

Block publicó grabaciones en vivo de personas hablando con Dessa, sin ningún guion. En una, alguien cuenta algo gracioso y Dessa se ríe a mitad de la frase, en el momento exacto en que algo se vuelve gracioso, no después de escuchar la frase completa, como hacen los modelos que esperan el turno entero. En otra, alguien no recuerda el título de una película y Dessa termina la frase por la persona, con el dato correcto, pese a que todo lo que sabe lo aprendió de sonido, nunca de texto.

Hay una demo donde alguien le da una sorpresa de aniversario y Dessa responde con un «oh my god» susurrado, como quien se contiene la emoción, y sigue hablando con lo que suena a gratitud genuina. En otra, alguien le pide que hable más fuerte y Dessa sube el volumen: nadie le programó esa instrucción puntual, la dedujo del pedido. Block también publicó una conversación entre Dessa y GPT-Live-1, un modelo de voz de un tercero: ambas voces son generadas por IA, y el desarrollador de GPT-Live-1 no tiene relación con Block ni avaló el experimento.

Comparando modelos conversacionales de voz

Para ubicar a Dessa dentro del panorama de voz AI, conviene comparar tres enfoques distintos según cómo manejan el audio y las interrupciones.

Casos de uso de una conversación de voz en tiempo real

Block no vende todavía Dessa como producto. Por ahora solo abrió una lista de espera y una convocatoria para investigadores de seguridad de IA. Pero el objetivo declarado deja ver hacia dónde apunta un modelo así. Una conversación por voz donde la IA perciba angustia real, no solo palabras de alarma, podría cambiar cómo responden las líneas de ayuda automatizadas o los asistentes de salud mental. Un soporte técnico que detecte frustración creciente en el tono, antes de que el usuario la diga en palabras, podría escalar el caso antes.

Para personas con dificultades de habla, un modelo que entienda pausas largas o repeticiones como parte natural de la conversación, en lugar de cortar la escucha tras unos segundos de silencio, podría hacer que un asistente de voz sea usable por primera vez para ese grupo. Block no confirmó que esté probando este caso en particular, pero la arquitectura full-duplex lo habilita por diseño.

También hay un ángulo de investigación pura. Block plantea preguntas abiertas sobre este tipo de arquitectura: qué tan eficiente es aprendiendo idiomas nuevos comparado con un modelo de texto, qué tipo de aprendizaje en contexto puede hacer un modelo que nunca vio una palabra escrita, y qué comportamientos emergen que nadie programó explícitamente, como la risa a mitad de frase o el ajuste de volumen.

Limitaciones de un sistema de voz a voz

Entrenar sin texto tiene un costo. Un modelo de lenguaje aprende de billones de palabras escritas, un volumen que ningún corpus de audio etiquetado alcanza ni de cerca. Block admite que Dessa aprendió el lenguaje con cientos de veces menos palabras que un LLM de texto, lo que limita cuánto conocimiento factual puede retener frente a un modelo entrenado en todo el texto de internet.

⚠️ Ojo: Block no publicó benchmarks comparables a los que se usan para medir modelos de lenguaje de texto, así que no hay una cifra objetiva de qué tan preciso es Dessa frente a un asistente tradicional en tareas factuales.

El acceso también es limitado por ahora: no hay API pública ni fecha de lanzamiento comercial, solo una lista de espera y una convocatoria dirigida a investigadores de seguridad. Para alguien que quiera probarlo hoy, la única vía es anotarse y esperar turno.

Profundizando: la arquitectura de la habla y escucha simultáneas

Para que dos flujos de audio (el que entra y el que sale) convivan en la misma red sin que el modelo se confunda sobre cuál es cuál, el sistema necesita un mecanismo de atención que distinga constantemente qué parte del sonido dijo la otra persona y cuál está generando él mismo, cuadro a cuadro de audio. Es parecido a lo que hace un músico de jazz al improvisar mientras escucha a la banda: no espera a que termine el solo ajeno para empezar a pensar su respuesta, la construye en paralelo y la ajusta sobre la marcha.

Ese backchanneling (los «ajá», «ya veo», risas breves que no interrumpen pero muestran que alguien sigue la conversación) es otro de los comportamientos que Block destaca como aprendido, no programado. Un modelo de texto no tiene de dónde sacar esa señal: no existe en una transcripción, porque un «mmh» suele ni siquiera quedar escrito. Solo aparece si el modelo escuchó miles de horas de conversación real y hubo una señal de audio asociada a ese momento.

Una palabra hablada ocupa miles de veces más bytes que la misma palabra escrita, y ni siquiera suena igual dos veces: decir la misma frase dos veces produce dos señales de audio distintas, mientras un texto escrito es idéntico carácter por carácter sin importar quién lo tipee. Esa diferencia explica por qué entrenar desde cero solo con sonido es una apuesta mucho más cara en datos por cada concepto aprendido, aun cuando el resultado capture matices que el texto nunca pudo transmitir.

flowchart TD
    A["Microfono: audio de entrada"] --> B["Red full-duplex"]
    B --> C["Audio de salida en tiempo real"]
    B --> D["Estado interno de la conversacion"]
    D --> B
    subgraph "Procesamiento continuo"
    B
    D
    end

Tu próximo paso: anotate en la lista de espera de Dessa y escuchá las demos publicadas por Block prestando atención a los cortes y risas a mitad de frase, el detalle que más claramente distingue a un modelo full-duplex de un asistente por turnos.

📖 Resumen en Telegram: Ver resumen

Preguntas frecuentes

¿Qué diferencia a la voz full-duplex de un asistente de voz normal?

Un asistente normal transcribe tu audio a texto, piensa la respuesta en texto y recién después sintetiza el audio de salida, por turnos. Un sistema full-duplex escucha y genera audio en paralelo, sin ese paso intermedio por texto, lo que le permite reaccionar en el instante en que detecta una interrupción.

¿Dessa es un producto que se puede usar hoy?

No. Block solo abrió una lista de espera para acceso temprano y una convocatoria para investigadores de seguridad de IA. No hay API pública ni fecha de lanzamiento comercial confirmada.

¿En qué hardware corre el modelo conversacional de Dessa?

Según Block, corre más rápido que tiempo real y funciona localmente en una MacBook Pro M4 Max o superior, sin depender de un centro de datos para responder durante la conversación.

¿Con qué datos se entrenó Dessa si no usó texto?

Se entrenó exclusivamente con grabaciones de conversaciones humanas reales: solo sonido, sin transcripciones ni modelos de lenguaje preentrenados como punto de partida, usando una sola unidad NVIDIA GB200 NVL72.

¿Un modelo de voz a voz como Dessa entiende las emociones?

Detecta y reproduce señales como risas, pausas, sarcasmo o cambios de volumen porque las aprendió directamente del audio de entrenamiento. Block no publicó una métrica estándar de precisión emocional, así que esa capacidad se describe en las demos, no en un benchmark verificable de forma independiente.

¿Qué empresa está detrás de Dessa?

Block, la compañía cofundada por Jack Dorsey. El equipo que construyó el modelo viene de la startup de deep learning Dessa, de Toronto, y reporta directamente a Dorsey dentro de Block.

Referencias

• Block: anuncio oficial de Dessa, con demos en audio y detalles del entrenamiento.
• Wikipedia: explicación técnica de los sistemas full-duplex y half-duplex en telecomunicaciones.
• NVIDIA: especificaciones del GB200 NVL72, el hardware usado para entrenar Dessa.
• Block: sitio corporativo de la empresa, cofundada por Jack Dorsey.

📱 ¿Te gusta este contenido? Únete a nuestro canal de Telegram @programacion donde publicamos a diario lo más relevante de tecnología, IA y desarrollo. Resúmenes rápidos, contenido fresco todos los días.

Imagen destacada: Foto de Matt Botsford en Unsplash