Proof · Video · 1 min
Voice latency, getting crazy good
Mid-tier reasoning
Hint: click a speed below to accelerate the video
A plain conversation with the voice agent: the weather, whether it likes bananas, where to go for a walk in Lisbon today. The answers come back fast enough to feel like talking to someone, not like waiting in a queue.
The easy explanation would be a faster model. It isn’t one. The agent still runs on mid-tier reasoning, the same tier as before.
What changed is its awareness: what the agent already knows when you start speaking, what it pays attention to and what it ignores. It no longer works out who it is, where it is and what it can do from scratch on every turn, so there is less to think about before it answers.
That’s the lesson I keep learning: speed is mostly about how much an agent has to think, not how fast it thinks. A modest model that knows where it stands beats a bigger one starting from zero. And it keeps getting better.
Get the free cheat sheet
Send it to my inboxProva · Vídeo · 1 min
Latência de voz, cada vez mais impressionante
Raciocínio de gama média
Dica: clique numa velocidade abaixo para acelerar o vídeo
Uma conversa simples com o agente de voz: o tempo, se gosta de bananas, onde ir passear hoje em Lisboa. As respostas chegam depressa o suficiente para parecer uma conversa com alguém, e não uma fila de espera.
A explicação fácil seria um modelo mais rápido. Não é. O agente continua a correr com raciocínio de gama média, a mesma gama de antes.
O que mudou foi a sua consciência: o que o agente já sabe quando começa a falar, aquilo a que presta atenção e aquilo que ignora. Já não tem de descobrir do zero, a cada vez, quem é, onde está e o que pode fazer, por isso tem menos em que pensar antes de responder.
É a lição que continuo a aprender: a velocidade depende sobretudo de quanto o agente tem de pensar, não de quão depressa pensa. Um modelo modesto que sabe onde está ganha a um maior que começa do zero. E continua a melhorar.