~ O Blog de 1999 ~

Um modelo que não escreve nada

A TypeSafe AI abriu o acesso antecipado ao Jev a 15 de setembro, e a primeira coisa a perceber é o que vem de volta. Não uma frase. Não JSON para tu tratares e validares. Uma decisão tipada, com a forma que declaraste antes da chamada, e uma probabilidade associada a cada opção.

Entregas-lhe um bloco de estado, que pode ser uma frase simples como "o meu cartão foi cobrado duas vezes" ou um retrato estruturado da condição atual de uma aplicação. Fazes perguntas tipadas sobre esse estado. Ele responde a todas numa só passagem.

A API é pequena o suficiente para ser descrita por inteiro

Há três primitivas de pergunta. Choice escolhe entre alternativas que declaras e devolve uma probabilidade por opção. Score avalia segundo níveis ordenados e devolve um valor contínuo. Noul avalia uma proposição binária e devolve a probabilidade de ser verdadeira.

A restrição está a fazer trabalho a sério. Também é a limitação inteira. Se a tua pergunta não encaixa numa destas três formas, o Jev não tem nada a dizer. Não há recurso a prosa, não podes pedir-lhe que explique o raciocínio, nem que escreva o script de migração em vez disso. Um pedido de suporte pode declarar um Choice entre faturação, técnico, vendas e spam, mais um Score de frustração, e receber os dois de uma vez.

Porque é que a interface importa mais do que os números

Os números são o título e são impressionantes. Tempos de resposta entre 70 e 500 milissegundos, contra os três a trezentos e trinta segundos que os modelos de fronteira levam. Entrada a $0,042 por milhão de tokens, com a saída não medida porque quase não há saída para medir. Nas avaliações de fluxo de trabalho da própria TypeSafe, o Jev fica em 67,8% de concordância com as respostas de referência a cerca de $0,0004 por caso, praticamente ao nível do GPT-5.6 Terra a cerca de 76 vezes o custo e 25 vezes a latência.

A velocidade é uma consequência do desenho, não o objetivo dele. O Jev não produz tokens em sequência, por isso não é autorregressivo: não gera um token e condiciona o seguinte nele. Todas as respostas são calculadas numa única passagem, e é daí que vem tanto a latência como a capacidade de responder a várias perguntas em paralelo.

O efeito prático é que uma decisão pode agora viver dentro de um ciclo. A demonstração da TypeSafe tem o Jev a jogar Doom, lendo uma descrição textual do estado do jogo cerca de dez vezes por segundo. O jogo é um truque e um bot com script ganhava-lhe, mas mostra um modelo geral a correr num sítio onde uma chamada de três segundos é impossível.

Onde começam os senões

A afirmação que viaja mais depressa é que o Jev não pode alucinar. Lê isso com precisão. O Jev não pode devolver um valor fora do esquema, nem pode fazer um erro de tipo, porque as saídas válidas foram fixadas antes da chamada. Essa parte é estrutural e um único contraexemplo falsificava-a.

Não é o mesmo que estar certo. O Jev pode continuar a escolher a opção errada da tua lista. Chamar vermelho ao céu é um erro e não uma alucinação, e a distinção importa mais ao marketing do que à produção, onde uma decisão errada é simplesmente errada. Várias pessoas disseram-no nas horas seguintes ao lançamento.

Os testes carregam um segundo senão. Todos os números acima são comunicados pela empresa. As respostas de referência na avaliação vêm da média de dois outros modelos e não de verdade operacional, foi a TypeSafe que desenhou os fluxos de trabalho, e a própria empresa afirma que as maiores vantagens de velocidade e custo estão provavelmente no limite superior do que se veria na prática. Ainda ninguém reproduziu os números de forma independente.

A objeção que vale a pena conhecer

A crítica técnica mais afiada é que isto talvez não exija uma arquitetura nova. Um modelo vulgar já consegue responder com um único token condicionado: preenche a resposta até ao ponto onde entra a escolha, restringe o amostrador às opções que declaraste e gera uma vez. Várias perguntas agrupam-se na mesma passagem. A maior parte da velocidade do Jev chega por aí, o que torna a vantagem mais fina do que o anúncio sugere.

Onde esse argumento é mais fraco é no treino. Um modelo otimizado apenas para decisões estruturadas deve ser melhor nelas do que um modelo geral com um prompt embrulhado à volta, e a TypeSafe restringe os modelos concorrentes através de um adaptador precisamente para manter a comparação honesta.

Para que o usaria eu

Não para conversa, não para gerar código, não para nada em que uma pessoa leia a saída. O encaixe é onde as respostas possíveis são conhecidas de antemão e a mesma decisão é tomada vezes sem conta em volume. Classifica esta linha. Pontua esta avaliação. Decide se este trace é anómalo. Encaminha este ticket.

A parte que interessa a quem escreve código de aplicação é onde fica o julgamento. Em vez de pedir a um modelo que trate de um cliente, declaras o que tem de ser compreendido e é o teu código que decide o que acontece a seguir. Limiares, encaminhamento e consequências ficam no programa, onde os podes ler e testar. É uma divisão de trabalho melhor do que tratar prosa e esperar que continue a ser tratável.

O acesso antecipado está aberto, com lista de espera. Vale a pena experimentar numa decisão estreita que hoje fazes com um if frágil.