Benchmark · 1 min read

Benchmark on the main objective: full company automation

According to LLM feedback, the best models in the market can do work that automates approximately 40% of the average company — the best of the best systems. We estimate having reached a potential of 20%, and we are working toward that 40% top-lead standard. We will keep you posted here.

We measure ourselves the same way we build: with batteries of machine-checked tests, run against the live system, keeping only changes that move the number. This is where the board stands:

FeatureWhat it measuresFromLatestIndustryMax standardMarket standard
Evals Security, isolation and integrity — strict pass/fail suites. 70%
Sep 4, 2026
99.9% cleared
measured Sep 6, 2026
rarely published 100% must fully clear to count
Harness quality 30 machine-graded probes: correctness, formatting, languages, live data, memory. 70% est.
Sep 5, 2026
86.7% measured
measured Sep 5, 2026
≈85% typical assistants ≈95% frontier assistants
Company automation (entire processes) End-to-end: a request becomes a working, verified deliverable. 0%
Sep 5, 2026
20% est.
measured Sep 5, 2026
≈10% typical deployments 40% full automation what the market demands to rank among the best systems

The pattern behind every row is the same: a number starts improving the day it starts being measured. Company automation got its first honest machine measurement this week — which is why it is the youngest number on the board and the one with the most room in front of it.

We are moving towards concrete use-case demonstrations of full-process company automations — for example: fully automating communication, acquiring and negotiating potential leads, and updating CRMs while solving tickets to resolution.

Honesty disclaimer. These percentages are internally estimated with the help of an LLM and machine-graded test batteries we wrote ourselves; they are our compass, not an industry-certified score. The only figure on this board that is a fully trustworthy benchmark is the standard evaluation battery, which is a strict pass/fail suite: it either clears at 100% accuracy of its checks or it does not. Everything else is honest, measured, and ours — read it as direction and velocity, not as gospel.

Sources

Technical potential is the ceiling; delivered, verified automation — what our board measures — is always lower.

Reserve seats for your organisation

Join the waitlist

Benchmark · 1 min de leitura

Benchmark do objetivo principal: automação total da empresa

De acordo com o feedback de LLMs, os melhores modelos do mercado conseguem fazer trabalho que automatiza aproximadamente 40% da empresa média — o melhor dos melhores sistemas. Estimamos ter atingido um potencial de 20%, e estamos a trabalhar rumo a esse padrão de topo de 40%. Vamos mantendo-o informado aqui.

Medimo-nos da mesma forma que construímos: com baterias de testes verificados por máquina, corridos contra o sistema em produção, mantendo apenas as alterações que fazem o número subir. Eis como está o quadro:

FuncionalidadeO que medeDeMais recenteIndústriaPadrão máximoPadrão de mercado
Evals Segurança, isolamento e integridade — suites estritas de passa/falha. 70%
4 set 2026
99,9% superado
medido a 6 set 2026
raramente publicado 100% tem de superar por completo para contar
Qualidade do harness 30 sondas avaliadas por máquina: correção, formatação, idiomas, dados em tempo real, memória. 70% est.
5 set 2026
86,7% medido
medido a 5 set 2026
≈85% assistentes típicos ≈95% assistentes de fronteira
Automação da empresa (processos inteiros) De ponta a ponta: um pedido torna-se um entregável funcional e verificado. 0%
5 set 2026
20% est.
medido a 5 set 2026
≈10% implementações típicas 40% automação total o que o mercado exige para figurar entre os melhores sistemas

O padrão por trás de cada linha é o mesmo: um número começa a melhorar no dia em que começa a ser medido. A automação da empresa teve esta semana a sua primeira medição honesta por máquina — e é por isso que é o número mais jovem do quadro e aquele com mais margem pela frente.

Estamos a avançar para demonstrações concretas de casos de uso de automações de processos completos da empresa — por exemplo: automatizar totalmente a comunicação, adquirir e negociar potenciais leads, e atualizar CRMs enquanto se resolvem tickets até à resolução.

Aviso de honestidade. Estas percentagens são estimadas internamente com a ajuda de um LLM e de baterias de testes avaliadas por máquina que nós próprios escrevemos; são a nossa bússola, não uma pontuação certificada pela indústria. O único valor deste quadro que é um benchmark totalmente fiável é a bateria de avaliação padrão, que é uma suite estrita de passa/falha: ou supera as suas verificações com 100% de precisão ou não supera. Tudo o resto é honesto, medido e nosso — leia-o como direção e velocidade, não como verdade absoluta.

Fontes

O potencial técnico é o teto; a automação entregue e verificada — o que o nosso quadro mede — é sempre inferior.

Reserve lugares para a sua organização

Entrar na lista de espera