Opus 5 is er, en je effort-instellingen kloppen niet meer

Claude Opus 5 is deze week uitgekomen en de cijfers zien er goed uit.

Ruim twee keer de score van Opus 4.8 op Frontier-Bench v0.1. Op CursorBench 3.2 blijft hij binnen een halve procentpunt van Fable 5, tegen ongeveer de helft van de kosten per taak. Op ARC-AGI-3 scoort hij drie keer zo hoog als de nummer twee, terwijl 4.8 daar amper iets neerzet. Op OSWorld 2.0 gaat hij over de topscore van Fable 5 heen, met ongeveer een derde van het budget.

De prijs per token is dezelfde als bij 4.8: vijf dollar in, vijfentwintig uit, per miljoen.

Sterke release. Ik werk er inmiddels een dag mee en ik ga niet doen alsof dat tegenvalt.

De zin die je een middag gaat kosten, staat niet in de aankondiging. Die staat verstopt in de documentatie over effort, in de sectie voor dit model:

Als je effort-instellingen hebt overgenomen van een eerder model, meet ze dan opnieuw op je evals in plaats van ze te hergebruiken.

Lees dat nog eens met je eigen repo in gedachten. Elke effort-waarde die je voor Opus 4.8 hebt afgesteld, in je Claude Code-config, in je subagent-definities, in de output_config van die ene service die je vorig kwartaal live zette, is nu advies van een vorig model.

Hij wordt nog netjes ingelezen. Er komt geen enkele foutmelding. Alleen betekent hij niet meer wat hij betekende toen je hem instelde.

De winst is echt ​

Dit is meer dan het gebruikelijke halve procentpuntje per release. Een codebenchmark verdubbelen tussen twee releases die acht weken uit elkaar liggen is fors, en ARC-AGI-3 is het soort eval dat een model óf snapt, óf zichtbaar niet snapt.

Wat ik belangrijker vind: de onderkant van de schaal is beter geworden. Anthropic schrijft zelf dat low en medium op Opus 5 sterker zijn dan op eerdere Opus-modellen, en raadt aan ze ruim in te zetten als je belangrijkste knop voor kosten en snelheid. Voor iedereen die agents in een lus laat draaien, telt een sterkere ondergrens zwaarder dan een hoger plafond. De meeste tokens in een agent-sessie gaan niet op aan het moeilijke stuk.

En precies daar zit de valkuil.

"De helft van de kosten" gaat over gedrag, niet over je factuur ​

Aan de tarieven is niets veranderd. Opus 5 kost per token hetzelfde als Opus 4.8. Elke zin over "de helft van de kosten per taak" is rekenwerk over verbruikte tokens: het model bereikt hetzelfde resultaat met minder tokens en minder beurten, dus valt de taak goedkoper uit.

Die besparing is echt, en tegelijk voorwaardelijk. Kosten per taak hangen af van je prompts, je tool-loop, hoe vaak je opnieuw probeert, hoeveel context je meesleept, en het effort-niveau waarop je draait. Anthropic heeft die cijfers gehaald met instellingen die voor dít model zijn doorgemeten. Jij draait met instellingen die je voor het vorige hebt doorgemeten.

Zelfde model, zelfde prijs, twee verschillende facturen. Dit is dezelfde rekensom over goedkoop en gratis, een laag dieper.

Vijf labels die bleven staan terwijl eronder alles verschoof ​

In naam zijn de effort-niveaus stabiel gebleven. low, medium, high, xhigh, max, dezelfde vijf woorden, hetzelfde API-veld, dezelfde YAML-sleutel. Wat er achter elk woord zit, verschilt per model en verschuift bij elke release.

Voor Opus 4.7 en 4.8 was het advies: begin bij xhigh voor code en agentwerk, houd high aan als ondergrens voor alles waar intelligentie telt, en zak pas naar medium als je evals aantonen dat de kwaliteit overeind blijft. max was voor echt zware problemen, met de waarschuwing dat het op de meeste workloads vooral kosten oplevert en weinig kwaliteit.

Voor Opus 5 blijft xhigh het aanbevolen startpunt voor code. De ondergrens is verschoven: medium en low gingen van "bewijs eerst dat het houdbaar is" naar "pak deze als eerste". Een team dat in mei netjes alles op xhigh heeft vastgezet, precies zoals toen werd geadviseerd, betaalt nu te veel voor werk dat dit model twee treden lager afhandelt.

Twee kleinere wijzigingen staan op dezelfde pagina en ze raken allebei config die tot nu toe gewoon werkte:

• Effort maakt je antwoorden niet meer korter. Op Opus 5 levert een lager effort-niveau niet consequent een korter antwoord op, dus stuur je op lengte via je prompt. Draaide je low mede om antwoorden bondig te houden, dan is die knop weg.
• Thinking laat zich niet uitzetten op xhigh of max. Een verzoek dat een van beide combineert met thinking: {"type": "disabled"} levert een 400 op. Dat is de enige verouderde instelling die hard stukloopt, en daarmee meteen de minst gevaarlijke van de drie.

Het gaat stil mis, en juist daarom blijft het liggen ​

Effort is gedocumenteerd als een gedragssignaal, geen hard tokenbudget. Er is geen validatie die weet voor welk model je een waarde hebt afgesteld, geen waarschuwing, geen deprecation-melding. Niets in je stack heeft door dat jouw medium in mei is gekalibreerd.

Dus je upgradet, en het werkt. Je krijgt een antwoord, het antwoord ziet er prima uit, de tests slagen.

Ergens daarin draai je op een niveau dat je nooit gekozen zou hebben als je het had gemeten. Je betaalt voor diepgang die dit model niet meer nodig heeft, of je zit juist onder de grens waar de winst begint. Aan de output zie je het niet.

Dit is hetzelfde patroon als een verouderd geheugenbestand: iets wat ooit klopte, nog steeds geladen wordt, er nog steeds gezaghebbend uitziet, en ondertussen gewoon niet meer klopt. Config veroudert net zo hard als documentatie, en om precies dezelfde reden. Het beschrijft een wereld waar een update overheen is gegaan.

Wat je deze week echt moet doen ​

Niets hiervan kost veel tijd. Dat het toch blijft liggen, komt doordat de dag van een upgrade voelt als de dag dat je iets cadeau krijgt.

• Grep je repo op effort-waarden. Claude Code-instellingen, subagent-frontmatter, skill-definities, servicecode, CI-jobs. De meeste teams hebben er meer dan ze denken, verspreid over plekken die nooit bedoeld waren om zo'n keuze vast te leggen.
• Zorg voor één eval die je kunt herhalen. Tien tot twintig taken uit je eigen repo, met een pass/fail waar je op vertrouwt. Gewoon een vaste set die je elke dag op elk model kunt loslaten.
• Meet eerst een niveau lager. Nu de ondergrens is opgeschoven, is de goedkoopste nuttige ontdekking dat je xhigh betaalt voor medium-werk.
• Kies effort per workload en laat hem daarna staan. De waarde halverwege een gesprek aanpassen maakt je cache ongeldig, dus varieer tussen workloads en niet binnen een sessie die op cache-hits steunt.
• Doe het op de dag van de upgrade. Het alternatief is dat je het doet tijdens een incident of tijdens een gesprek over de rekening, en dan voelt het niet meer als een vrije middag.

Anthropic zei bij Opus 4.8 hetzelfde als nu, namelijk dat je die cijfers alleen haalt als jouw setup meekomt. Dat gold toen al, en daarom schreef ik destijds over het deel van de 4.8-release dat geen benchmark was.

De upgrade is echt gratis. Iedereen krijgt het betere model tegen de oude prijs op de dag dat het uitkomt, en dat is, hoe je het ook bekijkt, een prima deal.

Het opnieuw afstellen is wat het je werkelijk kost. Dat wordt afgerekend in een middag in plaats van in dollars, en precies daarom slaat vrijwel iedereen het over. Sla het vaak genoeg over en je draait de instellingen van vorig kwartaal op het model van dit kwartaal, zie je de winst kleiner uitvallen dan beloofd, en concludeer je dat de benchmarks marketing waren.

Die benchmarks zijn gemeten. De jouwe niet.