Van code naar productie

Waar deze gids over gaat ​

Code schrijven werd goedkoop. Reviewen, testen, uitrollen, draaiend houden en om drie uur 's nachts uitleggen wat er misging kosten nog steeds precies wat ze vorig jaar kostten, terwijl er inmiddels veel meer van binnenkomt. Deze cluster gaat over die tweede helft.

Het is ook de helft waar ik zelf het hardst tegenaan loop. Ik beheer mijn eigen servers en doe mijn eigen deploys, dus een snellere agent merk ik vooral aan meer review, meer deploys en meer dingen die overeind moeten blijven.

De bottleneck schoof door ​

Je 10x-developer zit vast in een 0,1x-pipeline is het stuk waar deze gids omheen gebouwd is. Code werd goedkoop, de pipeline die code in waarde omzet groeide nooit mee, en dus schoof de bottleneck door naar review, deploy en besluitvorming. Wie er een tweede agent bij zet, verschuift dat probleem alleen naar de wachtrij ervoor.

Daarom staat deze cluster naast de andere vier. De rest van de blog gaat over code maken en beoordelen. Dit gaat over alles wat daarna nog moet gebeuren voordat iemand er iets aan heeft.

Als het antwoord meer controle is ​

Review is het eerste dat bezweek onder het nieuwe volume, en de schade is gemeten. De bottleneck in je code review loopt de telemetrie van Faros AI bij 22.000 developers na, zet een cijfer recht dat op deze site zelf verkeerd stond, en komt uit bij de bevinding die onder de kop verdween: reviewers zijn de code gaan afmaken in plaats van controleren.

De verleidelijke oplossing voor die druk is om er nog een geautomatiseerde controle bij te zetten. De bureaucratie van bots laat zien waar dat op uitdraait: een bot die een bot beoordeelt, met aan geen van beide kanten iemand die het uitlegt zodra het misgaat. Controle die niemand kan verantwoorden is geen review, het is een stempel.

Wat je in zo'n review dan wél zoekt, staat in de checklist voor AI-pull requests. De regel eronder blijft nooit code shippen die je niet snapt, en die weegt zwaarder naarmate er meer binnenkomt.

Wat productie je achteraf vertelt ​

Een deel van die wachtrij wordt leeggewerkt zonder dat er een mens naar kijkt, wat het beleid ook zegt. Observability opzetten voor AI-code gaat over het instrument dat begint waar de review ophoudt: hoe het kan dat 94% van de leidinggevenden AI-code bij review hoger inschat terwijl 82% van diezelfde groep er een productiestoring aan overhield, en wat er per verzoek op één brede logregel moet staan om dat gat te dichten. Het uitgewerkte voorbeeld is het chatendpoint van deze site, waar bij de audit bleek dat een mislukte zoekactie in de kennisbank onder dezelfde abuse-vlag belandt als een afgewezen injectiepoging, zonder één gestructureerd veld om ze te scheiden.

Daarna moet er iemand voor uit bed. Oncall voor AI-code gaat over wat er moet staan voordat dat gebeurt: eigenaarschap vastgelegd in een bestand, een rollback waar de database geen veto over heeft, een draaiboek waar het alarm naar verwijst, en herkomst die je echt kunt bevragen. Het stuk begint bij de aanvaring tussen Amazon en de Financial Times in maart over de vraag of AI de code achter een reeks storingen had geschreven, iets wat geen van beide partijen publiek kon beslechten, en werkt van daaruit uit waarom een Co-Authored-By-regel die vraag evenmin beantwoordt. Git-attributie als een agent meewerkt legt die bevinding naast 1.644 van mijn eigen commits: die regel staat er in geen enkele, en het auteursveld blijkt te worden ingevuld door wie er op merge drukt in plaats van door iets op je eigen machine.

Waar het draait ​

Uitrollen is maar de helft. Daarna moet het blijven draaien, op een plek die je begrijpt. Neem de regie over je data terug gaat over waar je stack werkelijk staat en wat dat betekent zodra de regels of de leverancier veranderen. Meer grip op je server is daar de praktische kant van, met Fail2Ban, ModSecurity en AIDE op een machine die ik zelf beheer.

Allebei horen ze ook thuis in de gids over MCP en security. Waar iets draait en wie erbij kan, zijn uiteindelijk dezelfde vraag.

Wat hier nog moet komen ​

Dit is de jongste van de vijf gidsen en dat is te zien. Wat er ontbreekt, weet ik wel: wat een pipeline kost als een agent tien keer per dag pusht, hoe je uitrolt wat niemand gelezen heeft, en waarom een migratie het enige bestand is waarvoor rollback een belofte is die de database nooit gedaan heeft.

Hieronder eerst drie startpunten, daarna alle stukken uit deze cluster, nieuwste eerst.