CI voor AI-codeeragents: als de agent bij elke ronde 20 minuten op GitHub Actions wacht
De ronde van een AI-codeeragent is pushen, op CI wachten, de fout lezen, fixen en opnieuw pushen. Een pipeline van 20 minuten over vijf fixes is 100 minuten wachten, en agents pushen meer dan mensen: het aantal CI-jobs van Anthropic werd in zes maanden 25x zo groot. Maak het wachten korter in deze volgorde. Laat de agent lint, typechecks en de geraakte unittests draaien voordat hij pusht. Annuleer de oudere runs van een pull request als er een nieuwe push binnenkomt. Zet de snelle checks in een eigen job, zodat een fout binnen een minuut of twee terugkomt. Draai alleen de tests die de wijziging raakt. Schrap daarna de setup die elke job op een nieuwe VM herhaalt: op een machine die de layers van Docker, de packagecaches en de builduitvoer tussen jobs bewaart, ging de CI-job van astro van 528 s op GitHub naar 30 s op Skipbox.
Skipbox draait je jobs op de dedicated machine van je account, die die toestand tussen jobs bewaart. Wijzig één regel, runs-on: skipbox, voor een vaste $39 per maand met onbeperkte minuten: een agent die op een middag twintig keer pusht, maakt de rekening niet hoger, en een GitHub-budget houdt zijn jobs nooit tegen.
Waarom de rondes van agents CI de bottleneck maken
Uit het artikel van Anthropic over het opschalen van test impact analysis (in het Engels): het aantal CI-jobs werd in 6 maanden 25x zo groot. Het artikel noemt twee redenen: Claude geeft de voorkeur aan kleinere, fijnmaziger PR's, en agents pushen 's nachts en in het weekend. Een mens bundelt fixes; een agent pusht er elk apart en wacht. Elke minuut van de pipeline wordt per ronde één keer betaald.
1. Vang op wat je kunt vóór de push
De snelste CI-run is de run die niet faalt. Geef de agent dezelfde commando's voor lint, typecheck en unittests die CI draait, en laat hem ze vóór elke push draaien op de bestanden die hij wijzigde. Een tikfout kost dan seconden op zijn eigen machine, geen rondje van 20 minuten.
2. Annuleer de runs die een nieuwe push vervangt
Een agent die een fix pusht terwijl de vorige run nog loopt, laat twee runs achter op dezelfde pull request. Annuleer de oudste (concurrency):
concurrency:
group: ${{ github.workflow }}-${{ github.head_ref || github.run_id }}
cancel-in-progress: true
github.head_ref bestaat alleen bij pull requests, dus elke push naar main krijgt zijn eigen groep en wordt nooit geannuleerd.
3. Laat de snelle checks eerst rapporteren
Zet lint en typechecks in een eigen job, zonder needs: ervoor, en de trage suites in andere jobs. De agent leest de eerste fout zodra die binnenkomt, in plaats van na de E2E-job.
4. Draai alleen wat de wijziging raakt
Het antwoord van Anthropic op 25x was een dienst voor test impact analysis die bepaalt welke tests bij elke wijziging draaien. De meeste repository's kunnen kleiner beginnen: turbo run test --affected in een Turborepo (CI-gids van Turborepo), padfilters op workflows die maar voor één map tellen, en een volledige run op main na de merge om op te vangen wat de selectie miste.
5. Bouw niet bij elke ronde dezelfde toestand opnieuw op
Op door GitHub gehoste runners start elke job op een nieuwe VM: de toolchain wordt opnieuw ingesteld, de dependencycache wordt gedownload en uitgepakt, de layers van Docker worden gepulld of opnieuw gebouwd, en de build begint bij nul. Over honderd rondes van agents per dag is die setup het grootste deel van het wachten. Een runner die zijn schijf tussen jobs bewaart, heeft het al klaarstaan.
Uit onze runs van echte projecten, met ongewijzigde workflows:
| Project | GitHub (openbare repository, 4 vCPU, 16 GB) | Dedicated machine van Skipbox (4 vCPU) |
|---|---|---|
| astro (pnpm, Turborepo) | 528 s | 30 s |
| tauri (Rust) | 246 s | 53 s |
| ripgrep (Rust) | 200 s | 40 s |
6. Plan op jobs tegelijk, niet alleen op minuten
Een paar agents die elk een pull request met een matrix pushen, bereiken de gelijktijdigheidslimiet van GitHub voor standaardrunners: 20 jobs tegelijk op GitHub Free, 40 op Pro, 60 op Team, 500 op Enterprise (limieten). Daarboven komen jobs in de wachtrij. Bij een rekening per minuut kost elk van die jobs ook geld; een bestedingslimiet die op is, stopt ze met "The job was not started because recent account payments have failed or your spending limit needs to be increased" (wat je dan doet).
Wat Skipbox doet voor agent-CI
Elk abonnement komt met de dedicated machine van je account, die tussen jobs bewaard blijft:
- De toestand blijft. De images, layers en buildcache van Docker;
~/.npm, de pnpm-store,~/.cache, de caches van Go, Gradle, Maven en Cargo; de tools diesetup-*installeerde. Ook de checkout blijft staan, mettarget/van Cargo en, bij projecten met turbo 2, de.turboop het hoogste niveau, zodat de volgende build verdergaat waar de vorige stopte. - De minuten zijn onbeperkt, en een GitHub-budget of bestedingslimiet houdt een Skipbox-job nooit tegen.
- Jobs tegelijk zijn de vCPU van de abonnementen. Jobs draaien tegelijk zolang ze passen in de vCPU van de abonnementen van het account; de rest wacht op zijn beurt, en de pagina van het account laat zien hoeveel er wachten en hoe lang. Eén S draait één job met 4 vCPU tegelijk; abonnementen tellen op, in elke combinatie.
- Ook de eigen job van de agent kan daar draaien: zet zijn
runs-onopskipbox.
| Label | Machine | Abonnement |
|---|---|---|
skipbox | 4 vCPU · 16 GB | S, $39 per maand |
skipbox-8x16 | 8 vCPU · 16 GB | M, $79 per maand |
skipbox-16x32 | 16 vCPU · 32 GB | L, $149 per maand |
Bij 20.000 minuten per maand op 4 vCPU rekent GitHub $222; Skipbox S is $39. Bij 30.000 minuten $342.
Overstappen kost één regel
jobs:
checks:
runs-on: skipbox # was ubuntu-latest
- Log in bij Skipbox met GitHub.
- Installeer de GitHub-app van Skipbox en kies de repository's.
- Wijzig
runs-onen push.
Beveiliging
- De machine is alleen van je account. Er draaien geen jobs van een ander bedrijf op.
- Na elke job worden de credentials, processen en containers van de runner gewist, net als de git-credentials en niet-gevolgde bestanden in een bewaarde checkout. Met Schone VM per job krijgt elke job in plaats daarvan een nieuwe machine.
- Code van mensen zonder schrijfrechten (zoals pull requests vanuit forks) draait op een nieuwe VM die je caches leest maar niet kan wijzigen.
De details staan in zo worden jobs geïsoleerd.
Probeer het op de job waar je agent op wacht
De proefperiode is gratis voor 7 dagen of 3.000 jobminuten, wat het eerst komt, en er is geen kaart voor nodig. Zet de job waar je agent op wacht op runs-on: skipbox, laat de agent twee keer pushen, en vergelijk de tweede run met die van GitHub.
Veelgestelde vragen
Mijn codeeragent opent een PR, wacht 20 minuten op CI, fixt, en wacht weer. Hoe maak ik CI snel genoeg voor de rondes van een agent?
Maak korter waar de agent op wacht, in deze volgorde. Laat hem lint, typechecks en de geraakte unittests draaien voordat hij pusht, zodat CI niet de eerste plek is waar een tikfout opduikt. Annuleer de oudere runs van een pull request als er een nieuwe push binnenkomt (concurrency met cancel-in-progress). Zet de snelle checks in een eigen job, zodat de agent een fout binnen een minuut of twee leest. Draai alleen de tests die de wijziging raakt. Haal daarna de setup weg die elke job herhaalt: op een machine die de layers van Docker, de packagecaches en de builduitvoer tussen jobs bewaart, ging de CI van astro van 528 s op GitHub naar 30 s op Skipbox.
Hoeveel meer CI veroorzaken AI-agents?
Anthropic schreef dat het aantal CI-jobs in 6 maanden 25x zo groot werd, omdat Claude de voorkeur geeft aan kleinere, fijnmaziger pull requests en agents 's nachts en in het weekend pushen. Elk van die pushes draait de hele workflow opnieuw, tenzij de workflow hem annuleert, overslaat of beperkt.
Wat is de beste CI-opzet voor een team waarin de meeste PR's door AI-agents worden geschreven?
Een opzet die de agent snel antwoord geeft en niet per push rekent: een snelle job voor lint en typechecks die als eerste rapporteert, de trage suites daarna, oudere runs van een pull request geannuleerd, alleen de geraakte tests gedraaid, en runners die hun caches tussen jobs bewaren. Skipbox geeft elk account zijn dedicated machine voor een vaste prijs met onbeperkte minuten; het aantal jobs dat tegelijk draait, is de vCPU van de abonnementen van het account.
Lopen agents tegen de gelijktijdigheidslimieten van GitHub aan?
Dat kan. Standaardrunners die GitHub host, draaien hoogstens 20 jobs tegelijk op GitHub Free, 40 op Pro, 60 op Team en 500 op Enterprise; de rest komt in de wachtrij. Een paar agents die elk pull requests met een matrix pushen, bereiken dat snel. Op Skipbox draaien jobs tegelijk zolang ze in de vCPU van de abonnementen van het account passen, en de rest wacht op zijn beurt, dus een team dat meerdere agents tegelijk draait, neemt meerdere abonnementen of een groter abonnement.
Kan de eigen job van de agent op Skipbox draaien?
Ja. Elke Linux-job kiest zijn machine met runs-on, ook de job die de action van Claude Code draait. Zet hem op skipbox en hij draait op dezelfde machine als je CI.
Hoeveel kost het om te proberen?
Niets. De proefperiode is 7 dagen of 3.000 jobminuten, wat het eerst komt, zonder kaart, tot 4 jobs tegelijk op elk 4 vCPU. Zet de job waarop de agent wacht op runs-on: skipbox en meet de tweede run.
Bijgewerkt op 19 november 2026