Continu E2E-testen op GitHub Actions: draai de suite de hele dag voor een vaste prijs
Codeeragents pushen de klok rond, en je end-to-end-suite is de check die ziet wat hun unittests niet zien: of inloggen, afrekenen en de pagina's rond een wijziging nog samenwerken. Een team dat E2E één keer per nacht draait, vindt een regressie die 's ochtends is gemerged pas na de run van de volgende nacht, met een dag aan merges erbovenop. De suite de hele dag draaien lost dat op, en op runners die per minuut rekenen is het het duurste onderdeel van CI: één runner met 4 vCPU die de hele maand bezig is, kost $500,40 op GitHub.
Skipbox draait de lus voor een vaste $39 per maand met onbeperkte minuten, op je dedicated machine die de browsers en packages tussen runs geïnstalleerd houdt. Overstappen is één regel, runs-on: skipbox.
Draai hem bij elke push, en in een lus
Twee triggers in één workflow:
- Bij elke push naar een pull request, zodat een regressie wordt gevangen voordat hij wordt gemerged.
- Op een schema tegen main of staging, elke 15 minuten, zodat flaky tests, regressies die erdoor glipten en breuk van buiten je code (een betaalsandbox, een authenticatieprovider, een browserupdate) binnen enkele minuten opduiken.
Het kortste schema van GitHub is elke 5 minuten, op de laatste commit van de standaardbranch. Een concurrency-groep voorkomt dat de lus zich opstapelt, en de retries van Playwright markeren tests die falen en daarna slagen als flaky, dus een test die één keer op de vijftig runs flaky is, verschijnt twee keer per dag in plaats van een week verborgen te blijven.
Wat de lus kost op runners die per minuut rekenen
Een lus elke 15 minuten is 96 runs per dag. Met een paar shards is de runner het grootste deel van de dag bezig, elke dag:
| Een maand E2E op 4 vCPU | GitHub | Skipbox S | Je bespaart per maand |
|---|---|---|---|
| 10.000 minuten | $102 | $39 | $63 |
| 20.000 minuten | $222 | $39 | $183 |
| 30.000 minuten | $342 | $39 | $303 |
| De hele maand bezig | $500,40 | $39 | $461,40 |
De bedragen van GitHub zijn na het inbegrepen gebruik van GitHub Team. Vier shards in de lus zijn vier rijen zoals de laatste. Probeer je eigen minuten in de calculator op de startpagina.
Die rekening is waarom de meeste teams E2E niet de hele dag draaien, en ze betalen ervoor in uren: een regressie die een agent 's nachts mergede, wordt 's ochtends gevonden, nadat er meer commits op zijn geland, en het opsporen kost de tijd die de lus had bespaard. Pull requests die agents starten, nemen nog steeds toe (GitHub meldde meer dan 40% in september 2026, tegen 17% in maart), en een budget dat de rekening per minuut begrenst, stopt de jobs halverwege de maand, waardoor de lus uitgaat precies wanneer hij nodig is.
De lus zelf draaien
Om hem op door GitHub gehoste runners betaalbaar te houden, komen teams hierop uit:
- Het schema uitdunnen tot elk uur of elke nacht, en langzamer ontdekken accepteren
- Afstellen welke tests bij welke trigger draaien, zodat de minuten in het budget passen
- Sharden om sneller klaar te zijn, en dan de setup van elke shard opnieuw betalen
- Of een eigen self-hosted runner voor de lus draaien, en de browsers, het OS en de schijf ervan gezond houden
Skipbox haalt die afweging weg. De lus kost hetzelfde, hoe vaak hij ook draait, en niemand hoeft naar de machine om te kijken.
Wat Skipbox de lus geeft
Een vaste prijs voor runs de hele dag. Elk abonnement draait zijn jobs de klok rond met onbeperkte minuten. Jobs op Skipbox gebruiken geen GitHub-minuten, dus een GitHub-budget zet de lus nooit uit.
| Abonnement | Machine | Prijs |
|---|---|---|
| S | 4 vCPU · 16 GB | $39 per maand |
| M | 8 vCPU · 16 GB | $79 per maand |
| L | 16 vCPU · 32 GB | $149 per maand |
De vCPU van je abonnementen bepalen hoeveel shards er tegelijk draaien: vier shards met runs-on: skipbox draaien samen op vier S-abonnementen of één L. Shards daarboven wachten op hun beurt.
Setup die zich niet herhaalt. Elk abonnement komt met de dedicated machine van je account, die tussen jobs bewaard blijft. De browsers van Playwright in ~/.cache/ms-playwright, de cache van npm en de Docker-images die je app en zijn services gebruiken, staan op de schijf voor de volgende run.
Elke run begint schoon. De credentials, processen en elke container van de runner worden na elke job gewist, en er draait een health check. Een machine die daarvoor zakt, wordt opnieuw opgebouwd vanuit een schone image. Vanaf 13 november 2026 blijven je checkout en de builduitvoer ervan (target/ van Cargo) op je dedicated machine staan voor je volgende jobs; met Schone VM per job krijgt elke job een nieuwe machine.
Overstappen kost één regel
name: E2E
on:
pull_request:
schedule:
- cron: "*/15 * * * *"
concurrency:
group: e2e-${{ github.ref }}
cancel-in-progress: ${{ github.event_name == 'pull_request' }}
jobs:
e2e:
runs-on: skipbox # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
- Log in bij Skipbox met GitHub.
- Installeer de GitHub-app van Skipbox en kies de repository's.
- Wijzig
runs-onen push.
Beveiliging
- De machine is alleen van je account. Er draaien geen jobs van een ander bedrijf op.
- Na elke job worden de credentials, processen en containers van de runner gewist. Vanaf 13 november 2026 blijven je checkout en de builduitvoer ervan (
target/van Cargo) op je dedicated machine staan voor je volgende jobs; met Schone VM per job krijgt elke job een nieuwe machine. - Code van mensen zonder schrijfrechten (zoals pull requests vanuit forks) draait op een nieuwe wegwerpmachine.
De details staan in zo worden jobs geïsoleerd.
Probeer het
De proefperiode is gratis voor 7 dagen of 3.000 jobminuten, wat het eerst komt, zonder kaart. Hij draait tot 4 runs-on: skipbox-jobs tegelijk: verhuis de E2E-job, zet het schema aan, en zie een dag aan runs voor een vaste prijs.
Veelgestelde vragen
Moet ik end-to-end-tests bij elke push draaien?
Ja, als agents een groot deel van je commits schrijven. Een unittest controleert de functie die veranderde; een end-to-end-test controleert of inloggen, afrekenen en de pagina's eromheen nog samenwerken. Op een runner met een vaste prijs zoals Skipbox kost de suite bij elke push en op een schema draaien hetzelfde als hem één keer per nacht draaien.
Hoe vaak kan een GitHub Actions-workflow op een schema draaien?
Hoogstens elke 5 minuten. Geplande workflows draaien op de laatste commit van de standaardbranch en kunnen later starten als GitHub het druk heeft. Elke 15 minuten is een gangbare lus: 96 runs per dag. Op Skipbox is de rekening bij elke 15 minuten dezelfde als bij elke 5.
Wat kost het om de hele dag E2E-tests te draaien op GitHub Actions?
Eén runner met 4 vCPU die de hele maand bezig is, kost $500,40 op de 4-core runner van GitHub, na het inbegrepen gebruik van GitHub Team. Op Skipbox draait abonnement S de klok rond één job met 4 vCPU tegelijk voor een vaste $39 per maand, $461,40 minder.
Hoe draai ik Playwright-shards tegelijk op Skipbox?
De vCPU van je abonnementen bepalen hoeveel jobs er tegelijk draaien. Vier shards met runs-on: skipbox van 4 vCPU draaien samen op vier S-abonnementen of één L-abonnement; met minder wachten de extra shards op hun beurt en starten ze zodra er een klaar is.
Hoe vind ik flaky end-to-end-tests?
Zet retries aan in CI. Playwright markeert een test die faalt en bij een retry slaagt als flaky, apart van geslaagd en gefaald, en het rapport somt ze op. Een suite in een lus toont dezelfde flaky test vele keren per dag, dus hij valt binnen een dag op in plaats van binnen een sprint.
Bijgewerkt op 19 november 2026