Skipbox

Kontinuierliche E2E-Tests in GitHub Actions: die Suite den ganzen Tag zum Festpreis

Coding-Agents pushen rund um die Uhr Code, und deine End-to-End-Suite ist der Check, der sieht, was ihre Unit-Tests nicht sehen: ob Anmeldung, Checkout und die Seiten rund um eine Änderung noch zusammen funktionieren. Ein Team, das E2E einmal pro Nacht ausführt, findet eine Regression, die morgens gemergt wurde, erst nach dem Lauf der nächsten Nacht, mit einem Tag voller Merges obendrauf. Die Suite den ganzen Tag laufen zu lassen löst das, und auf Runnern mit Minutenabrechnung ist es das Teuerste in der CI: Ein Runner mit 4 vCPU, der den ganzen Monat arbeitet, kostet bei GitHub $500,40.

Skipbox führt die Schleife pauschal für $39 im Monat mit unbegrenzten Minuten aus, auf deiner dedizierten Maschine, die Browser und Pakete zwischen den Läufen installiert behält. Der Wechsel ist eine Zeile, runs-on: skipbox.

Bei jedem Push und in einer Schleife

Zwei Auslöser in einem Workflow:

  • Bei jedem Push auf einen Pull Request, damit eine Regression vor dem Merge auffällt.
  • Nach Zeitplan gegen main oder Staging, alle 15 Minuten, damit flaky Tests, durchgerutschte Regressionen und Ausfälle von außerhalb deines Codes (eine Zahlungs-Sandbox, ein Auth-Anbieter, ein Browser-Update) innerhalb von Minuten auffallen.

Der kürzeste Zeitplan bei GitHub ist alle 5 Minuten, auf dem neuesten Commit des Default-Branches. Eine Concurrency-Gruppe verhindert, dass sich die Schleife staut, und die Wiederholungen von Playwright markieren Tests, die fehlschlagen und dann bestehen, als flaky. Ein Test, der in fünfzig Läufen einmal flackert, taucht so zweimal am Tag auf, statt sich eine Woche zu verstecken.

Was die Schleife auf Runnern mit Minutenabrechnung kostet

Eine Schleife alle 15 Minuten sind 96 Läufe am Tag. Mit ein paar Shards ist der Runner fast den ganzen Tag ausgelastet, jeden Tag:

Die GitHub-Werte gelten nach Abzug der in GitHub Team enthaltenen Nutzung. Vier Shards in der Schleife bedeuten vier Zeilen wie die letzte. Probier deine eigenen Minuten im Rechner auf der Startseite aus.

Diese Rechnung ist der Grund, warum die meisten Teams E2E nicht den ganzen Tag laufen lassen, und sie zahlen dafür in Stunden: Eine Regression, die ein Agent nachts gemergt hat, fällt erst am Morgen auf, nachdem weitere Commits darauf gelandet sind, und ihre Suche per Bisect kostet die Zeit, die die Schleife gespart hätte. Pull Requests, die Agents starten, nehmen weiter zu (GitHub meldete im September 2026 mehr als 40 %, nach 17 % im März), und ein Budget, das die Rechnung pro Minute deckelt, stoppt die Jobs mitten im Monat und schaltet die Schleife genau dann ab, wenn sie gebraucht wird.

Die Schleife selbst betreiben

Um sie auf von GitHub gehosteten Runnern bezahlbar zu halten, machen Teams am Ende Folgendes:

  • Den Zeitplan auf stündlich oder nächtlich ausdünnen und langsamere Erkennung hinnehmen
  • Feinjustieren, welche Tests bei welchem Auslöser laufen, damit die Minuten ins Budget passen
  • Sharding, um schneller fertig zu werden, und dann das Einrichten jedes Shards erneut bezahlen
  • Oder einen eigenen selbstgehosteten Runner für die Schleife betreiben und seine Browser, sein Betriebssystem und seine Festplatte gesund halten

Skipbox beseitigt diesen Zielkonflikt. Die Schleife kostet dasselbe, egal wie oft sie läuft, und niemand muss sich um die Maschine kümmern.

Was Skipbox der Schleife gibt

Ein Festpreis für Läufe den ganzen Tag. Jeder Tarif führt seine Jobs rund um die Uhr mit unbegrenzten Minuten aus. Skipbox-Jobs verbrauchen keine GitHub-Minuten, also schaltet ein GitHub-Budget die Schleife nie ab.

Die vCPU deiner Tarife bestimmen, wie viele Shards gleichzeitig laufen: Vier Shards mit runs-on: skipbox laufen zusammen auf vier S-Tarifen oder einem L. Weitere Shards warten, bis sie an der Reihe sind.

Einrichten, das sich nicht wiederholt. Zu jedem Tarif gehört die dedizierte Maschine deines Kontos, die zwischen den Jobs bestehen bleibt. Die Browser von Playwright in ~/.cache/ms-playwright, der Cache von npm und die Docker-Images deiner App und ihrer Dienste liegen für den nächsten Lauf auf der Festplatte.

Jeder Lauf startet sauber. Die Zugangsdaten, Prozesse und alle Container des Runners werden nach jedem Job gelöscht, und ein Health Check läuft. Eine Maschine, die ihn nicht besteht, wird aus einem sauberen Image neu aufgebaut. Ab dem 13. November 2026 bleiben dein Checkout und seine Build-Ausgabe (target/ von Cargo) für deine nächsten Jobs auf deiner dedizierten Maschine; „Frische VM für jeden Job“ gibt jedem Job eine frische Maschine.

Der Wechsel ist eine Zeile

name: E2E
on:
  pull_request:
  schedule:
    - cron: "*/15 * * * *"
concurrency:
  group: e2e-${{ github.ref }}
  cancel-in-progress: ${{ github.event_name == 'pull_request' }}
jobs:
  e2e:
    runs-on: skipbox # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test
  1. Melde dich bei Skipbox mit GitHub an.
  2. Installiere die GitHub-App von Skipbox und wähle die Repositorys.
  3. Ändere runs-on und pushe.

Sicherheit

  • Die Maschine gehört nur deinem Konto. Keine Jobs eines anderen Unternehmens laufen darauf.
  • Nach jedem Job werden die Zugangsdaten, Prozesse und Container des Runners gelöscht. Ab dem 13. November 2026 bleiben dein Checkout und seine Build-Ausgabe (target/ von Cargo) für deine nächsten Jobs auf deiner dedizierten Maschine; „Frische VM für jeden Job“ gibt jedem Job eine frische Maschine.
  • Code von Personen ohne Schreibzugriff (etwa Pull Requests aus Forks) läuft auf einer frischen Wegwerf-Maschine.

Die Einzelheiten stehen unter Wie Jobs isoliert werden.

Probier es aus

Die Testphase ist kostenlos für 7 Tage oder 3.000 Job-Minuten, je nachdem, was zuerst erreicht ist, ohne Karte. Sie führt bis zu 4 runs-on: skipbox-Jobs gleichzeitig aus: Verschieb den E2E-Job, schalte den Zeitplan ein und sieh dir einen Tag voller Läufe zum Festpreis an.

FAQ

Sollte ich End-to-End-Tests bei jedem Push ausführen?

Ja, wenn Agents einen großen Teil deiner Commits schreiben. Ein Unit-Test prüft die Funktion, die sich geändert hat; ein End-to-End-Test prüft, ob Anmeldung, Checkout und die Seiten drumherum noch zusammen funktionieren. Auf einem Runner zum Festpreis wie Skipbox kostet die Suite bei jedem Push und nach Zeitplan dasselbe wie einmal pro Nacht.

Wie oft kann ein GitHub-Actions-Workflow nach Zeitplan laufen?

Höchstens alle 5 Minuten. Geplante Workflows laufen auf dem neuesten Commit des Default-Branches und können später starten, wenn GitHub ausgelastet ist. Alle 15 Minuten ist eine übliche Schleife: 96 Läufe am Tag. Auf Skipbox ist die Rechnung bei alle 15 Minuten dieselbe wie bei alle 5.

Was kostet es, E2E-Tests den ganzen Tag in GitHub Actions laufen zu lassen?

Ein Runner mit 4 vCPU, der den ganzen Monat arbeitet, kostet auf dem 4-Kern-Runner von GitHub $500,40, nach Abzug der in GitHub Team enthaltenen Nutzung. Auf Skipbox führt der Tarif S rund um die Uhr einen Job mit 4 vCPU gleichzeitig aus, pauschal für $39 im Monat, $461,40 weniger.

Wie lasse ich Playwright-Shards auf Skipbox gleichzeitig laufen?

Die vCPU deiner Tarife bestimmen, wie viele Jobs gleichzeitig laufen. Vier Shards mit runs-on: skipbox und 4 vCPU laufen zusammen auf vier S-Tarifen oder einem L-Tarif; mit weniger warten die übrigen Shards, bis sie an der Reihe sind, und starten, sobald einer fertig ist.

Wie finde ich flaky End-to-End-Tests?

Schalte in der CI Wiederholungen ein. Playwright markiert einen Test, der fehlschlägt und bei einer Wiederholung besteht, als flaky, getrennt von bestanden und fehlgeschlagen, und der Bericht listet sie auf. Eine Suite in einer Schleife zeigt denselben flaky Test mehrmals am Tag, also fällt er innerhalb eines Tages auf statt innerhalb eines Sprints.

Aktualisiert am 19. November 2026

Schnellere CI/CD mit immer warmem Cache

Dein warmer Runner zum Festpreis

Wir hosten sie. Du änderst eine Zeile. 1/12 der Kosten von GitHub bei voller Auslastung. Zum Festpreis den ganzen Tag laufen lassen. 7× so viel Cache-Speicher wie bei GitHub.

  • Keine Karte
  • Mit GitHub anmelden
  • Jederzeit kündbar