Skipbox

Flaky Cypress- und Playwright-Tests in GitHub Actions: wenn der Runner die Ursache ist

End-to-End-Tests, die auf deinem Laptop bestehen und in GitHub Actions flackern, sind oft ausgehungert, nicht kaputt. Auf dem ubuntu-latest eines privaten Repositorys teilen sich Cypress oder Playwright, ein Browser, dein App-Server und seine Datenbank 2 CPUs und 8 GB, also rendern Seiten spät, ein Befehl überschreitet sein Timeout (in Cypress standardmäßig 4 Sekunden), oder der Browser stürzt mitten im Lauf ab. Die Doku von Cypress selbst sagt, dass Ressourcenmangel „presents as flaky, slow, or apparently random failures“, sich also als flaky, langsame oder scheinbar zufällige Fehler zeigt, und dass ihre Beispiel-App mit 4 vCPUs und 16 GB bequem läuft, dem Doppelten eines privaten Runners. Bestätige es, indem du CPU und Speicher während eines fehlschlagenden Laufs beobachtest, behebe feste Wartezeiten und geteilte Daten in den Tests und gib dem Job die Maschine, die er braucht.

Skipbox gibt ihm diese Maschine zum Festpreis: 8 vCPU und 16 GB mit runs-on: skipbox-8x16 für $79 im Monat, auf einer Maschine, die Skipbox nur für dein Konto hostet, auf der Browser und Pakete zwischen den Läufen installiert bleiben. Die Minuten sind unbegrenzt, also erhöhen Wiederholungen und Shards die Rechnung nicht.

Womit sich die Tests den Runner teilen

Ein E2E-Job führt mehr aus als die Tests. Aus dem Performance-Guide von Cypress: „Cypress itself, the browser, your application server, and any background services your app depends on“, also Cypress selbst, der Browser, dein App-Server und alle Hintergrunddienste, von denen deine App abhängt. Auf dem ubuntu-latest eines privaten Repositorys teilen sie sich 2 CPUs und 8 GB (von GitHub gehostete Runner). Das eines öffentlichen Repositorys bekommt 4 CPUs und 16 GB, die Größe, die Cypress für seine Beispiel-App als bequem nennt.

Die Anzeichen einer ausgehungerten Maschine, aus demselben Guide:

  • Tests werden im Laufe des Laufs langsamer
  • Der Browser stürzt mitten im Lauf ab, ohne klaren Testfehler
  • CPU oder Speicher liegen während des Laufs nahe 100 %

Playwright startet einen Browser pro Worker, und standardmäßig sind es halb so viele wie Kerne. Seine CI-Doku empfiehlt in der CI workers: 1, „to prioritize stability and reproducibility“, also für Stabilität und Reproduzierbarkeit, damit jeder Test die ganze Maschine bekommt, und schlägt parallele Tests nur auf „a powerful self-hosted CI system“ vor, einem leistungsstarken selbstgehosteten CI-System.

Bestätige es, bevor du etwas änderst

  • Cypress: Führe es mit DEBUG=cypress:server:util:process_profiler npx cypress run aus. Es gibt alle 10 Sekunden CPU und Speicher aus; eine CPU dauerhaft über 100 % heißt, dass die Maschine ausgelastet ist.
  • Playwright: Wiederhole die fehlschlagende Suite mit --workers=1. Hört das Flackern auf, war die Maschine die Grenze, nicht die Tests. Behalte den Trace bei Wiederholungen (trace: 'on-first-retry'), um zu sehen, was die Seite beim Fehlschlag tat.
  • Beide: Füge vor den Tests einen Step nproc && free -h hinzu und einen im Hintergrund, der alle 15 Sekunden top -b -n 1 | head -15 protokolliert.

Flakes, die auf einer größeren Maschine verschwinden, lagen am Runner, und eine größere Maschine beendet sie. Ein Test, der danach noch an derselben Stelle fehlschlägt, hat sein eigenes Problem: Der nächste Abschnitt behebt es.

Behebe, was zu den Tests gehört

  • Keine festen Wartezeiten. cy.wait(2000) und page.waitForTimeout() bestehen auf einem schnellen Laptop und scheitern auf einem langsamen Runner. Warte stattdessen auf das Element, die Route oder die Antwort.
  • Intercepts vor der Anfrage registrieren. Ein cy.intercept, der nach dem Klick gesetzt wird, liefert sich ein Rennen mit der Anfrage.
  • Daten isolieren. Tests, die sich einen Benutzer oder einen Datensatz teilen, scheitern, wenn sie in anderer Reihenfolge oder parallel laufen.
  • Wiederholungen in der CI einschalten. Playwright markiert einen Test, der fehlschlägt und dann besteht, in seinem Bericht als flaky; die Einstellung retries von Cypress führt einen fehlgeschlagenen Test in cypress run erneut aus. Wiederholungen zeigen dir die flaky Tests. Beheben tun sie sie nicht.

Was Sharding kostet

Sharding teilt die Suite auf Jobs auf, jeden auf seiner eigenen Maschine. Playwright nimmt --shard=1/4 und führt die Blob-Berichte in einem letzten Job zusammen; der Parallelmodus von Cypress braucht die Aufzeichnung in Cypress Cloud, die Specs auf die Maschinen verteilt.

Jeder Shard ist eine neue GitHub-VM: Er installiert Pakete, lädt den Browser herunter (Playwright rät davon ab, Browser zu cachen, weil eine Wiederherstellung etwa so lange dauert wie der Download), baut deine App und startet sie. Vier Shards zahlen das viermal, und die Minutenabrechnung zählt jeden einzelnen. Sharding hilft, wenn die Maschine die Grenze war, aber es vervielfacht das Einrichten gleich mit.

Was eine langsame, flaky Suite kostet

E2E-Tests sind der letzte Check vor dem Merge, also wartet das ganze Team auf sie, und ein Flackern bringt noch einen erneuten Lauf obendrauf. Bei Minutenabrechnung wird jede dieser Minuten berechnet:

Bei 8 vCPU kosten 20.000 Minuten bei GitHub $422 und bei Skipbox M $79. Die GitHub-Werte gelten nach Abzug der in GitHub Team enthaltenen Nutzung. Deine eigenen Minuten kommen in den Rechner auf der Startseite.

Gib der Suite die Maschine

Zu jedem Tarif gehört die dedizierte Maschine deines Kontos, die zwischen den Jobs bestehen bleibt, zum Festpreis:

  • CPU und Speicher für den ganzen Stack. skipbox-8x16 hat den Speicher, den Cypress für seine Beispiel-App nennt, und mehr Kerne, also hören Browser, App und Datenbank auf zu konkurrieren. Mit 8 vCPU startet Playwright standardmäßig 4 Worker.
  • Browser und Pakete bleiben. Die Browser von Playwright in ~/.cache/ms-playwright, das Cypress-Binary in ~/.cache/Cypress, der Cache von npm und die Docker-Images deiner Dienste liegen auf der Festplatte, wenn der nächste Job startet.
  • Unbegrenzte Minuten. Wiederholungen, erneute Läufe und Shards ändern die Rechnung nicht. Die vCPU deiner Tarife bestimmen, wie viele Shards gleichzeitig laufen; weitere Shards warten, bis sie an der Reihe sind.

Der Wechsel ist eine Zeile

jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test

skipbox-8x16 läuft mit einem M-Tarif; die Testphase führt runs-on: skipbox aus (4 vCPU, 16 GB).

  1. Melde dich bei Skipbox mit GitHub an.
  2. Installiere die GitHub-App von Skipbox und wähle die Repositorys.
  3. Ändere runs-on und pushe.

Sicherheit

  • Die Maschine gehört nur deinem Konto. Keine Jobs eines anderen Unternehmens laufen darauf.
  • Nach jedem Job werden die Zugangsdaten, Prozesse und Container des Runners gelöscht. Die Browser und Caches bleiben. „Frische VM für jeden Job“ gibt stattdessen jedem Job eine frische Maschine.
  • Code von Personen ohne Schreibzugriff (etwa Pull Requests aus Forks) läuft auf einer frischen VM, die deine Caches liest, aber nicht ändern kann.

Die Einzelheiten stehen unter Wie Jobs isoliert werden.

Probier es mit der flaky Suite

Die Testphase ist kostenlos für 7 Tage oder 3.000 Job-Minuten, je nachdem, was zuerst erreicht ist, ohne Karte. Verschieb den E2E-Job auf runs-on: skipbox, führe ihn ein paarmal aus und vergleiche die Zahl der Flakes und die Zeiten der Steps mit denen von GitHub.

FAQ

Warum sind meine Cypress-Tests in GitHub Actions flaky, obwohl sie lokal bestehen?

Oft, weil der Runner kleiner ist als dein Laptop. Das ubuntu-latest eines privaten Repositorys hat 2 CPUs und 8 GB, und Cypress, sein Browser, dein App-Server und seine Datenbank laufen alle darauf. Wenn sie konkurrieren, rendern Seiten spät, ein Befehl überschreitet sein Standard-Timeout von 4 Sekunden, oder der Browser stürzt ab. Der Performance-Guide von Cypress selbst sagt, dass sich Ressourcenmangel als flaky, langsame oder scheinbar zufällige Fehler zeigt und dass seine Beispiel-App mit 4 vCPUs und 16 GB bequem läuft. Bestätige es mit DEBUG=cypress:server:util:process_profiler, ersetze feste Wartezeiten und gib dem Job dann mehr CPU und Speicher.

Können CPU oder Speicher des Runners der Grund sein, warum Playwright-Tests in der CI flackern?

Ja. Jeder Playwright-Worker steuert seinen eigenen Browser, und standardmäßig sind es halb so viele wie Kerne. Die CI-Doku von Playwright empfiehlt in der CI einen Worker für Stabilität, weil jeder Test dann die ganze Maschine bekommt. Bestehen die Tests mit --workers=1 und flackern mit mehr, ist die Maschine die Grenze: Bleib auf 2 CPUs bei einem Worker, oder wechsle auf eine Maschine mit mehr Kernen und Speicher und erhöhe dort die Worker.

Wie unterscheide ich einen ausgehungerten Runner von einem flaky Test?

Beobachte die Maschine während eines fehlschlagenden Laufs. Cypress gibt mit DEBUG=cypress:server:util:process_profiler alle 10 Sekunden CPU und Speicher aus; bei Playwright führst du free -h und top in einem Hintergrund-Step aus oder wiederholst den Lauf mit --workers=1. Ein ausgehungerter Runner zeigt eine CPU nahe 100 % oder Speicher nahe dem Limit und Fehler, die zwischen Tests wandern und später im Lauf schlimmer werden. Ein flaky Test schlägt auch auf einer schnellen Maschine an derselben Stelle fehl.

Behebt Sharding von E2E-Tests Flakiness oder Kosten?

Für sich genommen keins von beiden. Sharding gibt jedem Teil der Suite eine eigene Maschine, was hilft, wenn die Maschine die Grenze war, aber jeder Shard installiert Pakete, lädt Browser herunter und startet deine App neu, und die Minutenabrechnung zählt jeden Shard. Der Parallelmodus von Cypress braucht außerdem die Aufzeichnung in Cypress Cloud. Auf Skipbox bleiben Browser und Pakete auf deiner Maschine, und die Minuten sind unbegrenzt, also kosten Shards und Wiederholungen nichts extra.

Welche Runner-Größe sollten E2E-Tests nutzen?

Geh von dem aus, was neben den Tests läuft: der Browser, der App-Server und seine Dienste. Die Beispiel-App von Cypress läuft bequem mit 4 vCPUs und 16 GB. Auf Skipbox gibt runs-on: skipbox-8x16 dir 8 vCPU und 16 GB für $79 im Monat, und skipbox-16x32 16 vCPU und 32 GB.

Kann ich es kostenlos ausprobieren?

Ja. Die Testphase dauert 7 Tage oder 3.000 Job-Minuten, je nachdem, was zuerst erreicht ist, ohne Karte, auf 4 vCPU und 16 GB. Verschieb den E2E-Job auf runs-on: skipbox, führe ihn ein paarmal aus und vergleiche die Fehler und die Zeiten der Steps mit denen von GitHub.

Aktualisiert am 19. November 2026

Schnellere CI/CD mit immer warmem Cache

Dein warmer Runner zum Festpreis

Wir hosten sie. Du änderst eine Zeile. 1/12 der Kosten von GitHub bei voller Auslastung. Zum Festpreis den ganzen Tag laufen lassen. 7× so viel Cache-Speicher wie bei GitHub.

  • Keine Karte
  • Mit GitHub anmelden
  • Jederzeit kündbar