# Flaky Cypress- und Playwright-Tests in GitHub Actions: wenn der Runner die Ursache ist

> E2E-Tests, die lokal bestehen und in GitHub Actions flackern, sind oft ausgehungert: Cypress, ein Browser, deine App und ihre Datenbank teilen sich die 2 CPUs und 8 GB eines privaten Repositorys. Laut Doku von Cypress zeigt sich Ressourcenmangel als flaky, langsame oder zufällige Fehler. Wie du das bestätigst, was du in den Tests behebst, warum Sharding Minuten kostet, und ein Runner mit 8 vCPU und 16 GB pauschal für $79 im Monat.

End-to-End-Tests, die auf deinem Laptop bestehen und in GitHub Actions flackern, sind oft ausgehungert, nicht kaputt. Auf dem `ubuntu-latest` eines privaten Repositorys teilen sich Cypress oder Playwright, ein Browser, dein App-Server und seine Datenbank 2 CPUs und 8 GB, also rendern Seiten spät, ein Befehl überschreitet sein Timeout (in Cypress standardmäßig 4 Sekunden), oder der Browser stürzt mitten im Lauf ab. Die Doku von Cypress selbst sagt, dass Ressourcenmangel „presents as flaky, slow, or apparently random failures“, sich also als flaky, langsame oder scheinbar zufällige Fehler zeigt, und dass ihre Beispiel-App mit 4 vCPUs und 16 GB bequem läuft, dem Doppelten eines privaten Runners. Bestätige es, indem du CPU und Speicher während eines fehlschlagenden Laufs beobachtest, behebe feste Wartezeiten und geteilte Daten in den Tests und gib dem Job die Maschine, die er braucht.

Skipbox gibt ihm diese Maschine zum Festpreis: 8 vCPU und 16 GB mit `runs-on: skipbox-8x16` für $79 im Monat, auf einer Maschine, die Skipbox nur für dein Konto hostet, auf der Browser und Pakete zwischen den Läufen installiert bleiben. Die Minuten sind unbegrenzt, also erhöhen Wiederholungen und Shards die Rechnung nicht.

- Die Beispiel-App von Cypress läuft bequem mit 4 vCPUs und 16 GB; ein privates `ubuntu-latest` hat 2 und 8
- 8 vCPU und 16 GB für $79 im Monat, unbegrenzte Minuten
- Browser und Pakete bleiben auf deiner Maschine, also installiert ein Shard oder eine Wiederholung sie nicht neu

**GitHub Actions zum Festpreis, unbegrenzte Minuten** Skipbox führt deine GitHub-Actions-Jobs auf deiner eigenen dedizierten Maschine aus: $39 im Monat, egal wie viele Minuten du nutzt. Docker-Layer und Caches für Abhängigkeiten bleiben zwischen den Jobs erhalten, sodass der nächste Job sofort startet.

Ein Runner mit 4 vCPU, 20.000 Minuten im Monat: GitHub $222 → Skipbox $39. Du sparst jeden Monat $183.

Der Wechsel braucht eine Zeile: `runs-on: skipbox`.

[7-tägige Testphase kostenlos starten](https://app.skipbox.dev/sign-in?ref=g-flaky-e2e-tests-github-actions-de)

## Womit sich die Tests den Runner teilen

Ein E2E-Job führt mehr aus als die Tests. Aus dem [Performance-Guide von Cypress](https://docs.cypress.io/app/guides/test-performance): „Cypress itself, the browser, your application server, and any background services your app depends on“, also Cypress selbst, der Browser, dein App-Server und alle Hintergrunddienste, von denen deine App abhängt. Auf dem `ubuntu-latest` eines privaten Repositorys teilen sie sich 2 CPUs und 8 GB ([von GitHub gehostete Runner](https://docs.github.com/en/actions/reference/runners/github-hosted-runners)). Das eines öffentlichen Repositorys bekommt 4 CPUs und 16 GB, die Größe, die Cypress für seine Beispiel-App als bequem nennt.

Die Anzeichen einer ausgehungerten Maschine, aus demselben Guide:

- Tests werden im Laufe des Laufs langsamer
- Der Browser stürzt mitten im Lauf ab, ohne klaren Testfehler
- CPU oder Speicher liegen während des Laufs nahe 100 %

Playwright startet einen Browser pro Worker, und [standardmäßig sind es halb so viele wie Kerne](https://playwright.dev/docs/api/class-testconfig#test-config-workers). Seine [CI-Doku](https://playwright.dev/docs/ci#workers) empfiehlt in der CI `workers: 1`, „to prioritize stability and reproducibility“, also für Stabilität und Reproduzierbarkeit, damit jeder Test die ganze Maschine bekommt, und schlägt parallele Tests nur auf „a powerful self-hosted CI system“ vor, einem leistungsstarken selbstgehosteten CI-System.

## Bestätige es, bevor du etwas änderst

- **Cypress:** Führe es mit `DEBUG=cypress:server:util:process_profiler npx cypress run` aus. Es gibt alle 10 Sekunden CPU und Speicher aus; eine CPU dauerhaft über 100 % heißt, dass die Maschine ausgelastet ist.
- **Playwright:** Wiederhole die fehlschlagende Suite mit `--workers=1`. Hört das Flackern auf, war die Maschine die Grenze, nicht die Tests. Behalte den Trace bei Wiederholungen (`trace: 'on-first-retry'`), um zu sehen, was die Seite beim Fehlschlag tat.
- **Beide:** Füge vor den Tests einen Step `nproc && free -h` hinzu und einen im Hintergrund, der alle 15 Sekunden `top -b -n 1 | head -15` protokolliert.

Flakes, die auf einer größeren Maschine verschwinden, lagen am Runner, und eine größere Maschine beendet sie. Ein Test, der danach noch an derselben Stelle fehlschlägt, hat sein eigenes Problem: Der nächste Abschnitt behebt es.

## Behebe, was zu den Tests gehört

- **Keine festen Wartezeiten.** `cy.wait(2000)` und `page.waitForTimeout()` bestehen auf einem schnellen Laptop und scheitern auf einem langsamen Runner. Warte stattdessen auf das Element, die Route oder die Antwort.
- **Intercepts vor der Anfrage registrieren.** Ein `cy.intercept`, der nach dem Klick gesetzt wird, liefert sich ein Rennen mit der Anfrage.
- **Daten isolieren.** Tests, die sich einen Benutzer oder einen Datensatz teilen, scheitern, wenn sie in anderer Reihenfolge oder parallel laufen.
- **Wiederholungen in der CI einschalten.** Playwright markiert einen Test, der fehlschlägt und dann besteht, in seinem Bericht als flaky; die Einstellung `retries` von Cypress führt einen fehlgeschlagenen Test in `cypress run` erneut aus. Wiederholungen zeigen dir die flaky Tests. Beheben tun sie sie nicht.

## Was Sharding kostet

Sharding teilt die Suite auf Jobs auf, jeden auf seiner eigenen Maschine. [Playwright](https://playwright.dev/docs/test-sharding) nimmt `--shard=1/4` und führt die Blob-Berichte in einem letzten Job zusammen; der [Parallelmodus von Cypress](https://docs.cypress.io/app/continuous-integration/github-actions) braucht die Aufzeichnung in Cypress Cloud, die Specs auf die Maschinen verteilt.

Jeder Shard ist eine neue GitHub-VM: Er installiert Pakete, lädt den Browser herunter (Playwright rät davon ab, Browser zu cachen, weil eine Wiederherstellung etwa so lange dauert wie der Download), baut deine App und startet sie. Vier Shards zahlen das viermal, und die Minutenabrechnung zählt jeden einzelnen. Sharding hilft, wenn die Maschine die Grenze war, aber es vervielfacht das Einrichten gleich mit.

## Was eine langsame, flaky Suite kostet

E2E-Tests sind der letzte Check vor dem Merge, also wartet das ganze Team auf sie, und ein Flackern bringt noch einen erneuten Lauf obendrauf. Bei Minutenabrechnung wird jede dieser Minuten berechnet:

| Minuten im Monat (4 vCPU) | GitHub | Skipbox S | Du sparst jeden Monat |
|---|---|---|---|
| 10.000 | $102 | $39 | **$63** |
| 20.000 | $222 | $39 | **$183** |
| 30.000 | $342 | $39 | **$303** |

Bei 8 vCPU kosten 20.000 Minuten bei GitHub $422 und bei Skipbox M $79. Die GitHub-Werte gelten nach Abzug der in GitHub Team enthaltenen Nutzung. Deine eigenen Minuten kommen in den [Rechner auf der Startseite](https://skipbox.dev/?ref=g-flaky-e2e-tests-github-actions-de#cost).

## Gib der Suite die Maschine

Zu jedem Tarif gehört die dedizierte Maschine deines Kontos, die zwischen den Jobs bestehen bleibt, zum Festpreis:

| Label | Maschine | Tarif |
|---|---|---|
| `skipbox` | 4 vCPU · 16 GB | S, $39 im Monat |
| `skipbox-8x16` | 8 vCPU · 16 GB | M, $79 im Monat |
| `skipbox-16x32` | 16 vCPU · 32 GB | L, $149 im Monat |

- **CPU und Speicher für den ganzen Stack.** `skipbox-8x16` hat den Speicher, den Cypress für seine Beispiel-App nennt, und mehr Kerne, also hören Browser, App und Datenbank auf zu konkurrieren. Mit 8 vCPU startet Playwright standardmäßig 4 Worker.
- **Browser und Pakete bleiben.** Die Browser von Playwright in `~/.cache/ms-playwright`, das Cypress-Binary in `~/.cache/Cypress`, der Cache von npm und die Docker-Images deiner Dienste liegen auf der Festplatte, wenn der nächste Job startet.
- **Unbegrenzte Minuten.** Wiederholungen, erneute Läufe und Shards ändern die Rechnung nicht. Die vCPU deiner Tarife bestimmen, wie viele Shards gleichzeitig laufen; weitere Shards warten, bis sie an der Reihe sind.

## Der Wechsel ist eine Zeile

```yaml
jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test
```

`skipbox-8x16` läuft mit einem M-Tarif; die Testphase führt `runs-on: skipbox` aus (4 vCPU, 16 GB).

1. Melde dich bei Skipbox mit GitHub an.
2. Installiere die GitHub-App von Skipbox und wähle die Repositorys.
3. Ändere `runs-on` und pushe.

## Sicherheit

- Die Maschine gehört nur deinem Konto. Keine Jobs eines anderen Unternehmens laufen darauf.
- Nach jedem Job werden die Zugangsdaten, Prozesse und Container des Runners gelöscht. Die Browser und Caches bleiben. „Frische VM für jeden Job“ gibt stattdessen jedem Job eine frische Maschine.
- Code von Personen ohne Schreibzugriff (etwa Pull Requests aus Forks) läuft auf einer frischen VM, die deine Caches liest, aber nicht ändern kann.

Die Einzelheiten stehen unter [Wie Jobs isoliert werden](https://docs.skipbox.dev/de/isolation).

## Probier es mit der flaky Suite

Die Testphase ist kostenlos für 7 Tage oder 3.000 Job-Minuten, je nachdem, was zuerst erreicht ist, ohne Karte. Verschieb den E2E-Job auf `runs-on: skipbox`, führe ihn ein paarmal aus und vergleiche die Zahl der Flakes und die Zeiten der Steps mit denen von GitHub.

## FAQ

### Warum sind meine Cypress-Tests in GitHub Actions flaky, obwohl sie lokal bestehen?

Oft, weil der Runner kleiner ist als dein Laptop. Das ubuntu-latest eines privaten Repositorys hat 2 CPUs und 8 GB, und Cypress, sein Browser, dein App-Server und seine Datenbank laufen alle darauf. Wenn sie konkurrieren, rendern Seiten spät, ein Befehl überschreitet sein Standard-Timeout von 4 Sekunden, oder der Browser stürzt ab. Der Performance-Guide von Cypress selbst sagt, dass sich Ressourcenmangel als flaky, langsame oder scheinbar zufällige Fehler zeigt und dass seine Beispiel-App mit 4 vCPUs und 16 GB bequem läuft. Bestätige es mit DEBUG=cypress:server:util:process_profiler, ersetze feste Wartezeiten und gib dem Job dann mehr CPU und Speicher.

### Können CPU oder Speicher des Runners der Grund sein, warum Playwright-Tests in der CI flackern?

Ja. Jeder Playwright-Worker steuert seinen eigenen Browser, und standardmäßig sind es halb so viele wie Kerne. Die CI-Doku von Playwright empfiehlt in der CI einen Worker für Stabilität, weil jeder Test dann die ganze Maschine bekommt. Bestehen die Tests mit --workers=1 und flackern mit mehr, ist die Maschine die Grenze: Bleib auf 2 CPUs bei einem Worker, oder wechsle auf eine Maschine mit mehr Kernen und Speicher und erhöhe dort die Worker.

### Wie unterscheide ich einen ausgehungerten Runner von einem flaky Test?

Beobachte die Maschine während eines fehlschlagenden Laufs. Cypress gibt mit DEBUG=cypress:server:util:process_profiler alle 10 Sekunden CPU und Speicher aus; bei Playwright führst du free -h und top in einem Hintergrund-Step aus oder wiederholst den Lauf mit --workers=1. Ein ausgehungerter Runner zeigt eine CPU nahe 100 % oder Speicher nahe dem Limit und Fehler, die zwischen Tests wandern und später im Lauf schlimmer werden. Ein flaky Test schlägt auch auf einer schnellen Maschine an derselben Stelle fehl.

### Behebt Sharding von E2E-Tests Flakiness oder Kosten?

Für sich genommen keins von beiden. Sharding gibt jedem Teil der Suite eine eigene Maschine, was hilft, wenn die Maschine die Grenze war, aber jeder Shard installiert Pakete, lädt Browser herunter und startet deine App neu, und die Minutenabrechnung zählt jeden Shard. Der Parallelmodus von Cypress braucht außerdem die Aufzeichnung in Cypress Cloud. Auf Skipbox bleiben Browser und Pakete auf deiner Maschine, und die Minuten sind unbegrenzt, also kosten Shards und Wiederholungen nichts extra.

### Welche Runner-Größe sollten E2E-Tests nutzen?

Geh von dem aus, was neben den Tests läuft: der Browser, der App-Server und seine Dienste. Die Beispiel-App von Cypress läuft bequem mit 4 vCPUs und 16 GB. Auf Skipbox gibt runs-on: skipbox-8x16 dir 8 vCPU und 16 GB für $79 im Monat, und skipbox-16x32 16 vCPU und 32 GB.

### Kann ich es kostenlos ausprobieren?

Ja. Die Testphase dauert 7 Tage oder 3.000 Job-Minuten, je nachdem, was zuerst erreicht ist, ohne Karte, auf 4 vCPU und 16 GB. Verschieb den E2E-Job auf runs-on: skipbox, führe ihn ein paarmal aus und vergleiche die Fehler und die Zeiten der Steps mit denen von GitHub.

Aktualisiert am 2026-11-19 · https://skipbox.dev/de/guides/flaky-e2e-tests-github-actions
