Niestabilne testy Cypress i Playwright w GitHub Actions: gdy przyczyną jest runner
Testy end-to-end, które przechodzą na Twoim laptopie, a w GitHub Actions zawodzą losowo, często są zagłodzone, a nie zepsute. Na ubuntu-latest repozytorium prywatnego Cypress albo Playwright, przeglądarka, serwer Twojej aplikacji i jej baza danych dzielą 2 CPU i 8 GB, więc strony renderują się z opóźnieniem, polecenie przekracza swój limit czasu (w Cypress domyślnie 4 sekundy) albo przeglądarka wysypuje się w trakcie uruchomienia. Własna dokumentacja Cypress mówi, że brak zasobów objawia się niestabilnymi, wolnymi albo pozornie losowymi błędami, a ich przykładowa aplikacja działa swobodnie na 4 vCPU i 16 GB, dwa razy więcej niż ma prywatny runner. Potwierdź to, obserwując CPU i pamięć podczas nieudanego uruchomienia, popraw w testach stałe oczekiwania i współdzielone dane i daj zadaniu maszynę, której potrzebuje.
Skipbox daje mu taką maszynę w stałej cenie: 8 vCPU i 16 GB na runs-on: skipbox-8x16 za $79 miesięcznie, na dedykowanej maszynie Twojego konta, na której przeglądarki i pakiety zostają zainstalowane między uruchomieniami. Minuty są bez limitu, więc ponowienia i części nie dokładają nic do rachunku.
Z czym testy dzielą runner
Zadanie E2E uruchamia więcej niż same testy. Według przewodnika Cypress o wydajności to sam Cypress, przeglądarka, serwer Twojej aplikacji i wszystkie usługi w tle, od których zależy aplikacja. Na ubuntu-latest repozytorium prywatnego dzielą one 2 CPU i 8 GB (GitHub-hosted runners). Runner repozytorium publicznego dostaje 4 CPU i 16 GB, czyli rozmiar, który Cypress podaje jako swobodny dla swojej przykładowej aplikacji.
Oznaki zagłodzonej maszyny według tego samego przewodnika:
- Testy zwalniają w miarę trwania uruchomienia
- Przeglądarka wysypuje się w trakcie uruchomienia bez wyraźnego błędu testu
- CPU albo pamięć utrzymuje się blisko 100% przez całe uruchomienie
Playwright uruchamia jedną przeglądarkę na workera, a domyślnie workerów jest połowa rdzeni. Jego dokumentacja o CI zaleca w CI workers: 1, żeby postawić na stabilność i powtarzalność, tak by każdy test dostawał całą maszynę, a testy równoległe sugeruje tylko na mocnym systemie CI self-hosted.
Potwierdź, zanim cokolwiek zmienisz
- Cypress: uruchom z
DEBUG=cypress:server:util:process_profiler npx cypress run. Wypisuje CPU i pamięć co 10 sekund; CPU stale powyżej 100% oznacza, że maszyna jest nasycona. - Playwright: powtórz nieudany zestaw z
--workers=1. Jeśli niestabilności znikną, ograniczeniem była maszyna, a nie testy. Zbieraj trace przy ponowieniu (trace: 'on-first-retry'), żeby zobaczyć, co robiła strona w chwili błędu. - W obu: dodaj przed testami krok
nproc && free -h, a w tle krok, który co 15 sekund logujetop -b -n 1 | head -15.
Niestabilności, które znikają na większej maszynie, pochodziły od runnera, a większa maszyna je kończy. Test, który nadal zawodzi w tym samym miejscu, ma problem we własnym kodzie: naprawia go następna sekcja.
Napraw to, co należy do testów
- Bez stałych oczekiwań.
cy.wait(2000)ipage.waitForTimeout()przechodzą na szybkim laptopie i zawodzą na wolnym runnerze. Czekaj zamiast tego na element, trasę albo odpowiedź. - Rejestruj przechwycenia przed żądaniem.
cy.interceptustawiony po kliknięciu ściga się z żądaniem. - Izoluj dane. Testy, które dzielą użytkownika albo rekord, zawodzą, gdy działają w innej kolejności albo równolegle.
- Włącz ponowienia w CI. Playwright oznacza w raporcie test, który najpierw nie przeszedł, a potem przeszedł, jako niestabilny; ustawienie
retriesw Cypress uruchamia nieudany test ponownie wcypress run. Ponowienia pokazują Ci niestabilne testy. Nie naprawiają ich.
Ile kosztuje dzielenie na części
Dzielenie rozkłada zestaw na zadania, każde na własnej maszynie. Playwright przyjmuje --shard=1/4 i scala raporty blob w końcowym zadaniu; tryb równoległy Cypress wymaga nagrywania do Cypress Cloud, które rozkłada specyfikacje między maszyny.
Każda część to nowa VM GitHuba: instaluje pakiety, pobiera przeglądarkę (Playwright odradza zapisywanie przeglądarek w cache, bo przywrócenie trwa mniej więcej tyle, co pobranie), buduje i uruchamia Twoją aplikację. Cztery części płacą za to cztery razy, a rozliczanie za minutę liczy każdą z nich. Dzielenie pomaga, gdy ograniczeniem była maszyna, ale razem z nią mnoży przygotowanie.
Ile kosztuje wolny, niestabilny zestaw testów
Testy E2E to ostatnie sprawdzenie przed scaleniem, więc czeka na nie cały zespół, a niestabilny błąd dokłada do tego ponowne uruchomienie. Przy rozliczaniu za minutę każda z tych minut jest naliczana:
| Minuty miesięcznie (4 vCPU) | GitHub | Skipbox S | Oszczędzasz co miesiąc |
|---|---|---|---|
| 10 000 | $102 | $39 | $63 |
| 20 000 | $222 | $39 | $183 |
| 30 000 | $342 | $39 | $303 |
Przy 8 vCPU 20 000 minut to $422 w GitHubie i $79 w Skipbox M. Kwoty GitHuba są po odjęciu użycia wliczonego w GitHub Team. Własne minuty wpisz do kalkulatora na stronie głównej.
Daj zestawowi testów maszynę
Każdy plan ma dedykowaną maszynę Twojego konta, która zostaje między zadaniami, w stałej cenie:
| Etykieta | Maszyna | Plan |
|---|---|---|
skipbox | 4 vCPU · 16 GB | S, $39 miesięcznie |
skipbox-8x16 | 8 vCPU · 16 GB | M, $79 miesięcznie |
skipbox-16x32 | 16 vCPU · 32 GB | L, $149 miesięcznie |
- CPU i pamięć dla całego stosu.
skipbox-8x16ma rdzenie i pamięć, które Cypress podaje dla swojej przykładowej aplikacji, i więcej rdzeni, więc przeglądarka, aplikacja i jej baza danych przestają rywalizować. Przy 8 vCPU domyślna liczba workerów Playwright to 4. - Przeglądarki i pakiety zostają. Przeglądarki Playwright w
~/.cache/ms-playwright, binarka Cypress w~/.cache/Cypress, cache npm i obrazy Dockera Twoich usług są na dysku, gdy startuje następne zadanie. - Minuty bez limitu. Ponowienia, ponowne uruchomienia i części nie zmieniają rachunku. vCPU Twoich planów wyznaczają, ile części działa naraz; części ponad to czekają na swoją kolej.
Przejście to jedna linia
jobs:
e2e:
runs-on: skipbox-8x16 # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
skipbox-8x16 działa w planie M; okres próbny uruchamia runs-on: skipbox (4 vCPU, 16 GB).
- Zaloguj się do Skipbox przez GitHuba.
- Zainstaluj aplikację Skipbox w GitHubie i wybierz repozytoria.
- Zmień
runs-oni zrób push.
Bezpieczeństwo
- Maszyna należy tylko do Twojego konta. Nie działają na niej zadania żadnej innej firmy.
- Po każdym zadaniu usuwane są dane uwierzytelniające runnera, procesy i kontenery. Przeglądarki i cache zostają. Opcja Nowa VM dla każdego zadania daje zamiast tego każdemu zadaniu nową maszynę.
- Kod od osób bez uprawnień do zapisu (na przykład pull requesty z forków) działa na nowej VM, która czyta Twój cache, ale nie może go zmienić.
Szczegóły są w artykule jak zadania są od siebie odizolowane.
Wypróbuj na niestabilnym zestawie testów
Okres próbny jest bezpłatny przez 7 dni lub 3000 minut zadań, zależnie od tego, co nastąpi wcześniej, bez karty. Przenieś zadanie E2E na runs-on: skipbox, uruchom je kilka razy i porównaj liczbę niestabilnych błędów i czasy kroków z GitHubem.
FAQ
Dlaczego moje testy Cypress są niestabilne w GitHub Actions, a lokalnie przechodzą?
Często dlatego, że runner jest mniejszy niż Twój laptop. ubuntu-latest repozytorium prywatnego ma 2 CPU i 8 GB, a działają na nim Cypress, jego przeglądarka, serwer Twojej aplikacji i jej baza danych. Gdy rywalizują o zasoby, strony renderują się z opóźnieniem, polecenie przekracza domyślny limit 4 sekund albo przeglądarka się wysypuje. Własny przewodnik Cypress o wydajności mówi, że brak zasobów objawia się niestabilnymi, wolnymi albo pozornie losowymi błędami, a jego przykładowa aplikacja działa swobodnie na 4 vCPU i 16 GB. Potwierdź to przez DEBUG=cypress:server:util:process_profiler, popraw stałe oczekiwania, a potem daj zadaniu więcej CPU i pamięci.
Czy CPU albo pamięć runnera mogą być przyczyną niestabilnych testów Playwright w CI?
Tak. Każdy worker Playwright steruje własną przeglądarką, a domyślnie jest ich połowa rdzeni maszyny. Dokumentacja Playwright o CI zaleca w CI jednego workera dla stabilności, bo wtedy każdy test dostaje całą maszynę. Jeśli testy przechodzą z --workers=1, a z większą liczbą zawodzą, ograniczeniem jest maszyna: zostań przy jednym workerze na 2 CPU albo przejdź na maszynę z większą liczbą rdzeni i pamięci i tam zwiększ liczbę workerów.
Jak odróżnić zagłodzony runner od niestabilnego testu?
Obserwuj maszynę podczas nieudanego uruchomienia. Cypress wypisuje CPU i pamięć co 10 sekund z DEBUG=cypress:server:util:process_profiler; przy Playwright uruchom free -h i top w kroku w tle albo powtórz uruchomienie z --workers=1. Zagłodzony runner pokazuje CPU blisko 100% albo pamięć blisko limitu, a błędy przeskakują między testami i nasilają się w dalszej części uruchomienia. Niestabilny test zawodzi w tym samym miejscu także na szybkiej maszynie.
Czy dzielenie testów E2E na części naprawia niestabilność albo koszt?
Samo w sobie ani jedno, ani drugie. Dzielenie daje każdej części zestawu własną maszynę, co pomaga, gdy ograniczeniem była maszyna, ale każda część znowu instaluje pakiety, pobiera przeglądarki i uruchamia Twoją aplikację, a rozliczanie za minutę liczy każdą część. Tryb równoległy Cypress wymaga też nagrywania do Cypress Cloud. W Skipbox przeglądarki i pakiety zostają na Twojej maszynie, a minuty są bez limitu, więc części i ponowienia nic dodatkowo nie kosztują.
Jakiego rozmiaru runnera powinny używać testy E2E?
Zacznij od tego, co działa obok testów: przeglądarki, serwera aplikacji i jego usług. Przykładowa aplikacja Cypress działa swobodnie na 4 vCPU i 16 GB. W Skipbox runs-on: skipbox-8x16 daje 8 vCPU i 16 GB za $79 miesięcznie, a skipbox-16x32 16 vCPU i 32 GB.
Czy mogę to wypróbować za darmo?
Tak. Okres próbny trwa 7 dni lub 3000 minut zadań, zależnie od tego, co nastąpi wcześniej, bez karty, na 4 vCPU i 16 GB. Przenieś zadanie E2E na runs-on: skipbox, uruchom je kilka razy i porównaj błędy i czasy kroków z GitHubem.
Zaktualizowano 19 listopada 2026