Skipbox

Niestabilne testy Cypress i Playwright w GitHub Actions: gdy przyczyną jest runner

Testy end-to-end, które przechodzą na Twoim laptopie, a w GitHub Actions zawodzą losowo, często są zagłodzone, a nie zepsute. Na ubuntu-latest repozytorium prywatnego Cypress albo Playwright, przeglądarka, serwer Twojej aplikacji i jej baza danych dzielą 2 CPU i 8 GB, więc strony renderują się z opóźnieniem, polecenie przekracza swój limit czasu (w Cypress domyślnie 4 sekundy) albo przeglądarka wysypuje się w trakcie uruchomienia. Własna dokumentacja Cypress mówi, że brak zasobów objawia się niestabilnymi, wolnymi albo pozornie losowymi błędami, a ich przykładowa aplikacja działa swobodnie na 4 vCPU i 16 GB, dwa razy więcej niż ma prywatny runner. Potwierdź to, obserwując CPU i pamięć podczas nieudanego uruchomienia, popraw w testach stałe oczekiwania i współdzielone dane i daj zadaniu maszynę, której potrzebuje.

Skipbox daje mu taką maszynę w stałej cenie: 8 vCPU i 16 GB na runs-on: skipbox-8x16 za $79 miesięcznie, na dedykowanej maszynie Twojego konta, na której przeglądarki i pakiety zostają zainstalowane między uruchomieniami. Minuty są bez limitu, więc ponowienia i części nie dokładają nic do rachunku.

Z czym testy dzielą runner

Zadanie E2E uruchamia więcej niż same testy. Według przewodnika Cypress o wydajności to sam Cypress, przeglądarka, serwer Twojej aplikacji i wszystkie usługi w tle, od których zależy aplikacja. Na ubuntu-latest repozytorium prywatnego dzielą one 2 CPU i 8 GB (GitHub-hosted runners). Runner repozytorium publicznego dostaje 4 CPU i 16 GB, czyli rozmiar, który Cypress podaje jako swobodny dla swojej przykładowej aplikacji.

Oznaki zagłodzonej maszyny według tego samego przewodnika:

  • Testy zwalniają w miarę trwania uruchomienia
  • Przeglądarka wysypuje się w trakcie uruchomienia bez wyraźnego błędu testu
  • CPU albo pamięć utrzymuje się blisko 100% przez całe uruchomienie

Playwright uruchamia jedną przeglądarkę na workera, a domyślnie workerów jest połowa rdzeni. Jego dokumentacja o CI zaleca w CI workers: 1, żeby postawić na stabilność i powtarzalność, tak by każdy test dostawał całą maszynę, a testy równoległe sugeruje tylko na mocnym systemie CI self-hosted.

Potwierdź, zanim cokolwiek zmienisz

  • Cypress: uruchom z DEBUG=cypress:server:util:process_profiler npx cypress run. Wypisuje CPU i pamięć co 10 sekund; CPU stale powyżej 100% oznacza, że maszyna jest nasycona.
  • Playwright: powtórz nieudany zestaw z --workers=1. Jeśli niestabilności znikną, ograniczeniem była maszyna, a nie testy. Zbieraj trace przy ponowieniu (trace: 'on-first-retry'), żeby zobaczyć, co robiła strona w chwili błędu.
  • W obu: dodaj przed testami krok nproc && free -h, a w tle krok, który co 15 sekund loguje top -b -n 1 | head -15.

Niestabilności, które znikają na większej maszynie, pochodziły od runnera, a większa maszyna je kończy. Test, który nadal zawodzi w tym samym miejscu, ma problem we własnym kodzie: naprawia go następna sekcja.

Napraw to, co należy do testów

  • Bez stałych oczekiwań. cy.wait(2000) i page.waitForTimeout() przechodzą na szybkim laptopie i zawodzą na wolnym runnerze. Czekaj zamiast tego na element, trasę albo odpowiedź.
  • Rejestruj przechwycenia przed żądaniem. cy.intercept ustawiony po kliknięciu ściga się z żądaniem.
  • Izoluj dane. Testy, które dzielą użytkownika albo rekord, zawodzą, gdy działają w innej kolejności albo równolegle.
  • Włącz ponowienia w CI. Playwright oznacza w raporcie test, który najpierw nie przeszedł, a potem przeszedł, jako niestabilny; ustawienie retries w Cypress uruchamia nieudany test ponownie w cypress run. Ponowienia pokazują Ci niestabilne testy. Nie naprawiają ich.

Ile kosztuje dzielenie na części

Dzielenie rozkłada zestaw na zadania, każde na własnej maszynie. Playwright przyjmuje --shard=1/4 i scala raporty blob w końcowym zadaniu; tryb równoległy Cypress wymaga nagrywania do Cypress Cloud, które rozkłada specyfikacje między maszyny.

Każda część to nowa VM GitHuba: instaluje pakiety, pobiera przeglądarkę (Playwright odradza zapisywanie przeglądarek w cache, bo przywrócenie trwa mniej więcej tyle, co pobranie), buduje i uruchamia Twoją aplikację. Cztery części płacą za to cztery razy, a rozliczanie za minutę liczy każdą z nich. Dzielenie pomaga, gdy ograniczeniem była maszyna, ale razem z nią mnoży przygotowanie.

Ile kosztuje wolny, niestabilny zestaw testów

Testy E2E to ostatnie sprawdzenie przed scaleniem, więc czeka na nie cały zespół, a niestabilny błąd dokłada do tego ponowne uruchomienie. Przy rozliczaniu za minutę każda z tych minut jest naliczana:

Przy 8 vCPU 20 000 minut to $422 w GitHubie i $79 w Skipbox M. Kwoty GitHuba są po odjęciu użycia wliczonego w GitHub Team. Własne minuty wpisz do kalkulatora na stronie głównej.

Daj zestawowi testów maszynę

Każdy plan ma dedykowaną maszynę Twojego konta, która zostaje między zadaniami, w stałej cenie:

  • CPU i pamięć dla całego stosu. skipbox-8x16 ma rdzenie i pamięć, które Cypress podaje dla swojej przykładowej aplikacji, i więcej rdzeni, więc przeglądarka, aplikacja i jej baza danych przestają rywalizować. Przy 8 vCPU domyślna liczba workerów Playwright to 4.
  • Przeglądarki i pakiety zostają. Przeglądarki Playwright w ~/.cache/ms-playwright, binarka Cypress w ~/.cache/Cypress, cache npm i obrazy Dockera Twoich usług są na dysku, gdy startuje następne zadanie.
  • Minuty bez limitu. Ponowienia, ponowne uruchomienia i części nie zmieniają rachunku. vCPU Twoich planów wyznaczają, ile części działa naraz; części ponad to czekają na swoją kolej.

Przejście to jedna linia

jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test

skipbox-8x16 działa w planie M; okres próbny uruchamia runs-on: skipbox (4 vCPU, 16 GB).

  1. Zaloguj się do Skipbox przez GitHuba.
  2. Zainstaluj aplikację Skipbox w GitHubie i wybierz repozytoria.
  3. Zmień runs-on i zrób push.

Bezpieczeństwo

  • Maszyna należy tylko do Twojego konta. Nie działają na niej zadania żadnej innej firmy.
  • Po każdym zadaniu usuwane są dane uwierzytelniające runnera, procesy i kontenery. Przeglądarki i cache zostają. Opcja Nowa VM dla każdego zadania daje zamiast tego każdemu zadaniu nową maszynę.
  • Kod od osób bez uprawnień do zapisu (na przykład pull requesty z forków) działa na nowej VM, która czyta Twój cache, ale nie może go zmienić.

Szczegóły są w artykule jak zadania są od siebie odizolowane.

Wypróbuj na niestabilnym zestawie testów

Okres próbny jest bezpłatny przez 7 dni lub 3000 minut zadań, zależnie od tego, co nastąpi wcześniej, bez karty. Przenieś zadanie E2E na runs-on: skipbox, uruchom je kilka razy i porównaj liczbę niestabilnych błędów i czasy kroków z GitHubem.

FAQ

Dlaczego moje testy Cypress są niestabilne w GitHub Actions, a lokalnie przechodzą?

Często dlatego, że runner jest mniejszy niż Twój laptop. ubuntu-latest repozytorium prywatnego ma 2 CPU i 8 GB, a działają na nim Cypress, jego przeglądarka, serwer Twojej aplikacji i jej baza danych. Gdy rywalizują o zasoby, strony renderują się z opóźnieniem, polecenie przekracza domyślny limit 4 sekund albo przeglądarka się wysypuje. Własny przewodnik Cypress o wydajności mówi, że brak zasobów objawia się niestabilnymi, wolnymi albo pozornie losowymi błędami, a jego przykładowa aplikacja działa swobodnie na 4 vCPU i 16 GB. Potwierdź to przez DEBUG=cypress:server:util:process_profiler, popraw stałe oczekiwania, a potem daj zadaniu więcej CPU i pamięci.

Czy CPU albo pamięć runnera mogą być przyczyną niestabilnych testów Playwright w CI?

Tak. Każdy worker Playwright steruje własną przeglądarką, a domyślnie jest ich połowa rdzeni maszyny. Dokumentacja Playwright o CI zaleca w CI jednego workera dla stabilności, bo wtedy każdy test dostaje całą maszynę. Jeśli testy przechodzą z --workers=1, a z większą liczbą zawodzą, ograniczeniem jest maszyna: zostań przy jednym workerze na 2 CPU albo przejdź na maszynę z większą liczbą rdzeni i pamięci i tam zwiększ liczbę workerów.

Jak odróżnić zagłodzony runner od niestabilnego testu?

Obserwuj maszynę podczas nieudanego uruchomienia. Cypress wypisuje CPU i pamięć co 10 sekund z DEBUG=cypress:server:util:process_profiler; przy Playwright uruchom free -h i top w kroku w tle albo powtórz uruchomienie z --workers=1. Zagłodzony runner pokazuje CPU blisko 100% albo pamięć blisko limitu, a błędy przeskakują między testami i nasilają się w dalszej części uruchomienia. Niestabilny test zawodzi w tym samym miejscu także na szybkiej maszynie.

Czy dzielenie testów E2E na części naprawia niestabilność albo koszt?

Samo w sobie ani jedno, ani drugie. Dzielenie daje każdej części zestawu własną maszynę, co pomaga, gdy ograniczeniem była maszyna, ale każda część znowu instaluje pakiety, pobiera przeglądarki i uruchamia Twoją aplikację, a rozliczanie za minutę liczy każdą część. Tryb równoległy Cypress wymaga też nagrywania do Cypress Cloud. W Skipbox przeglądarki i pakiety zostają na Twojej maszynie, a minuty są bez limitu, więc części i ponowienia nic dodatkowo nie kosztują.

Jakiego rozmiaru runnera powinny używać testy E2E?

Zacznij od tego, co działa obok testów: przeglądarki, serwera aplikacji i jego usług. Przykładowa aplikacja Cypress działa swobodnie na 4 vCPU i 16 GB. W Skipbox runs-on: skipbox-8x16 daje 8 vCPU i 16 GB za $79 miesięcznie, a skipbox-16x32 16 vCPU i 32 GB.

Czy mogę to wypróbować za darmo?

Tak. Okres próbny trwa 7 dni lub 3000 minut zadań, zależnie od tego, co nastąpi wcześniej, bez karty, na 4 vCPU i 16 GB. Przenieś zadanie E2E na runs-on: skipbox, uruchom je kilka razy i porównaj błędy i czasy kroków z GitHubem.

Zaktualizowano 19 listopada 2026

Szybsze CI/CD z cache, który jest zawsze rozgrzany

Twój rozgrzany runner w stałej cenie

My je hostujemy. Ty zmieniasz jedną linię. 1/12 ceny GitHuba przy pełnym wykorzystaniu. Stała cena, więc możesz uruchamiać zadania przez cały dzień. 7× więcej miejsca na cache niż w GitHubie.

  • Bez karty
  • Logowanie przez GitHub
  • Anulujesz w każdej chwili