Нестабилни тестове с Cypress и Playwright в GitHub Actions: когато причината е рънърът
End-to-end тестовете, които минават на лаптопа ви и са нестабилни в GitHub Actions, често не са счупени, а не получават достатъчно ресурси. На ubuntu-latest в частно хранилище Cypress или Playwright, браузър, сървърът на приложението ви и базата му данни делят 2 CPU и 8 GB, така че страниците се рендират късно, команда превишава таймаута си (4 секунди по подразбиране в Cypress) или браузърът се срива по средата на изпълнението. Собствената документация на Cypress казва, че недостигът на ресурси се проявява като нестабилни, бавни или привидно случайни грешки и че примерното им приложение работи спокойно на 4 vCPU и 16 GB – два пъти повече от частния рънър. Потвърдете го, като наблюдавате процесора и паметта по време на неуспешно изпълнение, поправете фиксираните изчаквания и споделените данни в тестовете и дайте на задачата машината, от която се нуждае.
Skipbox ѝ дава тази машина на фиксирана цена: 8 vCPU и 16 GB с runs-on: skipbox-8x16 за $79 на месец, на машина, която Skipbox хоства само за вашия профил, където браузърите и пакетите остават инсталирани между изпълненията. Минутите са неограничени, така че повторните опити и частите не добавят към сметката.
С какво делят тестовете рънъра
Задача с E2E тестове изпълнява повече от тестовете. Според ръководството на Cypress за производителност: самия Cypress, браузъра, сървъра на приложението ви и всички фонови услуги, от които зависи приложението ви. На ubuntu-latest в частно хранилище те делят 2 CPU и 8 GB (рънъри, хоствани от GitHub). Този в публично хранилище получава 4 CPU и 16 GB – размерът, който Cypress посочва като удобен за примерното си приложение.
Признаците на машина без достатъчно ресурси, от същото ръководство:
- Тестовете стават по-бавни с напредването на изпълнението
- Браузърът се срива по средата на изпълнението без ясна грешка в тест
- Процесорът или паметта стоят близо до 100% по време на изпълнението
Playwright стартира по един браузър на процес, а по подразбиране процесите са половината от ядрата. Документацията му за CI препоръчва workers: 1 в CI, за да има приоритет стабилността и възпроизводимостта, така че всеки тест получава цялата машина, и предлага паралелни тестове само на мощна самостоятелно хоствана CI система.
Потвърдете го, преди да променяте каквото и да е
- Cypress: изпълнете с
DEBUG=cypress:server:util:process_profiler npx cypress run. Той показва процесора и паметта на всеки 10 секунди; процесор постоянно над 100% означава, че машината е наситена. - Playwright: изпълнете отново неуспешния пакет с
--workers=1. Ако нестабилността спре, ограничението е била машината, не тестовете. Пазете trace при повторен опит (trace: 'on-first-retry'), за да видите какво е правила страницата, когато се е провалила. - И при двата: добавете стъпка преди тестовете,
nproc && free -h, и една във фонов режим, която записваtop -b -n 1 | head -15на всеки 15 секунди.
Нестабилностите, които спират на по-голяма машина, са били на рънъра, и по-голямата машина ги прекратява. Тест, който още се проваля на същото място, е проблем на самия тест: следващият раздел го поправя.
Поправете това, което е на тестовете
- Без фиксирани изчаквания.
cy.wait(2000)иpage.waitForTimeout()минават на бърз лаптоп и се провалят на бавен рънър. Чакайте елемента, маршрута или отговора. - Регистрирайте intercept-ите преди заявката.
cy.intercept, зададен след щракването, се надбягва със заявката. - Изолирайте данните. Тестове, които делят потребител или запис, се провалят, когато вървят в друг ред или паралелно.
- Включете повторните опити в CI. Playwright отбелязва тест, който се проваля и после минава, като нестабилен в отчета си; настройката
retriesна Cypress пуска отново неуспешен тест вcypress run. Повторните опити ви показват нестабилните тестове. Не ги поправят.
Колко струва разделянето на части
Разделянето разпределя пакета тестове между задачи, всяка на собствена машина. Playwright приема --shard=1/4 и обединява blob отчетите в крайна задача; паралелният режим на Cypress изисква записване в Cypress Cloud, който разпределя спецификациите между машините.
Всяка част е нова VM в GitHub: инсталира пакетите, изтегля браузъра (Playwright съветва да не кеширате браузърите, защото възстановяването отнема горе-долу колкото изтеглянето), компилира и стартира приложението ви. Четири части плащат това четири пъти, а таксуването на минута брои всяка. Разделянето помага, когато машината е била ограничението, но умножава и настройката.
Колко струва бавен и нестабилен пакет тестове
E2E тестовете са последната проверка преди сливането, така че целият екип ги чака, а нестабилен тест добавя отгоре повторно изпълнение. При таксуване на минута всяка от тези минути се таксува:
| Минути на месец (4 vCPU) | GitHub | Skipbox S | Спестявате всеки месец |
|---|---|---|---|
| 10 000 | $102 | $39 | $63 |
| 20 000 | $222 | $39 | $183 |
| 30 000 | $342 | $39 | $303 |
При 8 vCPU 20 000 минути са $422 в GitHub и $79 в Skipbox M. Цифрите за GitHub са след включеното в GitHub Team използване. Собствените ви минути въведете в калкулатора на началната страница.
Дайте на пакета тестове машината
Всеки план идва с отделна машина за профила ви, пазена между задачите, на фиксирана цена:
| Етикет | Машина | План |
|---|---|---|
skipbox | 4 vCPU · 16 GB | S, $39 на месец |
skipbox-8x16 | 8 vCPU · 16 GB | M, $79 на месец |
skipbox-16x32 | 16 vCPU · 32 GB | L, $149 на месец |
- Процесор и памет за целия стек.
skipbox-8x16има ядрата и паметта, които Cypress посочва за примерното си приложение, и повече ядра, така че браузърът, приложението и базата му данни спират да се конкурират. С 8 vCPU Playwright по подразбиране пуска 4 процеса. - Браузърите и пакетите остават. Браузърите на Playwright в
~/.cache/ms-playwright, двоичният файл на Cypress в~/.cache/Cypress, кешът на npm и Docker образите на услугите ви са на диска, когато започне следващата задача. - Неограничени минути. Повторните опити, повторните изпълнения и частите не променят сметката. vCPU на плановете ви определят колко части се изпълняват едновременно; частите над това чакат реда си.
Преминаването е един ред
jobs:
e2e:
runs-on: skipbox-8x16 # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
skipbox-8x16 работи с план M; пробният период изпълнява runs-on: skipbox (4 vCPU, 16 GB).
- Влезте в Skipbox с GitHub.
- Инсталирайте приложението Skipbox в GitHub и изберете хранилищата.
- Сменете
runs-onи направете push.
Сигурност
- Машината е само на вашия профил. Задачи на друга компания никога не се изпълняват на нея.
- След всяка задача идентификационните данни, процесите и контейнерите на рънъра се изтриват. Браузърите и кешовете остават. „Чиста VM за всяка задача“ дава вместо това на всяка задача нова машина.
- Код от хора без права за запис (например pull request-и от форкове) се изпълнява на нова VM, която чете кешовете ви, но не може да ги променя.
Подробностите са в как са изолирани задачите.
Изпробвайте го с нестабилния пакет тестове
Пробният период е безплатен за 7 дни или 3000 минути на задачи, което настъпи първо, без карта. Преместете задачата с E2E тестовете на runs-on: skipbox, пуснете я няколко пъти и пребройте нестабилните тестове и времената на стъпките спрямо тези в GitHub.
Често задавани въпроси
Защо тестовете ми с Cypress са нестабилни в GitHub Actions, а локално минават?
Често защото рънърът е по-малък от лаптопа ви. ubuntu-latest в частно хранилище има 2 CPU и 8 GB, а на него работят Cypress, браузърът му, сървърът на приложението ви и базата му данни. Когато се конкурират, страниците се рендират късно, команда минава 4-секундния си таймаут по подразбиране или браузърът се срива. Собственото ръководство на Cypress за производителност казва, че недостигът на ресурси се проявява като нестабилни, бавни или привидно случайни грешки и че примерното му приложение работи спокойно на 4 vCPU и 16 GB. Потвърдете го с DEBUG=cypress:server:util:process_profiler, поправете фиксираните изчаквания, после дайте на задачата повече процесор и памет.
Може ли процесорът или паметта на рънъра да са причината тестовете с Playwright да са нестабилни в CI?
Да. Всеки процес на Playwright управлява собствен браузър, а по подразбиране процесите са половината от ядрата на машината. Документацията на Playwright за CI препоръчва един процес в CI за стабилност, защото тогава всеки тест получава цялата машина. Ако тестовете минават с --workers=1 и са нестабилни с повече, машината е ограничението: оставете един процес на 2 CPU или преминете на машина с повече ядра и памет и увеличете процесите там.
Как да различа рънър без достатъчно ресурси от нестабилен тест?
Наблюдавайте машината по време на неуспешно изпълнение. Cypress показва процесора и паметта на всеки 10 секунди с DEBUG=cypress:server:util:process_profiler; за Playwright пуснете free -h и top във фонова стъпка или изпълнете отново с --workers=1. Рънър без достатъчно ресурси показва процесор близо до 100% или памет близо до лимита и грешки, които се местят между тестовете и се влошават към края на изпълнението. Нестабилният тест се проваля на същото място и на бърза машина.
Оправя ли разделянето на E2E тестовете на части нестабилността или разхода?
Само по себе си – нито едното. Разделянето дава на всяка част от пакета собствена машина, което помага, когато машината е била ограничението, но всяка част инсталира пакетите, изтегля браузърите и стартира приложението ви отново, а таксуването на минута брои всяка част. Паралелният режим на Cypress също изисква записване в Cypress Cloud. В Skipbox браузърите и пакетите остават на машината ви, а минутите са неограничени, така че частите и повторните опити не струват нищо допълнително.
Какъв размер рънър да използват E2E тестовете?
Започнете от това, до което работят тестовете: браузъра, сървъра на приложението и услугите му. Примерното приложение на Cypress работи спокойно на 4 vCPU и 16 GB. В Skipbox runs-on: skipbox-8x16 дава 8 vCPU и 16 GB за $79 на месец, а skipbox-16x32 – 16 vCPU и 32 GB.
Мога ли да го изпробвам безплатно?
Да. Пробният период е 7 дни или 3000 минути на задачи, което настъпи първо, без карта, на 4 vCPU и 16 GB. Преместете задачата с E2E тестовете на runs-on: skipbox, пуснете я няколко пъти и сравнете грешките и времената на стъпките с тези в GitHub.
Обновено на 19 ноември 2026 г.