Skipbox

Нестабилни тестове с Cypress и Playwright в GitHub Actions: когато причината е рънърът

End-to-end тестовете, които минават на лаптопа ви и са нестабилни в GitHub Actions, често не са счупени, а не получават достатъчно ресурси. На ubuntu-latest в частно хранилище Cypress или Playwright, браузър, сървърът на приложението ви и базата му данни делят 2 CPU и 8 GB, така че страниците се рендират късно, команда превишава таймаута си (4 секунди по подразбиране в Cypress) или браузърът се срива по средата на изпълнението. Собствената документация на Cypress казва, че недостигът на ресурси се проявява като нестабилни, бавни или привидно случайни грешки и че примерното им приложение работи спокойно на 4 vCPU и 16 GB – два пъти повече от частния рънър. Потвърдете го, като наблюдавате процесора и паметта по време на неуспешно изпълнение, поправете фиксираните изчаквания и споделените данни в тестовете и дайте на задачата машината, от която се нуждае.

Skipbox ѝ дава тази машина на фиксирана цена: 8 vCPU и 16 GB с runs-on: skipbox-8x16 за $79 на месец, на машина, която Skipbox хоства само за вашия профил, където браузърите и пакетите остават инсталирани между изпълненията. Минутите са неограничени, така че повторните опити и частите не добавят към сметката.

С какво делят тестовете рънъра

Задача с E2E тестове изпълнява повече от тестовете. Според ръководството на Cypress за производителност: самия Cypress, браузъра, сървъра на приложението ви и всички фонови услуги, от които зависи приложението ви. На ubuntu-latest в частно хранилище те делят 2 CPU и 8 GB (рънъри, хоствани от GitHub). Този в публично хранилище получава 4 CPU и 16 GB – размерът, който Cypress посочва като удобен за примерното си приложение.

Признаците на машина без достатъчно ресурси, от същото ръководство:

  • Тестовете стават по-бавни с напредването на изпълнението
  • Браузърът се срива по средата на изпълнението без ясна грешка в тест
  • Процесорът или паметта стоят близо до 100% по време на изпълнението

Playwright стартира по един браузър на процес, а по подразбиране процесите са половината от ядрата. Документацията му за CI препоръчва workers: 1 в CI, за да има приоритет стабилността и възпроизводимостта, така че всеки тест получава цялата машина, и предлага паралелни тестове само на мощна самостоятелно хоствана CI система.

Потвърдете го, преди да променяте каквото и да е

  • Cypress: изпълнете с DEBUG=cypress:server:util:process_profiler npx cypress run. Той показва процесора и паметта на всеки 10 секунди; процесор постоянно над 100% означава, че машината е наситена.
  • Playwright: изпълнете отново неуспешния пакет с --workers=1. Ако нестабилността спре, ограничението е била машината, не тестовете. Пазете trace при повторен опит (trace: 'on-first-retry'), за да видите какво е правила страницата, когато се е провалила.
  • И при двата: добавете стъпка преди тестовете, nproc && free -h, и една във фонов режим, която записва top -b -n 1 | head -15 на всеки 15 секунди.

Нестабилностите, които спират на по-голяма машина, са били на рънъра, и по-голямата машина ги прекратява. Тест, който още се проваля на същото място, е проблем на самия тест: следващият раздел го поправя.

Поправете това, което е на тестовете

  • Без фиксирани изчаквания. cy.wait(2000) и page.waitForTimeout() минават на бърз лаптоп и се провалят на бавен рънър. Чакайте елемента, маршрута или отговора.
  • Регистрирайте intercept-ите преди заявката. cy.intercept, зададен след щракването, се надбягва със заявката.
  • Изолирайте данните. Тестове, които делят потребител или запис, се провалят, когато вървят в друг ред или паралелно.
  • Включете повторните опити в CI. Playwright отбелязва тест, който се проваля и после минава, като нестабилен в отчета си; настройката retries на Cypress пуска отново неуспешен тест в cypress run. Повторните опити ви показват нестабилните тестове. Не ги поправят.

Колко струва разделянето на части

Разделянето разпределя пакета тестове между задачи, всяка на собствена машина. Playwright приема --shard=1/4 и обединява blob отчетите в крайна задача; паралелният режим на Cypress изисква записване в Cypress Cloud, който разпределя спецификациите между машините.

Всяка част е нова VM в GitHub: инсталира пакетите, изтегля браузъра (Playwright съветва да не кеширате браузърите, защото възстановяването отнема горе-долу колкото изтеглянето), компилира и стартира приложението ви. Четири части плащат това четири пъти, а таксуването на минута брои всяка. Разделянето помага, когато машината е била ограничението, но умножава и настройката.

Колко струва бавен и нестабилен пакет тестове

E2E тестовете са последната проверка преди сливането, така че целият екип ги чака, а нестабилен тест добавя отгоре повторно изпълнение. При таксуване на минута всяка от тези минути се таксува:

При 8 vCPU 20 000 минути са $422 в GitHub и $79 в Skipbox M. Цифрите за GitHub са след включеното в GitHub Team използване. Собствените ви минути въведете в калкулатора на началната страница.

Дайте на пакета тестове машината

Всеки план идва с отделна машина за профила ви, пазена между задачите, на фиксирана цена:

  • Процесор и памет за целия стек. skipbox-8x16 има ядрата и паметта, които Cypress посочва за примерното си приложение, и повече ядра, така че браузърът, приложението и базата му данни спират да се конкурират. С 8 vCPU Playwright по подразбиране пуска 4 процеса.
  • Браузърите и пакетите остават. Браузърите на Playwright в ~/.cache/ms-playwright, двоичният файл на Cypress в ~/.cache/Cypress, кешът на npm и Docker образите на услугите ви са на диска, когато започне следващата задача.
  • Неограничени минути. Повторните опити, повторните изпълнения и частите не променят сметката. vCPU на плановете ви определят колко части се изпълняват едновременно; частите над това чакат реда си.

Преминаването е един ред

jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test

skipbox-8x16 работи с план M; пробният период изпълнява runs-on: skipbox (4 vCPU, 16 GB).

  1. Влезте в Skipbox с GitHub.
  2. Инсталирайте приложението Skipbox в GitHub и изберете хранилищата.
  3. Сменете runs-on и направете push.

Сигурност

  • Машината е само на вашия профил. Задачи на друга компания никога не се изпълняват на нея.
  • След всяка задача идентификационните данни, процесите и контейнерите на рънъра се изтриват. Браузърите и кешовете остават. „Чиста VM за всяка задача“ дава вместо това на всяка задача нова машина.
  • Код от хора без права за запис (например pull request-и от форкове) се изпълнява на нова VM, която чете кешовете ви, но не може да ги променя.

Подробностите са в как са изолирани задачите.

Изпробвайте го с нестабилния пакет тестове

Пробният период е безплатен за 7 дни или 3000 минути на задачи, което настъпи първо, без карта. Преместете задачата с E2E тестовете на runs-on: skipbox, пуснете я няколко пъти и пребройте нестабилните тестове и времената на стъпките спрямо тези в GitHub.

Често задавани въпроси

Защо тестовете ми с Cypress са нестабилни в GitHub Actions, а локално минават?

Често защото рънърът е по-малък от лаптопа ви. ubuntu-latest в частно хранилище има 2 CPU и 8 GB, а на него работят Cypress, браузърът му, сървърът на приложението ви и базата му данни. Когато се конкурират, страниците се рендират късно, команда минава 4-секундния си таймаут по подразбиране или браузърът се срива. Собственото ръководство на Cypress за производителност казва, че недостигът на ресурси се проявява като нестабилни, бавни или привидно случайни грешки и че примерното му приложение работи спокойно на 4 vCPU и 16 GB. Потвърдете го с DEBUG=cypress:server:util:process_profiler, поправете фиксираните изчаквания, после дайте на задачата повече процесор и памет.

Може ли процесорът или паметта на рънъра да са причината тестовете с Playwright да са нестабилни в CI?

Да. Всеки процес на Playwright управлява собствен браузър, а по подразбиране процесите са половината от ядрата на машината. Документацията на Playwright за CI препоръчва един процес в CI за стабилност, защото тогава всеки тест получава цялата машина. Ако тестовете минават с --workers=1 и са нестабилни с повече, машината е ограничението: оставете един процес на 2 CPU или преминете на машина с повече ядра и памет и увеличете процесите там.

Как да различа рънър без достатъчно ресурси от нестабилен тест?

Наблюдавайте машината по време на неуспешно изпълнение. Cypress показва процесора и паметта на всеки 10 секунди с DEBUG=cypress:server:util:process_profiler; за Playwright пуснете free -h и top във фонова стъпка или изпълнете отново с --workers=1. Рънър без достатъчно ресурси показва процесор близо до 100% или памет близо до лимита и грешки, които се местят между тестовете и се влошават към края на изпълнението. Нестабилният тест се проваля на същото място и на бърза машина.

Оправя ли разделянето на E2E тестовете на части нестабилността или разхода?

Само по себе си – нито едното. Разделянето дава на всяка част от пакета собствена машина, което помага, когато машината е била ограничението, но всяка част инсталира пакетите, изтегля браузърите и стартира приложението ви отново, а таксуването на минута брои всяка част. Паралелният режим на Cypress също изисква записване в Cypress Cloud. В Skipbox браузърите и пакетите остават на машината ви, а минутите са неограничени, така че частите и повторните опити не струват нищо допълнително.

Какъв размер рънър да използват E2E тестовете?

Започнете от това, до което работят тестовете: браузъра, сървъра на приложението и услугите му. Примерното приложение на Cypress работи спокойно на 4 vCPU и 16 GB. В Skipbox runs-on: skipbox-8x16 дава 8 vCPU и 16 GB за $79 на месец, а skipbox-16x32 – 16 vCPU и 32 GB.

Мога ли да го изпробвам безплатно?

Да. Пробният период е 7 дни или 3000 минути на задачи, което настъпи първо, без карта, на 4 vCPU и 16 GB. Преместете задачата с E2E тестовете на runs-on: skipbox, пуснете я няколко пъти и сравнете грешките и времената на стъпките с тези в GitHub.

Обновено на 19 ноември 2026 г.

По-бърз CI/CD с винаги топъл кеш

Вашият топъл рънър на фиксирана цена

Ние ги хостваме. Вие променяте един ред. 1/12 от цената на GitHub при пълно натоварване. Цената е фиксирана, затова пускайте задачи по цял ден. 7× повече място за кеш от GitHub.

  • Без карта
  • Вход с GitHub
  • Прекратяване по всяко време