Skipbox

Нестабильные тесты Cypress и Playwright в GitHub Actions: когда причина — раннер

End-to-end тесты, которые проходят на ноутбуке и нестабильно падают в GitHub Actions, часто не сломаны, а голодают. На ubuntu-latest в приватном репозитории Cypress или Playwright, браузер, сервер вашего приложения и его база данных делят 2 CPU и 8 ГБ, поэтому страницы рендерятся с опозданием, команда выходит за свой таймаут (в Cypress по умолчанию 4 секунды) или браузер падает посреди запуска. Собственная документация Cypress говорит, что нехватка ресурсов проявляется как нестабильные, медленные или на первый взгляд случайные падения и что их пример приложения комфортно работает на 4 vCPU и 16 ГБ — вдвое больше, чем у приватного раннера. Подтвердите это, наблюдая за CPU и памятью во время падающего запуска, исправьте в тестах фиксированные ожидания и общие данные и дайте заданию машину, которая ему нужна.

Skipbox даёт ему такую машину по фиксированной цене: 8 vCPU и 16 ГБ на runs-on: skipbox-8x16 за $79 в месяц, на машине, которую Skipbox размещает только для вашего аккаунта, где браузеры и пакеты остаются установленными между запусками. Минуты не ограничены, поэтому повторы и шарды не увеличивают счёт.

С чем тесты делят раннер

Задание E2E запускает не только тесты. По руководству Cypress по производительности (на английском), это сам Cypress, браузер, сервер приложения и все фоновые сервисы, от которых зависит приложение. На ubuntu-latest в приватном репозитории они делят 2 CPU и 8 ГБ (GitHub-hosted runners). В публичном репозитории он получает 4 CPU и 16 ГБ — именно тот размер, который Cypress называет комфортным для своего примера приложения.

Признаки голодающей машины, из того же руководства:

  • Тесты замедляются по ходу запуска
  • Браузер падает посреди запуска без явного падения теста
  • CPU или память держатся около 100% во время запуска

Playwright запускает по браузеру на воркер, и по умолчанию воркеров — половина ядер. Его документация по CI рекомендует в CI workers: 1, ставя на первое место стабильность и воспроизводимость, чтобы каждый тест получал всю машину, а параллельные тесты советует только на мощной self-hosted CI-системе.

Подтвердите, прежде чем что-то менять

  • Cypress: запустите с DEBUG=cypress:server:util:process_profiler npx cypress run. Он выводит CPU и память каждые 10 секунд; CPU стабильно выше 100% значит, что машина перегружена.
  • Playwright: перезапустите падающий набор с --workers=1. Если нестабильность пропала, пределом была машина, а не тесты. Включите trace на повторе (trace: 'on-first-retry'), чтобы видеть, что делала страница в момент падения.
  • Оба: добавьте перед тестами шаг nproc && free -h, а в фоне — шаг, который каждые 15 секунд пишет top -b -n 1 | head -15.

Сбои, которые пропадают на машине побольше, были из-за раннера, и машина побольше их убирает. Тест, который всё ещё падает в том же месте, сломан сам: следующий раздел это исправляет.

Исправьте то, что относится к тестам

  • Никаких фиксированных ожиданий. cy.wait(2000) и page.waitForTimeout() проходят на быстром ноутбуке и падают на медленном раннере. Ждите элемент, маршрут или ответ.
  • Регистрируйте перехват до запроса. cy.intercept, поставленный после клика, гонится с запросом.
  • Изолируйте данные. Тесты, которые делят пользователя или запись, падают, когда выполняются в другом порядке или параллельно.
  • Включите повторы в CI. Playwright помечает тест, который упал, а потом прошёл, как flaky в своём отчёте; настройка retries в Cypress снова запускает упавший тест в cypress run. Повторы показывают нестабильные тесты. Они их не исправляют.

Чего стоит шардирование

Шардирование делит набор на задания, каждое на своей машине. Playwright принимает --shard=1/4 и объединяет blob-отчёты в финальном задании; параллельному режиму Cypress нужна запись в Cypress Cloud, которая распределяет спеки по машинам.

Каждый шард — новая ВМ GitHub: он ставит пакеты, скачивает браузер (Playwright не советует кэшировать браузеры, потому что восстановление занимает примерно столько же, сколько скачивание), собирает и запускает приложение. Четыре шарда платят за это четыре раза, а при поминутной оплате считается каждый. Шардирование помогает, когда пределом была машина, но умножает вместе с ней и подготовку.

Чего стоит медленный и нестабильный набор

E2E-тесты — последняя проверка перед слиянием, поэтому их ждёт вся команда, а нестабильное падение добавляет сверху повторный запуск. При поминутной оплате каждая из этих минут оплачивается:

На 8 vCPU 20 000 минут стоят $422 на GitHub и $79 в Skipbox M. Суммы GitHub — после вычета использования, включённого в GitHub Team. Свои минуты подставьте в калькулятор на главной странице.

Дайте набору машину

Каждый тариф — это выделенная машина вашего аккаунта, которая сохраняется между заданиями, по фиксированной цене:

  • CPU и память на весь стек. У skipbox-8x16 есть ядра и память, которые Cypress называет для своего примера приложения, и ещё больше ядер, поэтому браузер, приложение и его база данных перестают конкурировать. С 8 vCPU у Playwright по умолчанию 4 воркера.
  • Браузеры и пакеты остаются. Браузеры Playwright в ~/.cache/ms-playwright, бинарник Cypress в ~/.cache/Cypress, кэш npm и образы Docker ваших сервисов уже на диске, когда начинается следующее задание.
  • Минуты без ограничений. Повторы, повторные запуски и шарды не меняют счёт. Сколько шардов идёт одновременно, задают vCPU ваших тарифов; шарды сверх этого ждут своей очереди.

Переход — это одна строка

jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test

skipbox-8x16 выполняется на тарифе M; пробный период выполняет runs-on: skipbox (4 vCPU, 16 ГБ).

  1. Войдите в Skipbox через GitHub.
  2. Установите GitHub App Skipbox и выберите репозитории.
  3. Измените runs-on и сделайте push.

Безопасность

  • Машина принадлежит только вашему аккаунту. Задания других компаний на ней не выполняются.
  • После каждого задания стираются учётные данные раннера, процессы и контейнеры. Браузеры и кэши остаются. Режим «Чистая ВМ для каждого задания» вместо этого даёт каждому заданию новую машину.
  • Код от людей без прав на запись (например, pull request из форков) выполняется на новой ВМ, которая читает ваши кэши, но не может их изменить.

Подробности — в разделе «Как изолированы задания».

Попробуйте на нестабильном наборе

Пробный период бесплатный и без карты: 7 дней или 3 000 мин работы заданий — что закончится раньше. Перенесите задание E2E на runs-on: skipbox, запустите его несколько раз и сравните число нестабильных падений и время шагов с GitHub.

Вопросы и ответы

Почему мои тесты Cypress нестабильно падают в GitHub Actions, а локально проходят?

Часто потому, что раннер меньше вашего ноутбука. У ubuntu-latest в приватном репозитории 2 CPU и 8 ГБ, и на нём работают Cypress, его браузер, сервер вашего приложения и его база данных. Когда они конкурируют, страницы рендерятся с опозданием, команда выходит за свой таймаут по умолчанию в 4 секунды или браузер падает. Собственное руководство Cypress по производительности говорит, что нехватка ресурсов проявляется как нестабильные, медленные или на первый взгляд случайные падения, а его пример приложения комфортно работает на 4 vCPU и 16 ГБ. Подтвердите это через DEBUG=cypress:server:util:process_profiler, исправьте фиксированные ожидания, а потом дайте заданию больше CPU и памяти.

Может ли CPU или память раннера быть причиной нестабильности Playwright в CI?

Да. Каждый воркер Playwright управляет своим браузером, а по умолчанию воркеров — половина ядер машины. Документация Playwright по CI рекомендует в CI один воркер ради стабильности, потому что тогда каждый тест получает всю машину. Если тесты проходят с --workers=1 и нестабильны с большим числом, предел — машина: оставьте один воркер на 2 CPU или перейдите на машину с бо́льшим числом ядер и памяти и поднимите там число воркеров.

Как отличить голодающий раннер от нестабильного теста?

Смотрите на машину во время падающего запуска. Cypress выводит CPU и память каждые 10 секунд с DEBUG=cypress:server:util:process_profiler; для Playwright запустите free -h и top в фоновом шаге или перезапустите с --workers=1. Голодающий раннер показывает CPU около 100% или память у предела, а падения переходят с теста на тест и учащаются ближе к концу запуска. Нестабильный тест падает в том же месте и на быстрой машине.

Исправляет ли шардирование E2E-тестов нестабильность или стоимость?

Само по себе — ни то ни другое. Шардирование даёт каждой части набора свою машину, что помогает, когда пределом была машина, но каждый шард снова ставит пакеты, скачивает браузеры и запускает приложение, а при поминутной оплате считается каждый шард. Параллельному режиму Cypress вдобавок нужна запись в Cypress Cloud. В Skipbox браузеры и пакеты остаются на вашей машине, а минуты не ограничены, поэтому шарды и повторы ничего не стоят сверху.

Какой размер раннера нужен E2E-тестам?

Отталкивайтесь от того, что работает рядом с тестами: браузер, сервер приложения и его сервисы. Пример приложения Cypress комфортно работает на 4 vCPU и 16 ГБ. В Skipbox runs-on: skipbox-8x16 даёт 8 vCPU и 16 ГБ за $79 в месяц, а skipbox-16x32 — 16 vCPU и 32 ГБ.

Можно ли попробовать бесплатно?

Да. Пробный период — 7 дней или 3 000 мин работы заданий, что закончится раньше, без карты, на 4 vCPU и 16 ГБ. Перенесите задание E2E на runs-on: skipbox, запустите его несколько раз и сравните падения и время шагов с GitHub.

Обновлено 19 ноября 2026 г.

Более быстрый CI/CD с всегда «тёплым» кэшем

Ваш «тёплый» раннер по фиксированной цене

Хостинг наш. Вы меняете одну строку. 1/12 стоимости GitHub при полной загрузке. Цена фиксированная — гоняйте CI хоть весь день. В 7× больше места под кэш, чем у GitHub.

  • Без карты
  • Вход через GitHub
  • Отмена в любой момент