GitHub Actions에서 Cypress와 Playwright 테스트가 불안정할 때: 실행기가 원인인 경우
노트북에서는 통과하고 GitHub Actions에서는 흔들리는 엔드투엔드 테스트는 고장 난 게 아니라 자원이 모자란 경우가 많아요. 프라이빗 리포지토리의 ubuntu-latest에서는 Cypress나 Playwright, 브라우저, 앱 서버, 데이터베이스가 CPU 2개와 8 GB를 나눠 써요. 그래서 페이지가 늦게 그려지고, 명령이 타임아웃(Cypress 기본값 4초)을 넘기거나, 실행 중에 브라우저가 죽어요. Cypress 문서는 자원 부족이 불안정하거나 느리거나 겉보기에 무작위인 실패로 나타난다고 하고, 예제 앱은 프라이빗 실행기의 두 배인 4 vCPU와 16 GB에서 여유 있게 돈다고 해요. 실패하는 실행 중에 CPU와 메모리를 지켜보며 확인하고, 테스트의 고정 대기와 공유 데이터를 고치고, 작업에 필요한 머신을 주세요.
Skipbox는 그 머신을 정액으로 줘요. runs-on: skipbox-8x16이면 8 vCPU와 16 GB가 월 $79이고, 실행 사이에도 브라우저와 패키지가 설치된 채로 남는 내 계정 전용 머신에서 돌아요. 실행 시간은 무제한이라서, 재시도와 샤드가 청구액을 늘리지 않아요.
테스트가 실행기를 함께 쓰는 것
E2E 작업은 테스트만 돌리는 게 아니에요. Cypress의 성능 가이드에 따르면 Cypress 자체, 브라우저, 앱 서버, 앱이 기대는 백그라운드 서비스가 모두 돌아요. 프라이빗 리포지토리의 ubuntu-latest에서는 이들이 CPU 2개와 8 GB를 나눠 써요(GitHub 호스팅 실행기). 퍼블릭 리포지토리의 것은 CPU 4개와 16 GB를 받고, 이것이 Cypress가 예제 앱에 여유 있다고 말하는 크기예요.
같은 가이드가 드는 자원 부족의 징후예요.
- 실행이 진행될수록 테스트가 느려져요
- 분명한 테스트 실패 없이 실행 중에 브라우저가 죽어요
- 실행 내내 CPU나 메모리가 100% 가까이에 머물러요
Playwright는 워커마다 브라우저를 하나씩 띄우고, 기본값은 코어의 절반이에요. CI 문서는 안정성과 재현성을 우선하려면 CI에서 workers: 1을 쓰라고 권하는데, 그러면 테스트마다 머신 전체를 써요. 병렬 테스트는 성능 좋은 자체 호스팅 CI 시스템에서만 권해요.
무엇을 바꾸기 전에 확인하기
- Cypress:
DEBUG=cypress:server:util:process_profiler npx cypress run으로 돌리세요. 10초마다 CPU와 메모리를 출력해요. CPU가 계속 100%를 넘으면 머신이 포화된 거예요. - Playwright: 실패하는 스위트를
--workers=1로 다시 돌리세요. 흔들림이 멈추면 한계는 테스트가 아니라 머신이었어요. 재시도 때 트레이스를 남겨(trace: 'on-first-retry') 실패한 순간 페이지가 무엇을 하고 있었는지 보세요. - 둘 다: 테스트 앞에
nproc && free -h단계를 넣고, 15초마다top -b -n 1 | head -15를 기록하는 단계를 백그라운드로 두세요.
더 큰 머신에서 멈추는 실패는 실행기 탓이고, 더 큰 머신이면 끝나요. 그래도 같은 곳에서 실패하는 테스트는 테스트 자체의 문제이고, 다음 절에서 고쳐요.
테스트의 몫은 테스트에서 고치기
- 고정 대기를 없애세요.
cy.wait(2000)과page.waitForTimeout()은 빠른 노트북에서는 통과하고 느린 실행기에서는 실패해요. 요소, 경로, 응답을 기다리세요. - 가로채기는 요청 전에 등록하세요. 클릭 뒤에 건
cy.intercept는 요청과 경쟁해요. - 데이터를 분리하세요. 사용자나 레코드를 같이 쓰는 테스트는 순서가 바뀌거나 병렬로 돌면 실패해요.
- CI에서 재시도를 켜세요. Playwright는 실패했다가 통과한 테스트를 보고서에 flaky로 표시하고, Cypress의
retries설정은cypress run에서 실패한 테스트를 다시 돌려요. 재시도는 불안정한 테스트를 보여 줄 뿐, 고쳐 주지는 않아요.
샤딩에 드는 비용
샤딩은 스위트를 여러 작업으로 나눠 각자 머신에서 돌려요. Playwright는 --shard=1/4를 받고 마지막 작업에서 blob 보고서를 합쳐요. Cypress의 병렬 모드는 Cypress Cloud에 기록해야 하고, Cloud가 스펙을 머신에 나눠 줘요.
샤드마다 새 GitHub VM이에요. 패키지를 설치하고, 브라우저를 받고(Playwright는 복원이 다운로드만큼 걸린다며 브라우저 캐시를 권하지 않아요), 앱을 빌드하고 띄워요. 샤드가 넷이면 그 비용을 네 번 내고, 분 단위 청구는 하나하나 세요. 머신이 한계였다면 샤딩이 도움이 되지만, 준비도 같이 몇 배가 돼요.
느리고 불안정한 스위트의 비용
E2E 테스트는 병합 전 마지막 검사라서 팀 전체가 기다리고, 흔들리면 다시 실행이 더해져요. 분 단위 청구에서는 그 1분 1분이 모두 청구돼요.
| 월 실행 시간(4 vCPU) | GitHub | Skipbox S | 매달 아끼는 금액 |
|---|---|---|---|
| 10,000분 | $102 | $39 | $63 |
| 20,000분 | $222 | $39 | $183 |
| 30,000분 | $342 | $39 | $303 |
8 vCPU로 20,000분이면 GitHub에서 $422, Skipbox M에서 $79예요. GitHub 쪽 금액은 GitHub Team에 포함된 사용량을 뺀 금액이에요. 내 실행 시간은 홈 페이지의 계산기에 넣어 보세요.
스위트에 머신을 주기
요금제마다 작업 사이에도 유지되는 내 계정 전용 머신이 정액으로 따라와요.
| 레이블 | 머신 | 요금제 |
|---|---|---|
skipbox | 4 vCPU · 16 GB | S, 월 $39 |
skipbox-8x16 | 8 vCPU · 16 GB | M, 월 $79 |
skipbox-16x32 | 16 vCPU · 32 GB | L, 월 $149 |
- 스택 전체를 위한 CPU와 메모리.
skipbox-8x16은 Cypress가 예제 앱에 드는 코어와 메모리를 갖추고 코어는 더 많아서, 브라우저, 앱, 데이터베이스가 더는 다투지 않아요. 8 vCPU라면 Playwright의 기본 워커는 4개예요. - 브라우저와 패키지가 남아요.
~/.cache/ms-playwright의 Playwright 브라우저,~/.cache/Cypress의 Cypress 바이너리, npm 캐시, 서비스의 Docker 이미지가 다음 작업이 시작될 때 디스크에 있어요. - 실행 시간 무제한. 재시도, 다시 실행, 샤드가 청구액을 바꾸지 않아요. 요금제의 vCPU가 동시에 도는 샤드 수를 정하고, 그보다 많은 샤드는 차례를 기다려요.
옮기는 건 한 줄이에요
jobs:
e2e:
runs-on: skipbox-8x16 # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
skipbox-8x16은 M 요금제에서 돌아요. 무료 체험에서는 runs-on: skipbox(4 vCPU, 16 GB)가 돌아요.
- GitHub로 Skipbox에 로그인하세요.
- Skipbox GitHub App을 설치하고 리포지토리를 고르세요.
runs-on을 바꾸고 푸시하세요.
보안
- 머신은 내 계정만 써요. 다른 회사의 작업은 그 머신에서 돌지 않아요.
- 작업이 끝날 때마다 실행기의 자격 증명, 프로세스, 컨테이너를 지워요. 브라우저와 캐시는 남아요. ‘작업마다 새 VM’을 켜면 작업마다 새 머신에서 돌아요.
- 쓰기 권한이 없는 사람의 코드(포크에서 온 풀 리퀘스트 등)는 새 VM에서 돌고, 그 VM은 캐시를 읽을 수만 있고 바꿀 수는 없어요.
자세한 내용은 작업을 분리하는 방식에 있어요.
불안정한 스위트로 체험해 보세요
무료 체험은 7일 또는 작업 시간 3,000분 중 먼저 끝나는 쪽까지 무료이고, 카드가 필요 없어요. E2E 작업을 runs-on: skipbox로 옮기고 몇 번 돌린 뒤, 흔들림과 단계별 시간을 GitHub와 비교해 보세요.
자주 묻는 질문
Cypress 테스트가 로컬에서는 통과하는데 GitHub Actions에서는 왜 불안정한가요?
실행기가 노트북보다 작은 경우가 많아서예요. 프라이빗 리포지토리의 ubuntu-latest는 CPU 2개와 8 GB이고, 그 위에서 Cypress, 브라우저, 앱 서버, 데이터베이스가 모두 돌아요. 서로 다투면 페이지가 늦게 그려지고, 명령이 기본 타임아웃 4초를 넘기거나, 브라우저가 죽어요. Cypress의 성능 가이드는 자원 부족이 불안정하거나 느리거나 겉보기에 무작위인 실패로 나타난다고 하고, 예제 앱은 4 vCPU와 16 GB에서 여유 있게 돈다고 해요. DEBUG=cypress:server:util:process_profiler로 확인하고, 고정 대기를 고친 뒤, 작업에 더 많은 CPU와 메모리를 주세요.
CI에서 Playwright 테스트가 흔들리는 게 실행기의 CPU나 메모리 때문일 수 있나요?
네. Playwright 워커는 각자 브라우저를 하나씩 띄우고, 기본값은 머신 코어 수의 절반이에요. Playwright의 CI 문서는 안정성을 위해 CI에서 워커 하나를 권하는데, 그러면 테스트마다 머신 전체를 쓰기 때문이에요. --workers=1에서는 통과하고 그보다 많으면 흔들린다면 머신이 한계예요. CPU 2개에서는 워커 하나로 두거나, 코어와 메모리가 더 많은 머신으로 옮겨서 거기서 워커를 늘리세요.
자원이 모자란 실행기와 불안정한 테스트는 어떻게 구별하나요?
실패하는 실행 중에 머신을 지켜보세요. Cypress는 DEBUG=cypress:server:util:process_profiler를 주면 10초마다 CPU와 메모리를 출력해요. Playwright라면 백그라운드 단계에서 free -h와 top을 돌리거나, --workers=1로 다시 돌려 보세요. 자원이 모자란 실행기는 CPU가 100% 가까이, 메모리가 한도 가까이 올라가 있고, 실패가 테스트 사이를 옮겨 다니며 실행 후반으로 갈수록 심해져요. 불안정한 테스트는 빠른 머신에서도 같은 곳에서 실패해요.
E2E 테스트를 샤딩하면 불안정함이나 비용이 해결되나요?
그것만으로는 둘 다 아니에요. 샤딩은 스위트의 각 부분에 머신을 따로 주므로 머신이 한계였다면 도움이 되지만, 샤드마다 패키지를 설치하고, 브라우저를 받고, 앱을 다시 띄우고, 분 단위 청구는 샤드를 하나하나 세요. Cypress의 병렬 모드는 Cypress Cloud에 기록하는 것도 필요해요. Skipbox에서는 브라우저와 패키지가 내 머신에 남고 실행 시간이 무제한이라서, 샤드와 재시도에 추가 비용이 없어요.
E2E 테스트에는 어느 크기의 실행기가 맞나요?
테스트 옆에서 함께 도는 것, 곧 브라우저, 앱 서버, 그 서비스에서 시작하세요. Cypress의 예제 앱은 4 vCPU와 16 GB에서 여유 있게 돌아요. Skipbox에서 runs-on: skipbox-8x16은 8 vCPU와 16 GB를 월 $79에, skipbox-16x32은 16 vCPU와 32 GB를 줘요.
무료로 체험할 수 있나요?
네. 무료 체험은 7일 또는 작업 시간 3,000분 중 먼저 끝나는 쪽까지이고, 카드가 필요 없고, 4 vCPU와 16 GB에서 돌아요. E2E 작업을 runs-on: skipbox 레이블로 옮기고 몇 번 돌린 뒤, 실패와 단계별 시간을 GitHub와 비교해 보세요.
2026년 11월 16일 업데이트