GitHub Actions에서 E2E 테스트를 계속 돌리기: 하루 종일 스위트를 정액으로
코딩 에이전트는 밤낮없이 코드를 푸시하고, 엔드투엔드 스위트는 단위 테스트가 못 보는 것, 곧 로그인, 결제, 변경 주변의 페이지가 여전히 함께 돌아가는지를 확인해요. E2E를 밤에 한 번 돌리는 팀은 아침에 병합된 회귀를 다음 날 밤 실행에서야 찾고, 그 위에는 하루치 병합이 쌓여 있어요. 스위트를 하루 종일 돌리면 해결되지만, 분 단위 실행기에서는 CI에서 가장 비싼 일이에요. 4 vCPU 실행기 하나를 한 달 내내 바쁘게 쓰면 GitHub에서 $500.40예요.
Skipbox는 이 주기 실행을 월 $39 정액에 실행 시간 무제한으로, 실행 사이에도 브라우저와 패키지가 설치된 채로 남는 내 전용 머신에서 돌려요. 옮기는 건 runs-on: skipbox 한 줄이에요.
푸시마다, 그리고 주기적으로 돌리기
한 워크플로에 트리거 두 개:
- 풀 리퀘스트의 푸시마다. 회귀를 병합 전에 잡아요.
- main이나 staging에 대해 일정에 따라 15분마다. 불안정한 테스트, 빠져나간 회귀, 코드 밖에서 오는 고장(결제 샌드박스, 인증 제공자, 브라우저 업데이트)이 몇 분 안에 드러나요.
GitHub의 가장 짧은 일정은 5분마다이고, 기본 브랜치의 최신 커밋에서 돌아요. concurrency 그룹이 실행이 쌓이지 않게 막고, Playwright의 재시도는 실패했다가 통과한 테스트를 flaky로 표시해요. 그래서 50번에 한 번 흔들리는 테스트가 일주일씩 숨어 있지 않고 하루에 두 번 나타나요.
분 단위 실행기에서 주기 실행에 드는 비용
15분마다 돌리면 하루 96번이에요. 샤드가 몇 개 있으면, 실행기는 매일 하루의 대부분을 바빠요.
| 4 vCPU로 한 달의 E2E | GitHub | Skipbox S | 매달 아끼는 금액 |
|---|---|---|---|
| 10,000분 | $102 | $39 | $63 |
| 20,000분 | $222 | $39 | $183 |
| 30,000분 | $342 | $39 | $303 |
| 한 달 내내 바쁠 때 | $500.40 | $39 | $461.40 |
GitHub 쪽 금액은 GitHub Team에 포함된 사용량을 뺀 금액이에요. 주기 실행에 샤드가 네 개면 마지막 줄 같은 금액이 넷이에요. 내 실행 시간은 홈 페이지의 계산기에 넣어 보세요.
대부분의 팀이 E2E를 하루 종일 돌리지 않는 건 이 청구액 때문이고, 그 대가는 시간으로 치러요. 에이전트가 밤에 병합한 회귀는 아침에야 발견되고, 그 위에 커밋이 더 쌓여서, 원인을 좁히는 데 주기 실행이 아껴 줬을 시간이 들어요. 에이전트가 시작하는 풀 리퀘스트는 계속 늘고(GitHub에 따르면 2026년 9월에 40% 이상, 3월에는 17%), 분 단위 청구액에 상한을 두는 예산은 월 중간에 작업을 멈춰서, 정작 필요할 때 주기 실행을 꺼 버려요.
주기 실행을 직접 운영하기
GitHub 호스팅 실행기에서 감당할 만한 비용으로 유지하려고, 팀들은 결국 이런 일을 해요.
- 일정을 1시간마다나 밤 한 번으로 줄이고, 늦은 발견을 받아들이기
- 실행 시간이 예산에 맞도록 어떤 트리거에서 어떤 테스트를 돌릴지 다듬기
- 빨리 끝내려고 샤딩하고, 샤드마다 준비 비용을 다시 내기
- 아니면 주기 실행용 자체 호스팅 실행기를 직접 돌리고, 그 브라우저, OS, 디스크를 건강하게 유지하기
Skipbox는 이 맞바꿈을 없애요. 주기 실행은 얼마나 자주 돌든 비용이 같고, 머신을 돌보는 사람도 필요 없어요.
Skipbox가 주기 실행에 주는 것
하루 종일 돌리는 실행에 정액. 요금제마다 작업을 밤낮없이, 실행 시간 무제한으로 돌려요. Skipbox 작업은 GitHub 실행 시간을 쓰지 않으므로, GitHub 예산이 주기 실행을 끄는 일이 없어요.
| 요금제 | 머신 | 가격 |
|---|---|---|
| S | 4 vCPU · 16 GB | 월 $39 |
| M | 8 vCPU · 16 GB | 월 $79 |
| L | 16 vCPU · 32 GB | 월 $149 |
요금제의 vCPU가 동시에 도는 샤드 수를 정해요. runs-on: skipbox 샤드 네 개는 S 요금제 네 개나 L 하나에서 함께 돌아요. 그보다 많은 샤드는 차례를 기다려요.
되풀이하지 않는 준비. 요금제마다 작업 사이에도 유지되는 내 계정 전용 머신이 따라와요. ~/.cache/ms-playwright의 Playwright 브라우저, npm 캐시, 앱과 서비스가 쓰는 Docker 이미지가 다음 실행을 위해 디스크에 있어요.
실행은 매번 깨끗하게 시작해요. 작업이 끝날 때마다 실행기의 자격 증명, 프로세스, 모든 컨테이너를 지우고 상태 점검을 해요. 점검에 실패한 머신은 깨끗한 이미지로 다시 만들어요. 2026년 11월 13일부터 체크아웃과 그 빌드 결과(Cargo의 target/)는 다음 작업을 위해 내 전용 머신에 남아요. ‘작업마다 새 VM’을 켜면 작업마다 새 머신에서 돌아요.
옮기는 건 한 줄이에요
name: E2E
on:
pull_request:
schedule:
- cron: "*/15 * * * *"
concurrency:
group: e2e-${{ github.ref }}
cancel-in-progress: ${{ github.event_name == 'pull_request' }}
jobs:
e2e:
runs-on: skipbox # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
- GitHub로 Skipbox에 로그인하세요.
- Skipbox GitHub App을 설치하고 리포지토리를 고르세요.
runs-on을 바꾸고 푸시하세요.
보안
- 머신은 내 계정만 써요. 다른 회사의 작업은 그 머신에서 돌지 않아요.
- 작업이 끝날 때마다 실행기의 자격 증명, 프로세스, 컨테이너를 지워요. 2026년 11월 13일부터 체크아웃과 그 빌드 결과(Cargo의
target/)는 다음 작업을 위해 내 전용 머신에 남아요. ‘작업마다 새 VM’을 켜면 작업마다 새 머신에서 돌아요. - 쓰기 권한이 없는 사람의 코드(포크에서 온 풀 리퀘스트 등)는 한 번 쓰고 버리는 새 머신에서 돌아요.
자세한 내용은 작업을 분리하는 방식에 있어요.
체험해 보세요
무료 체험은 7일 또는 작업 시간 3,000분 중 먼저 끝나는 쪽까지 무료이고, 카드가 필요 없어요. runs-on: skipbox 작업을 한 번에 최대 4개 돌려요. E2E 작업을 옮기고, 일정을 켜고, 하루치 실행을 정액으로 지켜보세요.
자주 묻는 질문
엔드투엔드 테스트를 푸시마다 돌려야 하나요?
커밋의 상당 부분을 에이전트가 쓴다면 그래요. 단위 테스트는 바뀐 함수를 확인하고, 엔드투엔드 테스트는 로그인, 결제, 그 주변 페이지가 여전히 함께 돌아가는지 확인해요. Skipbox 같은 정액 실행기에서는 스위트를 푸시마다, 그리고 일정에 따라 돌려도 밤에 한 번 돌리는 것과 비용이 같아요.
GitHub Actions 워크플로는 일정에 따라 얼마나 자주 돌릴 수 있나요?
최대 5분마다예요. 예약 워크플로는 기본 브랜치의 최신 커밋에서 돌고, GitHub가 바쁠 때는 늦게 시작할 수 있어요. 15분마다가 흔한 주기예요. 하루 96번이에요. Skipbox에서는 15분마다든 5분마다든 청구액이 같아요.
GitHub Actions에서 E2E 테스트를 하루 종일 돌리면 비용이 얼마인가요?
4 vCPU 실행기 하나를 한 달 내내 바쁘게 쓰면, GitHub의 4코어 실행기로 GitHub Team에 포함된 사용량을 빼고 $500.40예요. Skipbox에서는 S 요금제가 4 vCPU 작업 하나를 밤낮없이 월 $39 정액에 돌려요. $461.40 적게 내요.
Skipbox에서 Playwright 샤드를 동시에 돌리려면 어떻게 하나요?
요금제의 vCPU가 동시에 도는 작업 수를 정해요. 4 vCPU의 runs-on: skipbox 샤드 네 개는 S 요금제 네 개나 L 요금제 하나에서 함께 돌아요. 그보다 적으면 남는 샤드는 차례를 기다렸다가, 하나가 끝나는 대로 시작해요.
불안정한 엔드투엔드 테스트는 어떻게 찾나요?
CI에서 재시도를 켜세요. Playwright는 실패했다가 재시도에서 통과한 테스트를 통과·실패와 따로 flaky로 표시하고, 보고서에 목록으로 보여 줘요. 주기적으로 도는 스위트에서는 같은 불안정한 테스트가 하루에도 여러 번 나타나므로, 스프린트가 아니라 하루 만에 눈에 띄어요.
2026년 11월 11일 업데이트