在 GitHub Actions 上持續執行 E2E 測試:以固定價格整天跑測試套件
程式設計代理全天候推送程式碼,而你的端對端測試套件,就是能看到它們的單元測試看不到的東西的檢查:登入、結帳以及變更周邊的頁面是否仍然能一起運作。每晚跑一次 E2E 的團隊,早上合併的回歸要等到下一晚的執行才會發現,上面還疊了一整天的合併。整天執行測試套件就能解決這個問題,而在按分鐘計費的 Runner 上,它是 CI 裡最貴的東西:一台整月都在忙的 4 vCPU Runner,在 GitHub 上要 $500.40。
Skipbox 以每月固定 $39、分鐘數不限執行這個循環,跑在你的專屬機器上,瀏覽器和套件在執行之間都保持安裝好的狀態。換過去只要改一行 runs-on: skipbox。
每次推送都跑,也循環執行
一個工作流程裡的兩個觸發條件:
- 每次推送到 Pull Request 時,讓回歸在合併前就被抓到。
- 依排程對 main 或 staging 執行,每 15 分鐘一次,讓不穩定的測試、漏網的回歸,以及來自你程式碼以外的故障(付款沙箱、身分驗證供應者、瀏覽器更新)在幾分鐘內就現形。
GitHub 最短的排程是每 5 分鐘一次,在預設分支的最新 commit 上執行。concurrency 群組讓循環不會堆積,而 Playwright 的重試會把失敗後又通過的測試標記為 flaky,所以五十次才不穩定一次的測試,一天會出現兩次,而不是躲上一個星期。
循環在按分鐘計費的 Runner 上要花多少
每 15 分鐘一次的循環,一天就是 96 次執行。再加上幾個分片,Runner 每天大部分時間都在忙:
| 4 vCPU 上一個月的 E2E | GitHub | Skipbox S | 每月省下 |
|---|---|---|---|
| 10,000 分鐘 | $102 | $39 | $63 |
| 20,000 分鐘 | $222 | $39 | $183 |
| 30,000 分鐘 | $342 | $39 | $303 |
| 整月都在忙 | $500.40 | $39 | $461.40 |
GitHub 的金額已扣除 GitHub Team 的內含用量。循環上有四個分片,就是四列像最後一列那樣的帳單。把你自己的分鐘數填進首頁的費用試算試試看。
這張帳單就是大多數團隊不整天跑 E2E 的原因,而他們付出的代價是時間:代理在夜裡合併的回歸要到早上才被發現,那時上面又疊了更多 commit,二分搜尋找出它所花的時間,正是循環原本能省下的。代理發起的 Pull Request 持續增加(GitHub 報告 2026 年 9 月超過 40%,3 月時是 17%),而為按分鐘計費的帳單設上限的預算,會在月中讓作業停下來,正好在最需要循環的時候把它關掉。
自己維持這個循環
為了讓它留在 GitHub 託管 Runner 上、又負擔得起,團隊最後會這樣做:
- 把排程拉長到每小時或每晚一次,接受比較慢的偵測
- 調整哪些測試在哪個觸發條件下執行,讓分鐘數塞進預算
- 用分片讓它更快跑完,然後每個分片都再付一次準備工作的時間
- 或是為這個循環自己跑一台自架 Runner,並維持它的瀏覽器、作業系統和磁碟健康
Skipbox 讓你不必取捨。不論循環跑多頻繁,費用都一樣,也沒有人需要照顧機器。
Skipbox 給這個循環什麼
整天執行的固定價格。 每個方案全天候執行它的作業,分鐘數不限。Skipbox 的作業不用 GitHub 分鐘數,所以 GitHub 預算絕不會把循環關掉。
| 方案 | 機器 | 價格 |
|---|---|---|
| S | 4 vCPU · 16 GB | 每月 $39 |
| M | 8 vCPU · 16 GB | 每月 $79 |
| L | 16 vCPU · 32 GB | 每月 $149 |
你方案的 vCPU 決定能同時執行幾個分片:四個 runs-on: skipbox 分片,在四個 S 方案或一個 L 上會一起執行。超過的分片會排隊等候。
不用重複的準備工作。 每個方案都附有一台你帳號專屬、在作業之間保留下來的機器。~/.cache/ms-playwright 裡的 Playwright 瀏覽器、npm 的快取,以及你的應用程式和它的服務用到的 Docker 映像檔,都會留在磁碟上給下一次執行。
每次執行都從乾淨的狀態開始。 每個作業結束後,Runner 的憑證、程序和所有容器都會被清除,並執行健康檢查。檢查失敗的機器會從乾淨的映像檔重建。從 2026 年 11 月 13 日起,你的 checkout 和它的建置輸出(Cargo 的 target/)會留在你的專屬機器上,供之後的作業使用;開啟「每個作業都用新 VM」,每個作業就會用一台全新的機器。
換過去只要改一行
name: E2E
on:
pull_request:
schedule:
- cron: "*/15 * * * *"
concurrency:
group: e2e-${{ github.ref }}
cancel-in-progress: ${{ github.event_name == 'pull_request' }}
jobs:
e2e:
runs-on: skipbox # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
- 使用 GitHub 登入 Skipbox。
- 安裝 Skipbox GitHub App,並選擇儲存庫。
- 修改
runs-on並推送。
安全性
- 機器只屬於你的帳號。其他公司的作業不會在上面執行。
- 每個作業結束後,Runner 的憑證、程序和容器都會被清除。從 2026 年 11 月 13 日起,你的 checkout 和它的建置輸出(Cargo 的
target/)會留在你的專屬機器上,供之後的作業使用;開啟「每個作業都用新 VM」,每個作業就會用一台全新的機器。 - 沒有寫入權限的人提交的程式碼(例如來自 fork 的 Pull Request),會在全新、用完即丟的機器上執行。
詳情請見作業如何隔離。
試試看
試用免費,為期 7 天或 3,000 作業分鐘,以先到者為準,不需信用卡。它最多同時執行 4 個 runs-on: skipbox 的作業:把 E2E 作業移過來、開啟排程,然後看一整天的執行都在固定價格之內。
常見問題
應該每次推送都跑端對端測試嗎?
應該,當代理寫了你大部分的 commit 時。單元測試檢查的是被改動的函式;端對端測試檢查的是登入、結帳以及周邊頁面是否仍然能一起運作。在 Skipbox 這種固定價格的 Runner 上,每次推送都跑、再加上排程執行,費用和每晚只跑一次一樣。
GitHub Actions 工作流程依排程最多能多常執行?
最多每 5 分鐘一次。排程工作流程在預設分支的最新 commit 上執行,GitHub 忙碌時可能會延遲開始。每 15 分鐘一次是常見的循環:一天 96 次。在 Skipbox 上,每 15 分鐘一次和每 5 分鐘一次的帳單一樣。
在 GitHub Actions 上整天跑 E2E 測試要花多少?
一台整月都在忙的 4 vCPU Runner,在 GitHub 的 4 核心 Runner 上是 $500.40,已扣除 GitHub Team 的內含用量。在 Skipbox 上,S 方案以每月固定 $39 全天候一次執行一個 4 vCPU 的作業,少了 $461.40。
在 Skipbox 上怎麼同時執行 Playwright 的分片?
你方案的 vCPU 決定能同時執行幾個作業。四個 runs-on: skipbox 的 4 vCPU 分片,在四個 S 方案或一個 L 方案上會一起執行;方案較少時,多出來的分片會排隊等候,一有分片跑完就開始。
怎麼找出不穩定的端對端測試?
在 CI 上開啟重試。Playwright 會把失敗後重試通過的測試標記為 flaky,和通過、失敗分開,報告也會列出它們。循環執行的測試套件一天會讓同一個不穩定的測試出現很多次,所以它一天之內就會浮現,而不是要等一個 sprint。
更新於 2026年11月11日