GitHub Actions 上不穩定的 Cypress 和 Playwright 測試:當原因是 Runner 時
在你的筆電上通過、在 GitHub Actions 上卻不穩定的端對端測試,常常不是壞了,而是資源不足。在私有儲存庫的 ubuntu-latest 上,Cypress 或 Playwright、瀏覽器、你的應用程式伺服器和它的資料庫,共用 2 顆 CPU 和 8 GB,所以頁面渲染變慢、指令超過逾時(Cypress 預設 4 秒),或是瀏覽器在執行中當掉。Cypress 自己的文件說,資源不足會以不穩定、緩慢或看似隨機的失敗呈現,而它的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行,是私有 Runner 的兩倍。請在失敗的執行期間觀察 CPU 和記憶體來確認,修掉測試裡的固定等待和共用資料,再給作業它需要的機器。
Skipbox 以固定價格給它那台機器:runs-on: skipbox-8x16 有 8 vCPU 和 16 GB,每月 $79,跑在你帳號的專屬機器上,瀏覽器和套件在執行之間都保持安裝好的狀態。分鐘數不限,所以重試和分片都不會讓帳單增加。
測試和什麼共用 Runner
E2E 作業執行的不只是測試。依 Cypress 的效能指南,還有 Cypress 本身、瀏覽器、你的應用程式伺服器,以及應用程式依賴的所有背景服務。在私有儲存庫的 ubuntu-latest 上,它們共用 2 顆 CPU 和 8 GB(GitHub 託管 Runner)。公開儲存庫的則有 4 顆 CPU 和 16 GB,正是 Cypress 說它的範例應用程式能順暢執行的規格。
依同一份指南,資源不足的機器會出現這些徵兆:
- 測試越跑越慢
- 瀏覽器在執行中當掉,卻沒有明確的測試失敗
- 執行期間 CPU 或記憶體一直接近 100%
Playwright 每個 worker 啟動一個瀏覽器,而它的預設是核心數的一半。它的 CI 文件建議在 CI 上設定 workers: 1,以穩定性和可重現性為優先,讓每個測試都能用到整台機器,並建議只在效能強大的自架 CI 系統上平行執行測試。
改任何東西之前先確認
- Cypress: 用
DEBUG=cypress:server:util:process_profiler npx cypress run執行。它會每 10 秒印出 CPU 和記憶體;CPU 持續超過 100%,就表示機器已經飽和。 - Playwright: 用
--workers=1重新執行失敗的測試套件。如果不穩定消失了,限制就是機器,不是測試。在重試時保留 trace(trace: 'on-first-retry'),就能看到失敗時頁面在做什麼。 - 兩者皆可: 在測試前加一個步驟
nproc && free -h,再加一個在背景每 15 秒記錄top -b -n 1 | head -15的步驟。
在更大的機器上就不再出現的失敗,是 Runner 造成的,換一台更大的機器就能消除。仍在同一個地方失敗的測試,是測試本身的問題:下一節來修。
修好屬於測試的部分
- 不要固定等待。
cy.wait(2000)和page.waitForTimeout()在快速的筆電上通過,在慢的 Runner 上失敗。改成等待元素、路由或回應。 - 在請求之前註冊攔截。 在點擊之後才設定的
cy.intercept,會和請求賽跑。 - 隔離資料。 共用同一個使用者或同一筆紀錄的測試,換個順序或平行執行就會失敗。
- 在 CI 上開啟重試。 Playwright 會在報告中把失敗後又通過的測試標記為 flaky;Cypress 的
retries設定會在cypress run中重新執行失敗的測試。重試讓你看到哪些是不穩定的。它不會修好它們。
分片的代價
分片把測試套件拆到多個作業上,每個作業有自己的機器。Playwright 用 --shard=1/4,再在最後一個作業合併 blob 報告;Cypress 的平行模式需要把結果記錄到 Cypress Cloud,由它在機器之間平衡 spec。
每個分片都是一台新的 GitHub VM:它要安裝套件、下載瀏覽器(Playwright 建議不要快取瀏覽器,因為還原花的時間和下載差不多)、建置並啟動你的應用程式。四個分片就要付四次,而按分鐘計費會把每一個都算進去。在限制是機器時分片有幫助,但它也把準備工作一起乘上去。
又慢又不穩定的測試套件要花多少
E2E 測試是合併前的最後一道檢查,所以整個團隊都在等它,而一次不穩定還要再加一次重新執行。在按分鐘計費下,這些分鐘每一分都要付錢:
| 每月分鐘數(4 vCPU) | GitHub | Skipbox S | 每月省下 |
|---|---|---|---|
| 10,000 | $102 | $39 | $63 |
| 20,000 | $222 | $39 | $183 |
| 30,000 | $342 | $39 | $303 |
在 8 vCPU 上,20,000 分鐘在 GitHub 上是 $422,在 Skipbox M 上是 $79。GitHub 的金額已扣除 GitHub Team 的內含用量。把你自己的分鐘數填進首頁的費用試算。
給測試套件一台夠用的機器
每個方案都附有一台你帳號專屬、在作業之間保留下來的機器,價格固定:
| 標籤 | 機器 | 方案 |
|---|---|---|
skipbox | 4 vCPU · 16 GB | S,每月 $39 |
skipbox-8x16 | 8 vCPU · 16 GB | M,每月 $79 |
skipbox-16x32 | 16 vCPU · 32 GB | L,每月 $149 |
- 足以支撐整套環境的 CPU 和記憶體。
skipbox-8x16有 Cypress 為它的範例應用程式指出的核心和記憶體,核心還更多,所以瀏覽器、應用程式和它的資料庫不再互相搶資源。在 8 vCPU 上,Playwright 預設是 4 個 worker。 - 瀏覽器和套件會留下來。
~/.cache/ms-playwright裡的 Playwright 瀏覽器、~/.cache/Cypress裡的 Cypress 執行檔、npm 的快取,以及你的服務的 Docker 映像檔,在下一個作業開始時都已經在磁碟上。 - 分鐘數不限。 重試、重新執行和分片都不會改變帳單。你方案的 vCPU 決定能同時執行幾個分片;超過的分片會排隊等候。
換過去只要改一行
jobs:
e2e:
runs-on: skipbox-8x16 # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
skipbox-8x16 在 M 方案上執行;試用執行的是 runs-on: skipbox(4 vCPU,16 GB)。
- 使用 GitHub 登入 Skipbox。
- 安裝 Skipbox GitHub App,並選擇儲存庫。
- 修改
runs-on並推送。
安全性
- 機器只屬於你的帳號。其他公司的作業不會在上面執行。
- 每個作業結束後,Runner 的憑證、程序和容器都會被清除。瀏覽器和快取會留下來。開啟「每個作業都用新 VM」,每個作業就會改用一台全新的機器。
- 沒有寫入權限的人提交的程式碼(例如來自 fork 的 Pull Request),會在全新的 VM 上執行,可以讀取你的快取但不能修改。
詳情請見作業如何隔離。
用不穩定的測試套件試試看
試用免費,為期 7 天或 3,000 作業分鐘,以先到者為準,不需信用卡。把 E2E 作業改成 runs-on: skipbox,執行幾次,再把不穩定的次數和步驟時間與 GitHub 上的比較。
常見問題
為什麼我的 Cypress 測試在 GitHub Actions 上不穩定,在本機卻能通過?
常常是因為 Runner 比你的筆電小。私有儲存庫的 ubuntu-latest 只有 2 顆 CPU 和 8 GB,而 Cypress、它的瀏覽器、你的應用程式伺服器和它的資料庫全都在上面執行。它們互相搶資源時,頁面渲染變慢、指令超過預設 4 秒的逾時,或是瀏覽器當掉。Cypress 自己的效能指南說,資源不足會以不穩定、緩慢或看似隨機的失敗呈現,而它的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行。用 DEBUG=cypress:server:util:process_profiler 確認,修掉固定等待,再給作業更多 CPU 和記憶體。
Runner 的 CPU 或記憶體,會是 Playwright 測試在 CI 上不穩定的原因嗎?
會。每個 Playwright worker 都驅動自己的瀏覽器,預設數量是機器核心數的一半。Playwright 的 CI 文件建議在 CI 上用一個 worker 以求穩定,因為這樣每個測試都能用到整台機器。如果測試在 --workers=1 時通過、更多 worker 時不穩定,限制就是機器:在 2 顆 CPU 上維持一個 worker,或換到核心和記憶體更多的機器,再在那裡增加 worker。
怎麼分辨是 Runner 資源不足,還是測試本身不穩定?
在失敗的執行期間觀察機器。Cypress 加上 DEBUG=cypress:server:util:process_profiler,會每 10 秒印出 CPU 和記憶體;Playwright 的話,在背景步驟裡執行 free -h 和 top,或用 --workers=1 重新執行。資源不足的 Runner 會顯示 CPU 接近 100% 或記憶體接近上限,失敗會在不同測試之間移動,而且執行越後面越嚴重。本身不穩定的測試,在快速的機器上也會在同一個地方失敗。
把 E2E 測試分片,能解決不穩定或費用嗎?
單靠分片都不能。分片讓測試套件的每一部分有自己的機器,在限制是機器時有幫助,但每個分片都要重新安裝套件、下載瀏覽器、啟動你的應用程式,而按分鐘計費會把每個分片都算進去。Cypress 的平行模式還需要把結果記錄到 Cypress Cloud。在 Skipbox 上,瀏覽器和套件留在你的機器上,分鐘數不限,所以分片和重試都不會多花錢。
E2E 測試應該用多大的 Runner?
從和測試一起執行的東西算起:瀏覽器、應用程式伺服器和它的服務。Cypress 的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行。在 Skipbox 上,runs-on: skipbox-8x16 以每月 $79 給你 8 vCPU 和 16 GB,skipbox-16x32 則是 16 vCPU 和 32 GB。
可以免費試用嗎?
可以。試用為期 7 天或 3,000 作業分鐘,以先到者為準,不需信用卡,在 4 vCPU 和 16 GB 上執行。把 E2E 作業改成 runs-on: skipbox,執行幾次,再把失敗和步驟時間與 GitHub 上的比較。
更新於 2026年11月16日