Skipbox

GitHub Actions 上不穩定的 Cypress 和 Playwright 測試:當原因是 Runner 時

在你的筆電上通過、在 GitHub Actions 上卻不穩定的端對端測試,常常不是壞了,而是資源不足。在私有儲存庫的 ubuntu-latest 上,Cypress 或 Playwright、瀏覽器、你的應用程式伺服器和它的資料庫,共用 2 顆 CPU 和 8 GB,所以頁面渲染變慢、指令超過逾時(Cypress 預設 4 秒),或是瀏覽器在執行中當掉。Cypress 自己的文件說,資源不足會以不穩定、緩慢或看似隨機的失敗呈現,而它的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行,是私有 Runner 的兩倍。請在失敗的執行期間觀察 CPU 和記憶體來確認,修掉測試裡的固定等待和共用資料,再給作業它需要的機器。

Skipbox 以固定價格給它那台機器:runs-on: skipbox-8x16 有 8 vCPU 和 16 GB,每月 $79,跑在你帳號的專屬機器上,瀏覽器和套件在執行之間都保持安裝好的狀態。分鐘數不限,所以重試和分片都不會讓帳單增加。

測試和什麼共用 Runner

E2E 作業執行的不只是測試。依 Cypress 的效能指南,還有 Cypress 本身、瀏覽器、你的應用程式伺服器,以及應用程式依賴的所有背景服務。在私有儲存庫的 ubuntu-latest 上,它們共用 2 顆 CPU 和 8 GB(GitHub 託管 Runner)。公開儲存庫的則有 4 顆 CPU 和 16 GB,正是 Cypress 說它的範例應用程式能順暢執行的規格。

依同一份指南,資源不足的機器會出現這些徵兆:

  • 測試越跑越慢
  • 瀏覽器在執行中當掉,卻沒有明確的測試失敗
  • 執行期間 CPU 或記憶體一直接近 100%

Playwright 每個 worker 啟動一個瀏覽器,而它的預設是核心數的一半。它的 CI 文件建議在 CI 上設定 workers: 1,以穩定性和可重現性為優先,讓每個測試都能用到整台機器,並建議只在效能強大的自架 CI 系統上平行執行測試。

改任何東西之前先確認

  • Cypress: 用 DEBUG=cypress:server:util:process_profiler npx cypress run 執行。它會每 10 秒印出 CPU 和記憶體;CPU 持續超過 100%,就表示機器已經飽和。
  • Playwright: 用 --workers=1 重新執行失敗的測試套件。如果不穩定消失了,限制就是機器,不是測試。在重試時保留 trace(trace: 'on-first-retry'),就能看到失敗時頁面在做什麼。
  • 兩者皆可: 在測試前加一個步驟 nproc && free -h,再加一個在背景每 15 秒記錄 top -b -n 1 | head -15 的步驟。

在更大的機器上就不再出現的失敗,是 Runner 造成的,換一台更大的機器就能消除。仍在同一個地方失敗的測試,是測試本身的問題:下一節來修。

修好屬於測試的部分

  • 不要固定等待。 cy.wait(2000) 和 page.waitForTimeout() 在快速的筆電上通過,在慢的 Runner 上失敗。改成等待元素、路由或回應。
  • 在請求之前註冊攔截。 在點擊之後才設定的 cy.intercept,會和請求賽跑。
  • 隔離資料。 共用同一個使用者或同一筆紀錄的測試,換個順序或平行執行就會失敗。
  • 在 CI 上開啟重試。 Playwright 會在報告中把失敗後又通過的測試標記為 flaky;Cypress 的 retries 設定會在 cypress run 中重新執行失敗的測試。重試讓你看到哪些是不穩定的。它不會修好它們。

分片的代價

分片把測試套件拆到多個作業上,每個作業有自己的機器。Playwright 用 --shard=1/4,再在最後一個作業合併 blob 報告;Cypress 的平行模式需要把結果記錄到 Cypress Cloud,由它在機器之間平衡 spec。

每個分片都是一台新的 GitHub VM:它要安裝套件、下載瀏覽器(Playwright 建議不要快取瀏覽器,因為還原花的時間和下載差不多)、建置並啟動你的應用程式。四個分片就要付四次,而按分鐘計費會把每一個都算進去。在限制是機器時分片有幫助,但它也把準備工作一起乘上去。

又慢又不穩定的測試套件要花多少

E2E 測試是合併前的最後一道檢查,所以整個團隊都在等它,而一次不穩定還要再加一次重新執行。在按分鐘計費下,這些分鐘每一分都要付錢:

在 8 vCPU 上,20,000 分鐘在 GitHub 上是 $422,在 Skipbox M 上是 $79。GitHub 的金額已扣除 GitHub Team 的內含用量。把你自己的分鐘數填進首頁的費用試算。

給測試套件一台夠用的機器

每個方案都附有一台你帳號專屬、在作業之間保留下來的機器,價格固定:

  • 足以支撐整套環境的 CPU 和記憶體。 skipbox-8x16 有 Cypress 為它的範例應用程式指出的核心和記憶體,核心還更多,所以瀏覽器、應用程式和它的資料庫不再互相搶資源。在 8 vCPU 上,Playwright 預設是 4 個 worker。
  • 瀏覽器和套件會留下來。 ~/.cache/ms-playwright 裡的 Playwright 瀏覽器、~/.cache/Cypress 裡的 Cypress 執行檔、npm 的快取,以及你的服務的 Docker 映像檔,在下一個作業開始時都已經在磁碟上。
  • 分鐘數不限。 重試、重新執行和分片都不會改變帳單。你方案的 vCPU 決定能同時執行幾個分片;超過的分片會排隊等候。

換過去只要改一行

jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test

skipbox-8x16 在 M 方案上執行;試用執行的是 runs-on: skipbox(4 vCPU,16 GB)。

  1. 使用 GitHub 登入 Skipbox。
  2. 安裝 Skipbox GitHub App,並選擇儲存庫。
  3. 修改 runs-on 並推送。

安全性

  • 機器只屬於你的帳號。其他公司的作業不會在上面執行。
  • 每個作業結束後,Runner 的憑證、程序和容器都會被清除。瀏覽器和快取會留下來。開啟「每個作業都用新 VM」,每個作業就會改用一台全新的機器。
  • 沒有寫入權限的人提交的程式碼(例如來自 fork 的 Pull Request),會在全新的 VM 上執行,可以讀取你的快取但不能修改。

詳情請見作業如何隔離。

用不穩定的測試套件試試看

試用免費,為期 7 天或 3,000 作業分鐘,以先到者為準,不需信用卡。把 E2E 作業改成 runs-on: skipbox,執行幾次,再把不穩定的次數和步驟時間與 GitHub 上的比較。

常見問題

為什麼我的 Cypress 測試在 GitHub Actions 上不穩定,在本機卻能通過?

常常是因為 Runner 比你的筆電小。私有儲存庫的 ubuntu-latest 只有 2 顆 CPU 和 8 GB,而 Cypress、它的瀏覽器、你的應用程式伺服器和它的資料庫全都在上面執行。它們互相搶資源時,頁面渲染變慢、指令超過預設 4 秒的逾時,或是瀏覽器當掉。Cypress 自己的效能指南說,資源不足會以不穩定、緩慢或看似隨機的失敗呈現,而它的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行。用 DEBUG=cypress:server:util:process_profiler 確認,修掉固定等待,再給作業更多 CPU 和記憶體。

Runner 的 CPU 或記憶體,會是 Playwright 測試在 CI 上不穩定的原因嗎?

會。每個 Playwright worker 都驅動自己的瀏覽器,預設數量是機器核心數的一半。Playwright 的 CI 文件建議在 CI 上用一個 worker 以求穩定,因為這樣每個測試都能用到整台機器。如果測試在 --workers=1 時通過、更多 worker 時不穩定,限制就是機器:在 2 顆 CPU 上維持一個 worker,或換到核心和記憶體更多的機器,再在那裡增加 worker。

怎麼分辨是 Runner 資源不足,還是測試本身不穩定?

在失敗的執行期間觀察機器。Cypress 加上 DEBUG=cypress:server:util:process_profiler,會每 10 秒印出 CPU 和記憶體;Playwright 的話,在背景步驟裡執行 free -h 和 top,或用 --workers=1 重新執行。資源不足的 Runner 會顯示 CPU 接近 100% 或記憶體接近上限,失敗會在不同測試之間移動,而且執行越後面越嚴重。本身不穩定的測試,在快速的機器上也會在同一個地方失敗。

把 E2E 測試分片,能解決不穩定或費用嗎?

單靠分片都不能。分片讓測試套件的每一部分有自己的機器,在限制是機器時有幫助,但每個分片都要重新安裝套件、下載瀏覽器、啟動你的應用程式,而按分鐘計費會把每個分片都算進去。Cypress 的平行模式還需要把結果記錄到 Cypress Cloud。在 Skipbox 上,瀏覽器和套件留在你的機器上,分鐘數不限,所以分片和重試都不會多花錢。

E2E 測試應該用多大的 Runner?

從和測試一起執行的東西算起:瀏覽器、應用程式伺服器和它的服務。Cypress 的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行。在 Skipbox 上,runs-on: skipbox-8x16 以每月 $79 給你 8 vCPU 和 16 GB,skipbox-16x32 則是 16 vCPU 和 32 GB。

可以免費試用嗎?

可以。試用為期 7 天或 3,000 作業分鐘,以先到者為準,不需信用卡,在 4 vCPU 和 16 GB 上執行。把 E2E 作業改成 runs-on: skipbox,執行幾次,再把失敗和步驟時間與 GitHub 上的比較。

更新於 2026年11月16日

快取隨時熱機,CI/CD 更快

固定價格的專屬熱機 Runner

機器由 Skipbox 代管。你只要改一行。滿載使用時只要 GitHub 的 1/12。價格固定,可以整天跑。快取空間是 GitHub 的 7 倍。

  • 不需信用卡
  • 使用 GitHub 登入
  • 隨時可取消