# GitHub Actions 上不穩定的 Cypress 和 Playwright 測試：當原因是 Runner 時

> 在本機通過、在 GitHub Actions 上卻不穩定的 E2E 測試，常常是資源不足：Cypress、瀏覽器、你的應用程式和它的資料庫，共用私有儲存庫的 2 顆 CPU 和 8 GB。Cypress 的文件說，資源不足會以不穩定、緩慢或隨機的失敗呈現。怎麼確認、測試裡要修什麼、為什麼分片會花掉分鐘數，以及每月固定 $79、有 8 vCPU 和 16 GB 的 Runner。

在你的筆電上通過、在 GitHub Actions 上卻不穩定的端對端測試，常常不是壞了，而是資源不足。在私有儲存庫的 `ubuntu-latest` 上，Cypress 或 Playwright、瀏覽器、你的應用程式伺服器和它的資料庫，共用 2 顆 CPU 和 8 GB，所以頁面渲染變慢、指令超過逾時（Cypress 預設 4 秒），或是瀏覽器在執行中當掉。Cypress 自己的文件說，資源不足會以不穩定、緩慢或看似隨機的失敗呈現，而它的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行，是私有 Runner 的兩倍。請在失敗的執行期間觀察 CPU 和記憶體來確認，修掉測試裡的固定等待和共用資料，再給作業它需要的機器。

Skipbox 以固定價格給它那台機器：`runs-on: skipbox-8x16` 有 8 vCPU 和 16 GB，每月 $79，跑在你帳號的專屬機器上，瀏覽器和套件在執行之間都保持安裝好的狀態。分鐘數不限，所以重試和分片都不會讓帳單增加。

- Cypress 的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行；私有的 `ubuntu-latest` 只有 2 和 8
- 8 vCPU 和 16 GB 每月 $79，分鐘數不限
- 瀏覽器和套件留在你的機器上，所以分片或重試都不用重新安裝

**GitHub Actions 固定價格，分鐘數不限** Skipbox 在你的專屬機器上執行 GitHub Actions 作業：每月 $39，不論執行多少分鐘。Docker 層和相依套件快取在作業之間保留，下一個作業馬上就能開始。

4 vCPU Runner，每月 20,000 分鐘: GitHub $222 → Skipbox $39. 每月省下 $183.

換過來只要改一行：`runs-on: skipbox`。

[開始 7 天免費試用](https://app.skipbox.dev/sign-in?ref=g-flaky-e2e-tests-github-actions-zh-hant)

## 測試和什麼共用 Runner

E2E 作業執行的不只是測試。依 [Cypress 的效能指南](https://docs.cypress.io/app/guides/test-performance)，還有 Cypress 本身、瀏覽器、你的應用程式伺服器，以及應用程式依賴的所有背景服務。在私有儲存庫的 `ubuntu-latest` 上，它們共用 2 顆 CPU 和 8 GB（[GitHub 託管 Runner](https://docs.github.com/en/actions/reference/runners/github-hosted-runners)）。公開儲存庫的則有 4 顆 CPU 和 16 GB，正是 Cypress 說它的範例應用程式能順暢執行的規格。

依同一份指南，資源不足的機器會出現這些徵兆：

- 測試越跑越慢
- 瀏覽器在執行中當掉，卻沒有明確的測試失敗
- 執行期間 CPU 或記憶體一直接近 100%

Playwright 每個 worker 啟動一個瀏覽器，而[它的預設是核心數的一半](https://playwright.dev/docs/api/class-testconfig#test-config-workers)。它的 [CI 文件](https://playwright.dev/docs/ci#workers)建議在 CI 上設定 `workers: 1`，以穩定性和可重現性為優先，讓每個測試都能用到整台機器，並建議只在效能強大的自架 CI 系統上平行執行測試。

## 改任何東西之前先確認

- **Cypress：** 用 `DEBUG=cypress:server:util:process_profiler npx cypress run` 執行。它會每 10 秒印出 CPU 和記憶體；CPU 持續超過 100%，就表示機器已經飽和。
- **Playwright：** 用 `--workers=1` 重新執行失敗的測試套件。如果不穩定消失了，限制就是機器，不是測試。在重試時保留 trace（`trace: 'on-first-retry'`），就能看到失敗時頁面在做什麼。
- **兩者皆可：** 在測試前加一個步驟 `nproc && free -h`，再加一個在背景每 15 秒記錄 `top -b -n 1 | head -15` 的步驟。

在更大的機器上就不再出現的失敗，是 Runner 造成的，換一台更大的機器就能消除。仍在同一個地方失敗的測試，是測試本身的問題：下一節來修。

## 修好屬於測試的部分

- **不要固定等待。** `cy.wait(2000)` 和 `page.waitForTimeout()` 在快速的筆電上通過，在慢的 Runner 上失敗。改成等待元素、路由或回應。
- **在請求之前註冊攔截。** 在點擊之後才設定的 `cy.intercept`，會和請求賽跑。
- **隔離資料。** 共用同一個使用者或同一筆紀錄的測試，換個順序或平行執行就會失敗。
- **在 CI 上開啟重試。** Playwright 會在報告中把失敗後又通過的測試標記為 flaky；Cypress 的 `retries` 設定會在 `cypress run` 中重新執行失敗的測試。重試讓你看到哪些是不穩定的。它不會修好它們。

## 分片的代價

分片把測試套件拆到多個作業上，每個作業有自己的機器。[Playwright](https://playwright.dev/docs/test-sharding) 用 `--shard=1/4`，再在最後一個作業合併 blob 報告；[Cypress 的平行模式](https://docs.cypress.io/app/continuous-integration/github-actions)需要把結果記錄到 Cypress Cloud，由它在機器之間平衡 spec。

每個分片都是一台新的 GitHub VM：它要安裝套件、下載瀏覽器（Playwright 建議不要快取瀏覽器，因為還原花的時間和下載差不多）、建置並啟動你的應用程式。四個分片就要付四次，而按分鐘計費會把每一個都算進去。在限制是機器時分片有幫助，但它也把準備工作一起乘上去。

## 又慢又不穩定的測試套件要花多少

E2E 測試是合併前的最後一道檢查，所以整個團隊都在等它，而一次不穩定還要再加一次重新執行。在按分鐘計費下，這些分鐘每一分都要付錢：

| 每月分鐘數（4 vCPU） | GitHub | Skipbox S | 每月省下 |
|---|---|---|---|
| 10,000 | $102 | $39 | **$63** |
| 20,000 | $222 | $39 | **$183** |
| 30,000 | $342 | $39 | **$303** |

在 8 vCPU 上，20,000 分鐘在 GitHub 上是 $422，在 Skipbox M 上是 $79。GitHub 的金額已扣除 GitHub Team 的內含用量。把你自己的分鐘數填進[首頁的費用試算](https://skipbox.dev/?ref=g-flaky-e2e-tests-github-actions-zh-hant#cost)。

## 給測試套件一台夠用的機器

每個方案都附有一台你帳號專屬、在作業之間保留下來的機器，價格固定：

| 標籤 | 機器 | 方案 |
|---|---|---|
| `skipbox` | 4 vCPU · 16 GB | S，每月 $39 |
| `skipbox-8x16` | 8 vCPU · 16 GB | M，每月 $79 |
| `skipbox-16x32` | 16 vCPU · 32 GB | L，每月 $149 |

- **足以支撐整套環境的 CPU 和記憶體。** `skipbox-8x16` 有 Cypress 為它的範例應用程式指出的核心和記憶體，核心還更多，所以瀏覽器、應用程式和它的資料庫不再互相搶資源。在 8 vCPU 上，Playwright 預設是 4 個 worker。
- **瀏覽器和套件會留下來。** `~/.cache/ms-playwright` 裡的 Playwright 瀏覽器、`~/.cache/Cypress` 裡的 Cypress 執行檔、npm 的快取，以及你的服務的 Docker 映像檔，在下一個作業開始時都已經在磁碟上。
- **分鐘數不限。** 重試、重新執行和分片都不會改變帳單。你方案的 vCPU 決定能同時執行幾個分片；超過的分片會排隊等候。

## 換過去只要改一行

```yaml
jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test
```

`skipbox-8x16` 在 M 方案上執行；試用執行的是 `runs-on: skipbox`（4 vCPU，16 GB）。

1. 使用 GitHub 登入 Skipbox。
2. 安裝 Skipbox GitHub App，並選擇儲存庫。
3. 修改 `runs-on` 並推送。

## 安全性

- 機器只屬於你的帳號。其他公司的作業不會在上面執行。
- 每個作業結束後，Runner 的憑證、程序和容器都會被清除。瀏覽器和快取會留下來。開啟「每個作業都用新 VM」，每個作業就會改用一台全新的機器。
- 沒有寫入權限的人提交的程式碼（例如來自 fork 的 Pull Request），會在全新的 VM 上執行，可以讀取你的快取但不能修改。

詳情請見[作業如何隔離](https://docs.skipbox.dev/zh-hant/isolation)。

## 用不穩定的測試套件試試看

試用免費，為期 7 天或 3,000 作業分鐘，以先到者為準，不需信用卡。把 E2E 作業改成 `runs-on: skipbox`，執行幾次，再把不穩定的次數和步驟時間與 GitHub 上的比較。

## 常見問題

### 為什麼我的 Cypress 測試在 GitHub Actions 上不穩定，在本機卻能通過？

常常是因為 Runner 比你的筆電小。私有儲存庫的 ubuntu-latest 只有 2 顆 CPU 和 8 GB，而 Cypress、它的瀏覽器、你的應用程式伺服器和它的資料庫全都在上面執行。它們互相搶資源時，頁面渲染變慢、指令超過預設 4 秒的逾時，或是瀏覽器當掉。Cypress 自己的效能指南說，資源不足會以不穩定、緩慢或看似隨機的失敗呈現，而它的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行。用 DEBUG=cypress:server:util:process_profiler 確認，修掉固定等待，再給作業更多 CPU 和記憶體。

### Runner 的 CPU 或記憶體，會是 Playwright 測試在 CI 上不穩定的原因嗎？

會。每個 Playwright worker 都驅動自己的瀏覽器，預設數量是機器核心數的一半。Playwright 的 CI 文件建議在 CI 上用一個 worker 以求穩定，因為這樣每個測試都能用到整台機器。如果測試在 --workers=1 時通過、更多 worker 時不穩定，限制就是機器：在 2 顆 CPU 上維持一個 worker，或換到核心和記憶體更多的機器，再在那裡增加 worker。

### 怎麼分辨是 Runner 資源不足，還是測試本身不穩定？

在失敗的執行期間觀察機器。Cypress 加上 DEBUG=cypress:server:util:process_profiler，會每 10 秒印出 CPU 和記憶體；Playwright 的話，在背景步驟裡執行 free -h 和 top，或用 --workers=1 重新執行。資源不足的 Runner 會顯示 CPU 接近 100% 或記憶體接近上限，失敗會在不同測試之間移動，而且執行越後面越嚴重。本身不穩定的測試，在快速的機器上也會在同一個地方失敗。

### 把 E2E 測試分片，能解決不穩定或費用嗎？

單靠分片都不能。分片讓測試套件的每一部分有自己的機器，在限制是機器時有幫助，但每個分片都要重新安裝套件、下載瀏覽器、啟動你的應用程式，而按分鐘計費會把每個分片都算進去。Cypress 的平行模式還需要把結果記錄到 Cypress Cloud。在 Skipbox 上，瀏覽器和套件留在你的機器上，分鐘數不限，所以分片和重試都不會多花錢。

### E2E 測試應該用多大的 Runner？

從和測試一起執行的東西算起：瀏覽器、應用程式伺服器和它的服務。Cypress 的範例應用程式在 4 vCPU 和 16 GB 上能順暢執行。在 Skipbox 上，runs-on: skipbox-8x16 以每月 $79 給你 8 vCPU 和 16 GB，skipbox-16x32 則是 16 vCPU 和 32 GB。

### 可以免費試用嗎？

可以。試用為期 7 天或 3,000 作業分鐘，以先到者為準，不需信用卡，在 4 vCPU 和 16 GB 上執行。把 E2E 作業改成 runs-on: skipbox，執行幾次，再把失敗和步驟時間與 GitHub 上的比較。

更新於 2026-11-16 · https://skipbox.dev/zh-hant/guides/flaky-e2e-tests-github-actions
