# Ujian Cypress dan Playwright yang tidak stabil di GitHub Actions: apabila runner ialah puncanya

> Ujian E2E yang lulus secara setempat dan tidak stabil di GitHub Actions sering kali kekurangan sumber: Cypress, pelayar, app anda dan pangkalan datanya berkongsi 2 CPU dan 8 GB repositori peribadi. Dokumentasi Cypress menyatakan kekurangan sumber muncul sebagai kegagalan yang tidak stabil, perlahan atau rawak. Cara mengesahkannya, apa yang perlu dibetulkan dalam ujian, kenapa sharding memakan minit, dan runner dengan 8 vCPU dan 16 GB pada harga tetap $79 sebulan.

Ujian end-to-end yang lulus pada komputer riba anda dan tidak stabil di GitHub Actions sering kali kekurangan sumber, bukan rosak. Pada `ubuntu-latest` repositori peribadi, Cypress atau Playwright, pelayar, pelayan app anda dan pangkalan datanya berkongsi 2 CPU dan 8 GB, jadi halaman dipaparkan lewat, arahan berjalan melepasi tamat masanya (4 saat secara lalai dalam Cypress), atau pelayar ranap di tengah larian. Dokumentasi Cypress sendiri menyatakan kekurangan sumber "presents as flaky, slow, or apparently random failures" dan app contoh mereka berjalan dengan selesa pada 4 vCPU dan 16 GB, dua kali ganda runner peribadi. Sahkannya dengan memerhati CPU dan memori semasa larian yang gagal, betulkan penantian tetap dan data dikongsi dalam ujian, dan berikan job mesin yang diperlukannya.

Skipbox memberinya mesin itu pada harga tetap: 8 vCPU dan 16 GB pada `runs-on: skipbox-8x16` untuk $79 sebulan, pada mesin yang dihoskan Skipbox khusus untuk akaun anda di mana pelayar dan pakej kekal dipasang antara larian. Minit tanpa had, jadi percubaan semula dan shard tidak menambah bil.

- App contoh Cypress berjalan dengan selesa pada 4 vCPU dan 16 GB; `ubuntu-latest` peribadi mempunyai 2 dan 8
- 8 vCPU dan 16 GB untuk $79 sebulan, minit tanpa had
- Pelayar dan pakej kekal pada mesin anda, jadi shard atau percubaan semula tidak memasangnya semula

**GitHub Actions pada harga tetap, minit tanpa had** Skipbox menjalankan job GitHub Actions anda pada mesin khusus anda sendiri: $39 sebulan, berapa minit pun anda jalankan. Lapisan Docker dan cache dependency kekal antara job, jadi job seterusnya bermula serta-merta.

Runner 4 vCPU, 20,000 minit sebulan: GitHub $222 → Skipbox $39. Anda jimat $183 setiap bulan.

Beralih hanya memerlukan satu baris: `runs-on: skipbox`.

[Mulakan percubaan percuma 7 hari saya](https://app.skipbox.dev/sign-in?ref=g-flaky-e2e-tests-github-actions-ms)

## Dengan apa ujian berkongsi runner

Job E2E menjalankan lebih daripada ujian. Daripada [panduan prestasi Cypress](https://docs.cypress.io/app/guides/test-performance): "Cypress itself, the browser, your application server, and any background services your app depends on". Pada `ubuntu-latest` repositori peribadi semuanya berkongsi 2 CPU dan 8 GB ([runner yang dihoskan GitHub](https://docs.github.com/en/actions/reference/runners/github-hosted-runners)). Repositori awam mendapat 4 CPU dan 16 GB, iaitu saiz yang dinamakan Cypress sebagai selesa untuk app contohnya.

Tanda-tanda mesin yang kekurangan sumber, daripada panduan yang sama:

- Ujian menjadi lebih perlahan semasa larian berjalan
- Pelayar ranap di tengah larian tanpa kegagalan ujian yang jelas
- CPU atau memori berada hampir 100% semasa larian

Playwright memulakan satu pelayar bagi setiap worker, dan [lalainya ialah separuh teras](https://playwright.dev/docs/api/class-testconfig#test-config-workers). [Dokumentasi CI](https://playwright.dev/docs/ci#workers)-nya mengesyorkan `workers: 1` dalam CI "to prioritize stability and reproducibility", supaya setiap ujian mendapat keseluruhan mesin, dan mencadangkan ujian selari hanya pada "a powerful self-hosted CI system".

## Sahkan sebelum anda mengubah apa-apa

- **Cypress:** jalankan dengan `DEBUG=cypress:server:util:process_profiler npx cypress run`. Ia mencetak CPU dan memori setiap 10 saat; CPU yang sentiasa melebihi 100% bermakna mesin tepu.
- **Playwright:** jalankan semula suite yang gagal dengan `--workers=1`. Jika ketidakstabilan berhenti, mesin ialah hadnya, bukan ujian. Simpan trace semasa percubaan semula (`trace: 'on-first-retry'`) untuk melihat apa yang dilakukan halaman semasa ia gagal.
- **Kedua-duanya:** tambah step sebelum ujian, `nproc && free -h`, dan satu di latar belakang yang mencatat `top -b -n 1 | head -15` setiap 15 saat.

Kegagalan rawak yang berhenti pada mesin yang lebih besar berpunca daripada runner, dan mesin yang lebih besar menamatkannya. Ujian yang masih gagal di tempat yang sama ialah masalah ujian itu sendiri: bahagian seterusnya membetulkannya.

## Betulkan apa yang milik ujian

- **Tiada penantian tetap.** `cy.wait(2000)` dan `page.waitForTimeout()` lulus pada komputer riba yang pantas dan gagal pada runner yang perlahan. Tunggu elemen, laluan atau respons sebaliknya.
- **Daftarkan intercept sebelum permintaan.** `cy.intercept` yang ditetapkan selepas klik berlumba dengan permintaan.
- **Asingkan data.** Ujian yang berkongsi pengguna atau rekod gagal apabila ia berjalan dalam susunan lain atau secara selari.
- **Hidupkan percubaan semula dalam CI.** Playwright menandakan ujian yang gagal kemudian lulus sebagai flaky dalam laporannya; tetapan `retries` Cypress menjalankan semula ujian yang gagal dalam `cypress run`. Percubaan semula menunjukkan kepada anda ujian yang tidak stabil. Ia tidak membetulkannya.

## Kos sharding

Sharding membahagikan suite merentasi job, setiap satu pada mesinnya sendiri. [Playwright](https://playwright.dev/docs/test-sharding) menerima `--shard=1/4` dan menggabungkan laporan blob dalam job terakhir; [mod selari Cypress](https://docs.cypress.io/app/continuous-integration/github-actions) memerlukan rakaman ke Cypress Cloud, yang mengimbangi spec merentasi mesin.

Setiap shard ialah VM GitHub baharu: ia memasang pakej, memuat turun pelayar (Playwright menasihatkan supaya tidak menyimpan pelayar dalam cache, kerana pemulihan mengambil masa lebih kurang sama dengan muat turun), membina dan memulakan app anda. Empat shard membayarnya empat kali, dan pengebilan ikut minit mengira setiap satu. Sharding membantu apabila mesin ialah hadnya, tetapi ia turut menggandakan persediaan.

## Kos suite yang perlahan dan tidak stabil

Ujian E2E ialah semakan terakhir sebelum merge, jadi seluruh pasukan menunggunya, dan ketidakstabilan menambah larian semula di atasnya. Pada pengebilan ikut minit setiap minit itu dicaj:

| Minit sebulan (4 vCPU) | GitHub | Skipbox S | Jimat setiap bulan |
|---|---|---|---|
| 10,000 | $102 | $39 | **$63** |
| 20,000 | $222 | $39 | **$183** |
| 30,000 | $342 | $39 | **$303** |

Pada 8 vCPU, 20,000 minit ialah $422 di GitHub dan $79 di Skipbox M. Angka GitHub ialah selepas penggunaan yang disertakan dalam GitHub Team. Minit anda sendiri boleh dimasukkan dalam [kalkulator di laman utama](https://skipbox.dev/?ref=g-flaky-e2e-tests-github-actions-ms#cost).

## Berikan suite itu mesinnya

Setiap pelan disertakan dengan mesin khusus akaun anda, dikekalkan antara job, pada harga tetap:

| Label | Mesin | Pelan |
|---|---|---|
| `skipbox` | 4 vCPU · 16 GB | S, $39 sebulan |
| `skipbox-8x16` | 8 vCPU · 16 GB | M, $79 sebulan |
| `skipbox-16x32` | 16 vCPU · 32 GB | L, $149 sebulan |

- **CPU dan memori untuk keseluruhan stack.** `skipbox-8x16` mempunyai teras dan memori yang dinamakan Cypress untuk app contohnya dan lebih banyak teras, jadi pelayar, app dan pangkalan datanya berhenti bersaing. Dengan 8 vCPU, lalai Playwright ialah 4 worker.
- **Pelayar dan pakej kekal.** Pelayar Playwright dalam `~/.cache/ms-playwright`, binari Cypress dalam `~/.cache/Cypress`, cache npm dan imej Docker perkhidmatan anda ada pada cakera apabila job seterusnya bermula.
- **Minit tanpa had.** Percubaan semula, larian semula dan shard tidak mengubah bil. vCPU pelan anda menentukan berapa banyak shard berjalan serentak; shard yang melebihinya menunggu giliran.

## Beralih hanya satu baris

```yaml
jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test
```

`skipbox-8x16` berjalan pada pelan M; percubaan menjalankan `runs-on: skipbox` (4 vCPU, 16 GB).

1. Log masuk ke Skipbox dengan GitHub.
2. Pasang GitHub App Skipbox dan pilih repositori.
3. Tukar `runs-on` dan push.

## Keselamatan

- Mesin itu milik akaun anda seorang. Tiada job syarikat lain berjalan padanya.
- Selepas setiap job, bukti kelayakan, proses dan container runner dipadam. Pelayar dan cache kekal. “VM baharu bagi setiap job” memberi setiap job mesin baharu sebaliknya.
- Kod daripada orang tanpa akses tulis (seperti pull request daripada fork) berjalan pada VM baharu yang membaca cache anda tetapi tidak boleh mengubahnya.

Butirannya dalam [cara job diasingkan](https://docs.skipbox.dev/ms/isolation).

## Cuba pada suite yang tidak stabil

Percubaan adalah percuma selama 7 hari atau 3,000 minit job, yang mana dahulu, tanpa kad. Pindahkan job E2E ke `runs-on: skipbox`, jalankan beberapa kali, dan kira ketidakstabilan dan masa step berbanding GitHub.

## Soalan lazim

### Kenapa ujian Cypress saya tidak stabil di GitHub Actions tetapi lulus secara setempat?

Sering kali kerana runner lebih kecil daripada komputer riba anda. ubuntu-latest repositori peribadi mempunyai 2 CPU dan 8 GB, dan Cypress, pelayarnya, pelayan app anda dan pangkalan datanya semuanya berjalan padanya. Apabila ia bersaing, halaman dipaparkan lewat, arahan melepasi tamat masa lalai 4 saatnya, atau pelayar ranap. Panduan prestasi Cypress sendiri menyatakan kekurangan sumber muncul sebagai kegagalan yang tidak stabil, perlahan atau seolah-olah rawak, dan app contohnya berjalan dengan selesa pada 4 vCPU dan 16 GB. Sahkannya dengan DEBUG=cypress:server:util:process_profiler, betulkan penantian tetap, kemudian berikan job lebih banyak CPU dan memori.

### Bolehkah CPU atau memori runner menjadi sebab ujian Playwright tidak stabil dalam CI?

Boleh. Setiap worker Playwright memandu pelayarnya sendiri, dan lalainya ialah separuh teras mesin. Dokumentasi CI Playwright mengesyorkan satu worker dalam CI untuk kestabilan, kerana setiap ujian kemudian mendapat keseluruhan mesin. Jika ujian lulus dengan --workers=1 dan tidak stabil dengan lebih, mesin ialah hadnya: kekalkan satu worker pada 2 CPU, atau pindah ke mesin dengan lebih banyak teras dan memori dan naikkan worker di sana.

### Bagaimanakah cara membezakan runner yang kekurangan sumber daripada ujian yang tidak stabil?

Perhatikan mesin semasa larian yang gagal. Cypress mencetak CPU dan memori setiap 10 saat dengan DEBUG=cypress:server:util:process_profiler; untuk Playwright, jalankan free -h dan top dalam step latar belakang, atau jalankan semula dengan --workers=1. Runner yang kekurangan sumber menunjukkan CPU hampir 100% atau memori hampir had, dan kegagalan yang berpindah antara ujian dan menjadi lebih teruk kemudian dalam larian. Ujian yang tidak stabil gagal di tempat yang sama pada mesin yang pantas juga.

### Adakah sharding ujian E2E membetulkan ketidakstabilan atau kos?

Tidak dengan sendirinya. Sharding memberi setiap bahagian suite mesinnya sendiri, yang membantu apabila mesin ialah hadnya, tetapi setiap shard memasang pakej, memuat turun pelayar dan memulakan app anda sekali lagi, dan pengebilan ikut minit mengira setiap shard. Mod selari Cypress juga memerlukan rakaman ke Cypress Cloud. Di Skipbox pelayar dan pakej kekal pada mesin anda dan minit tanpa had, jadi shard dan percubaan semula tidak menambah kos.

### Apakah saiz runner yang patut digunakan untuk ujian E2E?

Mulakan daripada apa yang berjalan bersama ujian: pelayar, pelayan app dan perkhidmatannya. App contoh Cypress berjalan dengan selesa pada 4 vCPU dan 16 GB. Di Skipbox, runs-on: skipbox-8x16 memberi 8 vCPU dan 16 GB untuk $79 sebulan, dan skipbox-16x32 16 vCPU dan 32 GB.

### Bolehkah saya mencubanya secara percuma?

Boleh. Percubaan ialah 7 hari atau 3,000 minit job, yang mana dahulu, tanpa kad, pada 4 vCPU dan 16 GB. Pindahkan job E2E ke runs-on: skipbox, jalankan beberapa kali, dan bandingkan kegagalan dan masa step dengan GitHub.

Dikemas kini 2026-11-19 · https://skipbox.dev/ms/guides/flaky-e2e-tests-github-actions
