Skipbox

Test Cypress dan Playwright yang flaky di GitHub Actions: saat runner-lah penyebabnya

Test end-to-end yang lulus di laptop Anda dan flaky di GitHub Actions sering kali kekurangan sumber daya, bukan rusak. Di ubuntu-latest repositori privat, Cypress atau Playwright, browser, server aplikasi Anda, dan database-nya berbagi 2 CPU dan 8 GB, jadi halaman terlambat dirender, sebuah perintah melewati timeout-nya (4 detik secara default di Cypress), atau browser crash di tengah run. Dokumentasi Cypress sendiri menyebut kekurangan sumber daya "presents as flaky, slow, or apparently random failures" dan bahwa aplikasi contohnya berjalan nyaman di 4 vCPU dan 16 GB, dua kali runner privat. Pastikan dengan memantau CPU dan memori selama run yang gagal, perbaiki waktu tunggu tetap dan data bersama di test, lalu beri job mesin yang dibutuhkannya.

Skipbox memberinya mesin itu dengan harga tetap: 8 vCPU dan 16 GB di runs-on: skipbox-8x16 seharga $79 per bulan, di mesin yang di-hosting Skipbox khusus untuk akun Anda tempat browser dan paket tetap terpasang di antara run. Menitnya tanpa batas, jadi retry dan shard tidak menambah tagihan.

Dengan apa test berbagi runner

Job E2E menjalankan lebih dari sekadar test. Dari panduan performa Cypress: "Cypress itself, the browser, your application server, and any background services your app depends on". Di ubuntu-latest repositori privat, semuanya berbagi 2 CPU dan 8 GB (GitHub-hosted runners). Repositori publik mendapat 4 CPU dan 16 GB, ukuran yang disebut Cypress sebagai nyaman untuk aplikasi contohnya.

Tanda mesin yang kekurangan sumber daya, dari panduan yang sama:

  • Test makin lambat seiring berjalannya run
  • Browser crash di tengah run tanpa kegagalan test yang jelas
  • CPU atau memori bertahan mendekati 100% selama run

Playwright menjalankan satu browser per worker, dan default-nya adalah separuh jumlah core. Dokumentasi CI-nya merekomendasikan workers: 1 di CI "to prioritize stability and reproducibility", agar setiap test mendapat seluruh mesin, dan menyarankan test paralel hanya di "a powerful self-hosted CI system".

Pastikan sebelum mengubah apa pun

  • Cypress: jalankan dengan DEBUG=cypress:server:util:process_profiler npx cypress run. Perintah ini mencetak CPU dan memori setiap 10 detik; CPU yang terus di atas 100% berarti mesinnya jenuh.
  • Playwright: jalankan ulang suite yang gagal dengan --workers=1. Jika flakiness-nya berhenti, mesinnya yang menjadi batas, bukan test-nya. Simpan trace saat retry (trace: 'on-first-retry') untuk melihat apa yang sedang dilakukan halaman saat gagal.
  • Keduanya: tambahkan step sebelum test, nproc && free -h, dan satu step di latar belakang yang mencatat top -b -n 1 | head -15 setiap 15 detik.

Kegagalan yang berhenti di mesin yang lebih besar berasal dari runner, dan mesin yang lebih besar mengakhirinya. Test yang masih gagal di tempat yang sama punya masalahnya sendiri: bagian berikutnya memperbaikinya.

Perbaiki yang merupakan urusan test

  • Tanpa waktu tunggu tetap. cy.wait(2000) dan page.waitForTimeout() lulus di laptop yang cepat dan gagal di runner yang lambat. Tunggu elemen, route, atau response-nya.
  • Daftarkan intercept sebelum request. cy.intercept yang dipasang setelah klik berebut dengan request-nya.
  • Pisahkan data. Test yang berbagi user atau record gagal saat berjalan dalam urutan lain atau secara paralel.
  • Aktifkan retry di CI. Playwright menandai test yang gagal lalu lulus sebagai flaky di laporannya; setelan retries Cypress menjalankan test yang gagal lagi di cypress run. Retry menunjukkan test mana yang flaky. Retry tidak memperbaikinya.

Biaya sharding

Sharding membagi suite ke beberapa job, masing-masing di mesinnya sendiri. Playwright menerima --shard=1/4 dan menggabungkan laporan blob di job terakhir; mode paralel Cypress butuh perekaman ke Cypress Cloud, yang menyeimbangkan spec di antara mesin.

Setiap shard adalah VM GitHub baru: memasang paket, mengunduh browser (Playwright menyarankan tidak meng-cache browser, karena pemulihannya memakan waktu kira-kira sama dengan unduhannya), mem-build dan menjalankan aplikasi Anda. Empat shard membayarnya empat kali, dan penagihan per menit menghitung setiap shard. Sharding membantu saat mesinnya menjadi batas, tetapi ikut melipatgandakan persiapannya.

Biaya suite yang lambat dan flaky

Test E2E adalah pemeriksaan terakhir sebelum merge, jadi seluruh tim menunggunya, dan flakiness menambah run ulang di atasnya. Di penagihan per menit, setiap menit itu ditagih:

Di 8 vCPU, 20.000 menit berbiaya $422 di GitHub dan $79 di Skipbox M. Angka GitHub adalah setelah dikurangi kuota bawaan GitHub Team. Masukkan menit Anda sendiri ke kalkulator di beranda.

Beri suite mesin yang dibutuhkannya

Setiap paket datang dengan mesin khusus untuk akun Anda, yang disimpan di antara job, dengan harga tetap:

  • CPU dan memori untuk seluruh stack. skipbox-8x16 punya core dan memori yang disebut Cypress untuk aplikasi contohnya, ditambah core lebih banyak, jadi browser, aplikasi, dan database-nya berhenti berebut. Dengan 8 vCPU, default Playwright adalah 4 worker.
  • Browser dan paket tetap ada. Browser Playwright di ~/.cache/ms-playwright, binary Cypress di ~/.cache/Cypress, cache npm, dan image Docker dari service Anda ada di disk saat job berikutnya dimulai.
  • Menit tanpa batas. Retry, run ulang, dan shard tidak mengubah tagihan. vCPU paket Anda menentukan berapa shard yang berjalan sekaligus; shard di luar itu menunggu giliran.

Pindah cukup satu baris

jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test

skipbox-8x16 berjalan di paket M; uji coba menjalankan runs-on: skipbox (4 vCPU, 16 GB).

  1. Masuk ke Skipbox dengan GitHub.
  2. Instal aplikasi GitHub Skipbox dan pilih repositorinya.
  3. Ubah runs-on, lalu push.

Keamanan

  • Mesinnya hanya milik akun Anda. Tidak ada job perusahaan lain yang berjalan di sana.
  • Setelah setiap job, kredensial runner, proses, dan container dihapus. Browser dan cache tetap ada. Bersih setiap job memberi setiap job mesin baru sebagai gantinya.
  • Kode dari orang tanpa akses tulis (misalnya pull request dari fork) berjalan di VM baru yang bisa membaca cache Anda tetapi tidak bisa mengubahnya.

Detailnya ada di cara job diisolasi.

Coba di suite yang flaky

Uji cobanya gratis selama 7 hari atau 3.000 menit job, mana yang lebih dulu tercapai, tanpa kartu. Pindahkan job E2E ke runs-on: skipbox, jalankan beberapa kali, lalu hitung flakiness dan waktu setiap step dibandingkan dengan di GitHub.

FAQ

Kenapa test Cypress saya flaky di GitHub Actions tetapi lulus di lokal?

Sering kali karena runner-nya lebih kecil dari laptop Anda. ubuntu-latest di repositori privat punya 2 CPU dan 8 GB, dan Cypress, browser-nya, server aplikasi Anda, dan database-nya semuanya berjalan di sana. Saat mereka berebut sumber daya, halaman terlambat dirender, sebuah perintah melewati timeout default 4 detiknya, atau browser crash. Panduan performa Cypress sendiri menyebut kekurangan sumber daya muncul sebagai kegagalan yang flaky, lambat, atau tampak acak, dan bahwa aplikasi contohnya berjalan nyaman di 4 vCPU dan 16 GB. Pastikan dengan DEBUG=cypress:server:util:process_profiler, perbaiki waktu tunggu tetap, lalu beri job lebih banyak CPU dan memori.

Bisakah CPU atau memori runner menjadi penyebab test Playwright flaky di CI?

Bisa. Setiap worker Playwright menjalankan browser-nya sendiri, dan default-nya adalah separuh jumlah core mesin. Dokumentasi CI Playwright merekomendasikan satu worker di CI demi stabilitas, karena setiap test lalu mendapat seluruh mesin. Jika test lulus dengan --workers=1 dan flaky dengan lebih banyak worker, mesinnya yang menjadi batas: tetap pakai satu worker di 2 CPU, atau pindah ke mesin dengan lebih banyak core dan memori lalu naikkan jumlah worker di sana.

Bagaimana membedakan runner yang kekurangan sumber daya dari test yang flaky?

Pantau mesin selama run yang gagal. Cypress mencetak CPU dan memori setiap 10 detik dengan DEBUG=cypress:server:util:process_profiler; untuk Playwright, jalankan free -h dan top di step latar belakang, atau jalankan ulang dengan --workers=1. Runner yang kekurangan sumber daya menunjukkan CPU mendekati 100% atau memori mendekati batas, dan kegagalan yang berpindah antar-test serta makin parah di akhir run. Test yang flaky juga gagal di tempat yang sama di mesin yang cepat.

Apakah sharding test E2E memperbaiki flakiness atau biaya?

Tidak satu pun dengan sendirinya. Sharding memberi setiap bagian suite mesinnya sendiri, yang membantu saat mesinnya menjadi batas, tetapi setiap shard memasang paket, mengunduh browser, dan menjalankan aplikasi Anda lagi, dan penagihan per menit menghitung setiap shard. Mode paralel Cypress juga butuh perekaman ke Cypress Cloud. Di Skipbox browser dan paket tetap ada di mesin Anda dan menitnya tanpa batas, jadi shard dan retry tidak menambah biaya.

Ukuran runner apa yang sebaiknya dipakai test E2E?

Mulai dari apa saja yang berjalan di samping test: browser, server aplikasi, dan service-nya. Aplikasi contoh Cypress berjalan nyaman di 4 vCPU dan 16 GB. Di Skipbox, runs-on: skipbox-8x16 memberi 8 vCPU dan 16 GB seharga $79 per bulan, dan skipbox-16x32 16 vCPU dan 32 GB.

Bisakah saya mencobanya gratis?

Bisa. Uji cobanya 7 hari atau 3.000 menit job, mana yang lebih dulu tercapai, tanpa kartu, di 4 vCPU dan 16 GB. Pindahkan job E2E ke runs-on: skipbox, jalankan beberapa kali, lalu bandingkan kegagalan dan waktu setiap step dengan di GitHub.

Diperbarui 19 November 2026

CI/CD lebih cepat dengan cache yang selalu hangat

Runner hangat Anda dengan harga tetap

Kami yang meng-hosting. Anda mengubah satu baris. 1/12 biaya GitHub saat dipakai penuh. Harga tetap, jadi bisa jalan seharian. Ruang cache 7× GitHub.

  • Tanpa kartu
  • Masuk dengan GitHub
  • Batalkan kapan saja