Skipbox

Ujian E2E berterusan di GitHub Actions: jalankan suite sepanjang hari pada harga tetap

Ejen pengekodan push kod sepanjang masa, dan suite end-to-end anda ialah semakan yang melihat apa yang tidak dilihat oleh ujian unit mereka: sama ada log masuk, checkout dan halaman di sekeliling perubahan masih berfungsi bersama. Pasukan yang menjalankan E2E sekali semalam hanya menemui regresi yang di-merge pada waktu pagi selepas larian malam berikutnya, dengan sehari merge di atasnya. Menjalankan suite sepanjang hari membetulkannya, dan pada runner ikut minit ia perkara paling mahal dalam CI: satu runner 4 vCPU yang sibuk sepanjang bulan ialah $500.40 di GitHub.

Skipbox menjalankan gelung itu pada harga tetap $39 sebulan dengan minit tanpa had, pada mesin khusus untuk anda yang mengekalkan pelayar dan pakej dipasang antara larian. Beralih hanya satu baris, runs-on: skipbox.

Jalankan pada setiap push, dan dalam gelung

Dua pencetus dalam satu workflow:

  • Pada setiap push ke pull request, supaya regresi ditangkap sebelum ia di-merge.
  • Mengikut jadual terhadap main atau staging, setiap 15 minit, supaya ujian yang tidak stabil, regresi yang terlepas, dan kerosakan dari luar kod anda (sandbox pembayaran, penyedia pengesahan, kemas kini pelayar) muncul dalam beberapa minit.

Jadual terpendek GitHub ialah setiap 5 minit, pada commit terkini cabang lalai. Kumpulan concurrency menghalang gelung daripada bertindan, dan percubaan semula Playwright menandakan ujian yang gagal kemudian lulus sebagai flaky, jadi ujian yang tidak stabil sekali dalam lima puluh larian muncul dua kali sehari dan bukannya tersembunyi selama seminggu.

Kos gelung pada runner ikut minit

Gelung setiap 15 minit ialah 96 larian sehari. Dengan beberapa shard, runner sibuk hampir sepanjang hari, setiap hari:

Angka GitHub ialah selepas penggunaan yang disertakan dalam GitHub Team. Empat shard dalam gelung bermakna empat baris seperti yang terakhir. Cuba minit anda sendiri dalam kalkulator di laman utama.

Bil itulah sebabnya kebanyakan pasukan tidak menjalankan E2E sepanjang hari, dan mereka membayarnya dalam jam: regresi yang di-merge oleh ejen pada waktu malam ditemui pada waktu pagi, selepas lebih banyak commit mendarat di atasnya, dan bisect-nya mengambil masa yang sepatutnya dijimatkan oleh gelung. Pull request yang dimulakan ejen terus meningkat (GitHub melaporkan lebih 40% pada September 2026, naik daripada 17% pada Mac), dan bajet yang mengehadkan bil ikut minit menghentikan job pada pertengahan bulan, yang mematikan gelung tepat ketika ia diperlukan.

Menjalankan gelung sendiri

Untuk mengekalkannya pada runner yang dihoskan GitHub dan mampu milik, pasukan akhirnya melakukan ini:

  • Menjarangkan jadual kepada setiap jam atau setiap malam dan menerima pengesanan yang lebih perlahan
  • Menala ujian mana yang berjalan pada pencetus mana supaya minit muat dalam bajet
  • Sharding untuk selesai lebih cepat, kemudian membayar persediaan setiap shard sekali lagi
  • Atau menjalankan self-hosted runner sendiri untuk gelung, dan memastikan pelayar, OS dan cakeranya sihat

Skipbox membuang pertukaran itu. Gelung berharga sama walau sekerap mana pun ia berjalan, dan tiada sesiapa perlu menjaga mesin.

Apa yang Skipbox berikan kepada gelung

Harga tetap untuk larian sepanjang hari. Setiap pelan menjalankan job-nya sepanjang masa dengan minit tanpa had. Job Skipbox tidak menggunakan minit GitHub, jadi bajet GitHub tidak pernah mematikan gelung.

vCPU pelan anda menentukan berapa banyak shard berjalan serentak: empat shard runs-on: skipbox berjalan bersama pada empat pelan S atau satu L. Shard yang melebihinya menunggu giliran.

Persediaan yang tidak berulang. Setiap pelan disertakan dengan mesin khusus akaun anda, dikekalkan antara job. Pelayar Playwright dalam ~/.cache/ms-playwright, cache npm, dan imej Docker yang digunakan app dan perkhidmatannya ada pada cakera untuk larian seterusnya.

Setiap larian bermula bersih. Bukti kelayakan, proses dan setiap container runner dipadam selepas setiap job, dan semakan kesihatan dijalankan. Mesin yang gagal dibina semula daripada imej bersih. Mulai 13 November 2026, checkout anda dan output build-nya (target/ Cargo) kekal pada mesin khusus untuk anda untuk job seterusnya; “VM baharu bagi setiap job” memberi setiap job mesin baharu.

Beralih hanya satu baris

name: E2E
on:
  pull_request:
  schedule:
    - cron: "*/15 * * * *"
concurrency:
  group: e2e-${{ github.ref }}
  cancel-in-progress: ${{ github.event_name == 'pull_request' }}
jobs:
  e2e:
    runs-on: skipbox # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test
  1. Log masuk ke Skipbox dengan GitHub.
  2. Pasang GitHub App Skipbox dan pilih repositori.
  3. Tukar runs-on dan push.

Keselamatan

  • Mesin itu milik akaun anda seorang. Tiada job syarikat lain berjalan padanya.
  • Selepas setiap job, bukti kelayakan, proses dan container runner dipadam. Mulai 13 November 2026, checkout anda dan output build-nya (target/ Cargo) kekal pada mesin khusus untuk anda untuk job seterusnya; “VM baharu bagi setiap job” memberi setiap job mesin baharu.
  • Kod daripada orang tanpa akses tulis (seperti pull request daripada fork) berjalan pada mesin baharu sekali guna.

Butirannya dalam cara job diasingkan.

Cubalah

Percubaan adalah percuma selama 7 hari atau 3,000 minit job, yang mana dahulu, tanpa kad. Ia menjalankan sehingga 4 job runs-on: skipbox serentak: pindahkan job E2E, hidupkan jadual, dan lihat sehari larian pada harga tetap.

Soalan lazim

Patutkah saya menjalankan ujian end-to-end pada setiap push?

Ya, apabila ejen menulis sebahagian besar commit anda. Ujian unit menyemak fungsi yang berubah; ujian end-to-end menyemak bahawa log masuk, checkout dan halaman di sekelilingnya masih berfungsi bersama. Pada runner berharga tetap seperti Skipbox, menjalankan suite pada setiap push dan mengikut jadual berharga sama seperti menjalankannya sekali semalam.

Berapa kerap workflow GitHub Actions boleh berjalan mengikut jadual?

Paling kerap setiap 5 minit. Workflow berjadual berjalan pada commit terkini cabang lalai dan boleh bermula lewat apabila GitHub sibuk. Setiap 15 minit ialah gelung yang biasa: 96 larian sehari. Di Skipbox bilnya sama pada setiap 15 minit seperti pada setiap 5 minit.

Berapakah kos menjalankan ujian E2E sepanjang hari di GitHub Actions?

Satu runner 4 vCPU yang sibuk sepanjang bulan ialah $500.40 pada runner 4 teras GitHub, selepas penggunaan yang disertakan dalam GitHub Team. Di Skipbox, pelan S menjalankan satu job 4 vCPU pada satu masa sepanjang masa pada harga tetap $39 sebulan, $461.40 lebih murah.

Bagaimanakah cara menjalankan shard Playwright serentak di Skipbox?

vCPU pelan anda menentukan berapa banyak job berjalan serentak. Empat shard runs-on: skipbox sebanyak 4 vCPU berjalan bersama pada empat pelan S atau satu pelan L; dengan kurang, shard tambahan menunggu giliran dan bermula sebaik satu selesai.

Bagaimanakah cara mencari ujian end-to-end yang tidak stabil?

Hidupkan percubaan semula dalam CI. Playwright menandakan ujian yang gagal kemudian lulus pada percubaan semula sebagai flaky, berasingan daripada passed dan failed, dan laporan menyenaraikannya. Suite dalam gelung menunjukkan ujian tidak stabil yang sama berkali-kali sehari, jadi ia menonjol dalam sehari dan bukannya satu sprint.

Dikemas kini 19 November 2026

CI/CD lebih pantas dengan cache yang sentiasa sedia

Runner anda yang sentiasa sedia pada harga tetap

Kami yang hoskan. Anda tukar satu baris. 1/12 daripada kos GitHub pada penggunaan penuh. Harga tetap, jadi jalankan sepanjang hari. 7× ruang cache GitHub.

  • Tanpa kad
  • Log masuk dengan GitHub
  • Batal bila-bila masa