Ke mana 23 saat pergi: memulakan VM job GitHub Actions dalam 7 saat
Mesin maya baharu untuk satu job GitHub Actions mengambil 22.9 saat pada hos Skipbox untuk bergerak dari "hos menerima job" ke "proses runner bermula". Kini ia mengambil 7.25 saat. Catatan ini menerangkan ke mana 15 saat yang lain pergi dan cara setiap satu diukur.
Skipbox ialah runner GitHub Actions pada harga tetap $39 sebulan dengan minit tanpa had. Job anda berjalan pada mesin khusus akaun anda, yang dikekalkan antara job, dan job yang memerlukan VM baharu mendapatnya dalam 7 saat. Tukar satu baris runs-on untuk berpindah.
Apa yang dimasa, dan pada apa
Hos Skipbox menjalankan mesin maya KVM melalui Incus pada pool ZFS. Imej runner ialah VM yang dihentikan dengan snapshot. Job yang memerlukan VM baharu mendapat klon ZFS daripada snapshot itu, memulakannya, menerima konfigurasi runner just-in-time melalui guest agent, menjalankan satu job, dan dipadam bersama cakeranya.
Daemon hos merekodkan penghujung setiap step permulaan dalam milisaat dari saat ia menerima job (startMs: cloned, started, agent). Angka di bawah daripada hos Intel i7-7820X 16 thread dan VM 4 vCPU serta 8 GB.
| Dari penerimaan hingga runner bermula, 3 larian setiap satu | |
|---|---|
| Sebelum | 22.9 s (21.7 hingga 24.2) |
| Selepas | 7.25 s (7.1 hingga 8.1) |
Ke mana ia pergi, setiap bahagian diukur secara berasingan:
| Perubahan | Diukur | Dijimatkan |
|---|---|---|
| SeaBIOS dan bukannya OVMF | VM bermula hingga jawapan pertama agent, median 3: 13.7 → 8.4 s | 5.3 s |
quiet pada baris arahan kernel | 8.4 → 6.5 s | 1.9 s |
| Tiada initrd | 6.5 → 5.1 s | 1.4 s |
| Imej yang sudah bersaiz seperti klonnya | Klon 1.5 → 0.1 s, permulaan pertama 2.35 → 1.8 s | 1.9 s |
| Tunggu soket Docker, bukan dockerd | dockerd sedia 3.6 s selepas agent | 3.6 s |
| Tanya guest agent setiap 100 ms, bukan setiap saat | 0.5 s secara purata, sehingga 1 s | 0.5 s |
Bahagian-bahagian itu berjumlah 14.6 s daripada perbezaan hujung ke hujung 15.65 s.
Perisian tegar: 5.3 saat sebelum GRUB
Incus memulakan VM dengan OVMF dan secure boot secara lalai. Pada hos ini OVMF mengambil 5.3 s untuk menyerahkan kawalan kepada GRUB. SeaBIOS mengambil 0.5 s. Dua kunci instance menukarnya: security.csm=true dan security.secureboot=false.
Ini bahagian tunggal yang paling besar, dan satu-satunya yang menyentuh keselamatan, jadi ini penerangan penuhnya. Dengan SeaBIOS, rantaian but tetamu tidak disemak tandatangannya. Apa yang dilindungi oleh semakan itu ialah seseorang menggantikan bootloader atau kernel tetamu. Dalam VM job CI, seseorang itu ialah job itu sendiri, dan job itu sudah mempunyai root dalam VM-nya sendiri: ia boleh sudo apa sahaja, dan VM serta cakeranya dipadam apabila job tamat. Yang memisahkan VM seorang pelanggan daripada pelanggan lain ialah KVM dan rantaian firewall bagi setiap VM pada bridge hos, dan kedua-duanya tidak bergantung pada perisian tegar tetamu. Imej itu boleh dimulakan di bawah kedua-duanya, dan satu flag pada hos mengembalikan UEFI.
Kernel yang senyap, dan tiada initrd
VM job dimulakan sekali untuk setiap job, dan tiada sesiapa membaca konsol bersirinya. quiet menurunkan median daripada 8.4 kepada 6.5 s.
initrd wujud untuk memuatkan pemacu yang mencari sistem fail root. Kernel generik Ubuntu mempunyai virtio-scsi dan ext4 terbina dalam, dan setiap klon berkongsi UUID partition imej, jadi kernel memasang / terus daripada root=PARTUUID=…. Itu 1.4 s lagi.
Dua pengawal menghalangnya daripada rosak secara senyap. GRUB Ubuntu dengan sendirinya memulakan sekali lagi dengan initrd jika but tanpanya panik (GRUB_FORCE_PARTUUID). Sandaran itu akan mengembalikan 1.4 s itu kepada setiap job secara senyap, jadi build imej memulakan klon ujian dan gagal jika dmesg menunjukkan initramfs sedang dibuka.
Jangan ubah saiz cakera yang boleh dibina pada saiz yang betul
Imej itu dahulu dibina pada cakera yang lebih kecil, dan setiap klon dibesarkan kepada saiz pelannya semasa bermula. Pembesaran itu menelan 1.9 s bagi setiap job: klon mengambil 1.5 s dan bukannya 0.1 s, dan permulaan pertama 2.35 s dan bukannya 1.8 s. Imej kini dibina pada saiz cakera pelan terkecil (80 GB). Volume itu nipis, jadi imej masih hanya memegang apa yang ditulis kepadanya. Incus tidak boleh mengecilkan klon, jadi imej tidak pernah lebih besar daripada pelan terkecil; pelan yang lebih besar membesar semasa but.
Soket Docker sudah memadai
Skrip larian dahulu menunggu docker.service sebelum memulakan runner. dockerd sedia 3.6 s selepas guest agent. Tetapi systemd mendengar pada soket Docker sejak awal but, dan klien yang bersambung sebelum dockerd sedia akan menunggunya. Jadi skrip itu hanya menunggu docker.socket dan DNS, dengan masa menunggu yang terhad, dan dockerd selesai bermula semasa runner bermula.
Meninjau setiap 100 ms
Konfigurasi runner ditolak ke dalam VM melalui guest agent, yang tiada sehingga tetamu selesai but. Hos mencuba semula sekali sesaat, jadi job menunggu 0.5 s secara purata selepas agent muncul. Incus menolak push dalam 20 ms semasa agent belum sedia, jadi bertanya setiap 100 ms tidak memerlukan kos. Selepas 30 s pertama VM, hos kembali kepada sekali sesaat.
Bukan pembetulan but: fsync pada cakera yang mati bersama job
Semasa mengukur, perkara paling lambat dalam VM ternyata bukan but. Setiap fsync dalam tetamu menunggu ZFS hos melakukan commit log niatnya. Cakera VM job baharu dipadam bersama job, jadi tiada apa-apa padanya perlu bertahan daripada gangguan bekalan elektrik. Skrip larian memasang semula / dengan nobarrier sebelum memulakan runner.
Median 3, dalam VM 4 vCPU dan 8 GB:
| Sebelum | Selepas | |
|---|---|---|
| Tulisan rawak 4k dengan fsync | 227 sesaat | 2,505 sesaat |
yarn install, 1 GB node_modules daripada cache-nya | 12.92 s | 9.99 s (23% kurang) |
docker pull node:22 | 19.12 s | 15.45 s (19% kurang) |
| Build Docker bagi redis | 92.89 s | 87.21 s |
make -j4, sysbench cpu | tidak berubah | tidak berubah |
Hanya VM baharu yang mendapat ini. Mesin khusus untuk anda memegang cache anda antara job, dan ext4-nya mengekalkan barrier-nya.
Pemburuan yang sama pada pelayan awan sewaan
Apabila hos Skipbox sendiri penuh, job berjalan pada pelayan awan yang dimulakan daripada imej snapshot. Laluan itu mempunyai masa yang hilang tersendiri, di tempat yang berbeza. Pada pelayan kongsi Intel 4 vCPU, skrip job (user data pelayan) bermula 28.1 s selepas kernel. cloud-init sudah memegang skrip itu pada 19.3 s dan Docker sedia pada 22.2 s, tetapi cloud-init menjalankan user data pada peringkat terakhirnya, selepas semua yang lain.
Imej itu kini mempunyai unit systemd kecil yang menjalankan user data sebaik sahaja cloud-init menulisnya. Ia membaca skrip melalui file descriptor daripada fail yang sudah dibuangnya, jadi peringkat terakhir cloud-init tidak menemui apa-apa untuk dijalankan kali kedua. Imej itu juga menjana satu jenis kunci hos SSH dan bukannya tiga (2.0 s pada laluan yang ditunggu oleh semua; tiada sesiapa log masuk ke pelayan ini), dan tidak lagi memulakan snapd, apport, rsyslog atau sedozen pemasa penyelenggaraan semasa but.
Dengan imej itu, pada pelayan kongsi AMD 4 vCPU, skrip job bermula 8 hingga 14 s selepas kernel.
vCPU yang dipin memastikan jam setiap hos tepat
Pada CPU hibrid (teras prestasi dan teras kecekapan, seperti Core Ultra 7 265F), KVM boleh berhenti mempercayai TSC. Semasa satu malam build imej, kernel merekodkan:
tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm
KVM membandingkan TSC apabila vCPU berpindah ke CPU hos lain. Ia membaca nilai yang lebih rendah pada teras baharu, merentasi jenis teras, dan menandakan TSC tidak stabil. Kernel sudah mematikan HPET semasa but ("HPET dysfunctional in PC10"), jadi satu-satunya sumber jam yang tinggal ialah acpi_pm, yang pada papan ini hampir tidak bergerak: kira-kira 1 saat masa operasi dalam 30 minit.
Skipbox membetulkannya dalam dua langkah:
- Sandaran yang berfungsi. Mengehadkan C-state pakej kepada C8 dalam BIOS mengekalkan HPET hidup. KVM masih menggugurkan TSC, pada pusingan ke-11 gelung 20 pusingan yang memulakan dan menghentikan VM 8 vCPU di bawah beban, tetapi jam berpindah ke HPET dan terus mengira masa dengan betul.
- Penyematan. KVM hanya menjalankan semakan itu apabila vCPU berpindah. Dengan setiap vCPU disematkan pada satu CPU hos, gelung yang sama berjalan 40 pusingan pada TSC tanpa baris baharu dalam log.
Daemon hos tidak menerima job kecuali sumber jamnya tsc dan hpet tersedia, jadi hos yang menggugurkan TSC-nya mengosongkan dirinya dan job-nya pergi ke mesin lain. Setiap hos Skipbox menyematkan vCPU-nya.
But terpantas ialah but yang dilangkau
Tujuh saat itu untuk job yang memerlukan VM baharu: kod daripada orang tanpa akses tulis (seperti pull request daripada fork), job yang tiba semasa mesin anda sibuk, dan akaun yang memilih VM bersih untuk setiap job. Setiap job lain tidak memulakan apa-apa. Ia berjalan pada mesin khusus akaun anda, dengan lapisan Docker, cache pakej dan alat job terakhir masih ada pada cakeranya.
Di situlah minitnya. Workflow yang sama pada ubuntu-latest GitHub (2 vCPU, yang didapati repositori peribadi) dan pada Skipbox S yang hangat (4 vCPU), median larian hangat:
ubuntu-latest GitHub | Skipbox S, hangat | ||
|---|---|---|---|
| excalidraw: pemasangan, build dan ujian | 613 s | 450 s | 27% kurang |
| Step persediaan (checkout, Node, pemulihan cache) | 52 s | 7 s | |
| Ujian | 484 s | 354 s | |
| umami: build Docker berbilang peringkat | 263 s | 188 s | 29% kurang |
Step persediaan turun daripada 52 s kepada 7 s kerana tiada arkib cache untuk dimuat turun dan dibuka: Node sudah ada dalam cache alat dan cache yarn ada pada cakera. Build Docker menggunakan cache lapisan daemon itu sendiri, tanpa apa-apa dieksport atau diimport. Di Skipbox, workflow itu langsung tiada step cache.
Kenapa harga tetap boleh mengekalkan mesin hangat
Mesin yang terbiar kelihatan seperti pembaziran. Dengan cara compute dicaj, ia sebenarnya pilihan yang lebih murah, dan itulah yang menjadikan harga tetap berfungsi.
Pelayan awan sewaan dicaj sepenuhnya bagi setiap jam ia bermula. Job 3 minit pada pelayannya sendiri membayar 60 minit. Pada satu hari CI kami sendiri, 44 job dengan purata 2.5 minit berjalan pada 44 pelayan dan dicaj 44 jam-pelayan. Memainkan semula hari yang sama dengan setiap pelayan dikekalkan untuk job seterusnya akaun itu dalam jam yang sama memberikan 13 hingga 14 jam-pelayan: kira-kira 70% kurang. Dan sebulan mempunyai 730 jam: akaun yang menjalankan lebih daripada 730 job pendek sebulan pada pelayan bagi setiap job membayar lebih banyak jam daripada mesin yang tidak pernah berhenti.
Jadi mesin yang paling pantas untuk anda (cache pada cakera, tiada apa-apa untuk dimulakan) juga yang paling murah untuk dijalankan. Hos milik Skipbox didahulukan kerana ia langsung tiada bil sejam, dan pelayan sewaan mengambil limpahannya. Sebab itulah Skipbox mengecaj mesin, bukan minit:
| Minit sebulan (4 vCPU) | GitHub | Skipbox S | Jimat setiap bulan |
|---|---|---|---|
| 10,000 | $102 | $39 | $63 |
| 20,000 | $222 | $39 | $183 |
| 30,000 | $342 | $39 | $303 |
| Sentiasa hidup | $500.40 | $39 | $461.40 |
Pada penggunaan penuh, itu 1/12 daripada harga GitHub. Angka GitHub ialah bil selepas compute yang disertakan dalam GitHub Team. Masukkan minit anda sendiri dalam kalkulator di laman utama; ia tidak memerlukan log masuk.
Beralih hanya satu baris
jobs:
build:
runs-on: skipbox # was ubuntu-latest
- Log masuk ke Skipbox dengan GitHub.
- Pasang GitHub App Skipbox dan pilih repositori.
- Tukar
runs-ondan push.
Cubalah
Percubaan tidak memerlukan kad: 7 hari atau 3,000 minit job, yang mana dahulu. Halakan workflow anda yang paling lambat ke runs-on: skipbox, jalankannya dua kali, dan bandingkan masa step larian kedua.
Soalan lazim
Berapa lama VM baharu untuk job GitHub Actions mengambil masa untuk bermula di Skipbox?
Pada hos Skipbox sendiri, 7.25 saat dari hos menerima job hingga proses runner bermula, turun daripada 22.9 saat. Kebanyakan job tidak memulakan apa-apa: ia berjalan pada mesin khusus akaun anda, yang dikekalkan antara job.
Adakah selamat untuk memulakan VM job CI dengan SeaBIOS dan bukannya UEFI secure boot?
Ya untuk VM job. Secure boot melindungi rantaian but tetamu daripada diganti, dan job CI sudah mempunyai root dalam VM-nya sendiri, yang dipadam selepas job. Di Skipbox, VM diasingkan oleh KVM dan firewall bagi setiap VM pada hos, dan kedua-duanya tidak bergantung pada perisian tegar tetamu.
Kenapa fsync lambat dalam VM pada ZFS, dan bagaimana membetulkannya untuk CI?
Setiap fsync dalam tetamu menunggu ZFS hos melakukan commit log niatnya. Cakera VM job baharu dipadam bersama job, jadi Skipbox memasang ext4-nya tanpa barrier: yarn install 23% lebih pantas dan docker pull 19% lebih pantas. Mesin yang dikekalkan antara job mengekalkan barrier-nya.
Kenapa KVM menandakan TSC tidak stabil pada CPU hibrid?
KVM membandingkan TSC apabila vCPU berpindah ke CPU hos lain, dan merentasi teras prestasi dan teras kecekapan ia boleh membaca nilai yang lebih rendah. Menyematkan setiap vCPU pada satu CPU hos menghentikan semakan itu daripada berjalan: gelung mula-dan-henti Skipbox kemudiannya mengekalkan TSC selama 40 pusingan.
Bagaimanakah cara menjalankan job saya di Skipbox?
Tukar runs-on kepada skipbox dalam workflow. Percubaan tidak memerlukan kad: 7 hari atau 3,000 minit job, yang mana dahulu.
Dikemas kini 19 November 2026