Skipbox

23 giây đã đi đâu: khởi động VM cho một job GitHub Actions trong 7 giây

Một máy ảo mới cho một job GitHub Actions từng mất 22,9 giây trên một host Skipbox để đi từ "host đã nhận job" đến "tiến trình runner khởi động". Giờ nó mất 7,25 giây. Bài này kể 15 giây kia đã nằm ở đâu và từng giây được đo thế nào.

Skipbox là runner GitHub Actions với giá cố định $39 một tháng, không giới hạn phút. Job của bạn chạy trên máy riêng của tài khoản bạn, được giữ lại giữa các job, và những job cần VM mới thì có một VM trong 7 giây. Đổi một dòng runs-on là chuyển xong.

Đo cái gì, và trên máy nào

Một host Skipbox chạy máy ảo KVM qua Incus trên một ZFS pool. Image của runner là một VM đã dừng kèm một snapshot. Job cần VM mới sẽ nhận một ZFS clone của snapshot đó, khởi động nó, nhận cấu hình runner just-in-time qua guest agent, chạy một job, rồi bị xóa cùng ổ đĩa.

Daemon của host ghi log thời điểm kết thúc của mọi bước trong một lần khởi động, tính bằng mili giây từ lúc nó nhận job (startMs: cloned, started, agent). Các con số dưới đây lấy từ một host Intel i7-7820X 16 luồng và một VM 4 vCPU, 8 GB.

Thời gian đã đi đâu, mỗi phần được đo riêng:

Các phần cộng lại được 14,6 giây trong tổng chênh lệch 15,65 giây từ đầu đến cuối.

Firmware: 5,3 giây trước khi tới GRUB

Incus mặc định khởi động VM bằng OVMF và secure boot. Trên host này, OVMF mất 5,3 giây mới chuyển giao cho GRUB. SeaBIOS mất 0,5 giây. Hai khóa instance chuyển đổi nó: security.csm=true và security.secureboot=false.

Đây là phần lớn nhất, và là phần duy nhất đụng tới bảo mật, nên đây là toàn bộ câu chuyện. Với SeaBIOS, chuỗi khởi động của guest không được kiểm tra chữ ký. Thứ mà phép kiểm tra đó bảo vệ là chống ai đó thay bootloader hoặc kernel của guest. Trong một VM job CI, ai đó chính là job, và job vốn đã có root trong VM của nó: nó có thể sudo bất cứ thứ gì, và VM cùng ổ đĩa bị xóa khi job kết thúc. Thứ giữ VM của khách hàng này cách xa VM của khách hàng khác là KVM và một firewall chain riêng cho mỗi VM trên bridge của host, và không thứ nào phụ thuộc vào firmware của guest. Image khởi động được với cả hai, và một cờ trên host là đưa UEFI trở lại.

Kernel im lặng, và không có initrd

VM của job khởi động một lần cho mỗi job, và không ai đọc serial console của nó. quiet đưa trung vị từ 8,4 xuống 6,5 giây.

initrd tồn tại để nạp các driver tìm ra hệ thống file gốc. Kernel generic của Ubuntu đã tích hợp sẵn virtio-scsi và ext4, và mọi clone dùng chung partition UUID của image, nên kernel mount / trực tiếp từ root=PARTUUID=…. Thêm 1,4 giây nữa.

Hai lớp bảo vệ giữ cho nó không âm thầm hỏng. GRUB của Ubuntu sẽ tự khởi động lần sau với initrd nếu một lần khởi động không có initrd bị panic (GRUB_FORCE_PARTUUID). Cơ chế dự phòng đó sẽ âm thầm mang 1,4 giây trở lại cho mọi job, nên bước build image khởi động một clone thử nghiệm và báo lỗi nếu dmesg cho thấy có initramfs được giải nén.

Đừng đổi kích thước một ổ đĩa mà bạn có thể build đúng cỡ ngay từ đầu

Image từng được build trên một ổ đĩa nhỏ hơn, và mỗi clone được mở rộng theo kích thước gói lúc khởi động. Mở rộng tốn 1,9 giây mỗi job: clone mất 1,5 giây thay vì 0,1 giây, và lần khởi động đầu 2,35 giây thay vì 1,8 giây. Giờ image được build ở kích thước ổ đĩa của gói nhỏ nhất (80 GB). Volume là thin, nên image vẫn chỉ chứa những gì đã được ghi vào. Incus không thu nhỏ được clone, nên image không bao giờ lớn hơn gói nhỏ nhất; các gói lớn hơn được mở rộng lúc khởi động.

Socket của Docker là đủ

Script chạy từng chờ docker.service rồi mới khởi động runner. dockerd sẵn sàng 3,6 giây sau guest agent. Nhưng systemd đã lắng nghe trên socket của Docker từ sớm trong quá trình khởi động, và client nào kết nối trước khi dockerd sẵn sàng sẽ chờ nó. Vì vậy script chỉ chờ docker.socket và DNS, với thời gian chờ có giới hạn, còn dockerd khởi động xong trong lúc runner khởi động.

Hỏi mỗi 100 ms

Cấu hình của runner được đẩy vào VM qua guest agent, thứ chưa có cho đến khi guest khởi động xong. Host thử lại mỗi giây một lần, nên trung bình job phải chờ 0,5 giây sau khi agent xuất hiện. Incus từ chối lệnh đẩy trong 20 ms khi agent chưa có, nên hỏi mỗi 100 ms không tốn gì. Sau 30 giây đầu của một VM, host quay về mỗi giây một lần.

Không phải sửa khâu khởi động: fsync trên ổ đĩa chết cùng job

Trong lúc đo, thứ chậm nhất trong VM hóa ra không phải khâu khởi động. Mỗi lần fsync trong guest đều chờ ZFS của host commit intent log. Ổ đĩa của một VM job mới bị xóa cùng job, nên không gì trên đó phải sống sót qua một lần mất điện. Script chạy mount lại / với nobarrier trước khi khởi động runner.

Trung vị của 3 lần, trong một VM 4 vCPU và 8 GB:

Chỉ VM mới mới có điều này. Máy riêng của bạn giữ cache giữa các job, và ext4 của nó giữ nguyên barrier.

Cuộc săn tương tự trên server cloud thuê

Khi các host của chính Skipbox đã đầy, job chạy trên một server cloud khởi động từ một image snapshot. Đường đó có khoảng thời gian bị mất riêng, ở một chỗ khác. Trên một server dùng chung Intel 4 vCPU, script của job (user data của server) bắt đầu 28,1 giây sau kernel. cloud-init đã có script lúc 19,3 giây và Docker đã sẵn sàng lúc 22,2 giây, nhưng cloud-init chạy user data ở giai đoạn cuối cùng, sau mọi thứ khác.

Giờ image có một unit systemd nhỏ chạy user data ngay khi cloud-init vừa ghi nó ra. Nó đọc script qua một file descriptor từ một file đã bị xóa, nên giai đoạn cuối của cloud-init không tìm thấy gì để chạy lần hai. Image cũng chỉ tạo một loại SSH host key thay vì ba (2,0 giây trên đường mà mọi thứ khác phải chờ; không ai đăng nhập vào các server này), và không còn khởi động snapd, apport, rsyslog hay cả chục timer bảo trì lúc khởi động.

Với image đó, trên một server dùng chung AMD 4 vCPU, script của job bắt đầu 8 đến 14 giây sau kernel.

Ghim vCPU giữ đồng hồ của mọi host luôn đúng

Trên CPU hybrid (nhân hiệu năng và nhân tiết kiệm điện, như Core Ultra 7 265F), KVM có thể thôi tin TSC. Trong một đêm build image, kernel ghi log:

tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm

KVM so sánh TSC khi một vCPU chuyển sang CPU khác của host. Nó đọc ra giá trị thấp hơn trên nhân mới, giữa hai loại nhân, và đánh dấu TSC không ổn định. Kernel đã tắt HPET từ lúc khởi động ("HPET dysfunctional in PC10"), nên nguồn đồng hồ duy nhất còn lại là acpi_pm, thứ trên bo mạch này hầu như không nhích: khoảng 1 giây uptime trong 30 phút.

Skipbox sửa nó qua hai bước:

  1. Một phương án dự phòng chạy được. Giới hạn package C-state ở C8 trong BIOS giữ cho HPET sống. KVM vẫn bỏ TSC, ở vòng 11 của một vòng lặp 20 vòng khởi động rồi dừng một VM 8 vCPU dưới tải, nhưng đồng hồ chuyển sang HPET và vẫn chạy đúng giờ.
  2. Ghim. KVM chỉ chạy phép kiểm tra đó khi một vCPU di chuyển. Với mỗi vCPU được ghim vào một CPU của host, cùng vòng lặp đó chạy 40 vòng trên TSC mà log không có dòng mới nào.

Daemon của host không nhận job nào trừ khi nguồn đồng hồ là tsc và có hpet, nên host nào bỏ TSC sẽ tự rút cạn và job của nó chuyển sang máy khác. Mọi host Skipbox đều ghim vCPU.

Lần khởi động nhanh nhất là lần bạn bỏ qua

Bảy giây là dành cho những job cần VM mới: code từ người không có quyền ghi (chẳng hạn pull request từ fork), job đến khi máy của bạn đang bận, và các tài khoản chọn VM sạch cho mỗi job. Mọi job khác không khởi động gì cả. Nó chạy trên máy riêng của tài khoản bạn, với Docker layer, cache package và tool của job trước vẫn nằm trên ổ đĩa.

Đó là chỗ có số phút. Cùng các workflow trên ubuntu-latest của GitHub (2 vCPU, thứ repository riêng tư nhận được) và trên một Skipbox S warm (4 vCPU), trung vị của các lần chạy warm:

Các step chuẩn bị giảm từ 52 giây xuống 7 giây vì không có archive cache nào phải tải và giải nén: Node đã nằm trong tool cache và cache của yarn đã nằm trên ổ đĩa. Bản build Docker dùng layer cache của chính daemon, không export hay import gì. Trên Skipbox, workflow không có step cache nào cả.

Vì sao một giá cố định giữ được cái máy luôn warm

Một cái máy nhàn rỗi trông như lãng phí. Với cách compute được tính tiền, đó lại là lựa chọn rẻ hơn, và đó là điều khiến giá cố định khả thi.

Một server cloud thuê bị tính tiền trọn mỗi giờ nó bắt đầu. Một job 3 phút trên server riêng trả tiền cho 60 phút. Trong một ngày CI của chính chúng tôi, 44 job trung bình 2,5 phút chạy trên 44 server và bị tính 44 giờ server. Phát lại cùng ngày đó với mỗi server được giữ cho job sau của tài khoản trong giờ của nó thì ra 13 đến 14 giờ server: ít hơn khoảng 70%. Và một tháng có 730 giờ: tài khoản nào chạy hơn 730 job ngắn mỗi tháng trên server theo từng job sẽ trả tiền cho nhiều giờ hơn một cái máy không bao giờ dừng.

Vậy là cái máy nhanh nhất với bạn (cache trên ổ đĩa, không phải khởi động gì) cũng là cái máy rẻ nhất để vận hành. Các host do Skipbox sở hữu được ưu tiên vì chúng hoàn toàn không có hóa đơn theo giờ, còn server thuê nhận phần tràn. Đó là lý do Skipbox tính tiền theo máy, không theo phút:

Khi dùng hết công suất, con số đó bằng 1/12 giá của GitHub. Số liệu GitHub là hóa đơn sau khi trừ mức compute có sẵn của GitHub Team. Nhập số phút của chính bạn vào máy tính chi phí trên trang chủ; không cần đăng nhập.

Chuyển sang chỉ cần một dòng

jobs:
  build:
    runs-on: skipbox # was ubuntu-latest
  1. Đăng nhập Skipbox bằng GitHub.
  2. Cài ứng dụng GitHub của Skipbox và chọn các repository.
  3. Đổi runs-on rồi push.

Dùng thử

Dùng thử không cần thẻ: 7 ngày hoặc 3.000 phút chạy job, tùy điều kiện nào đến trước. Trỏ workflow chậm nhất của bạn tới runs-on: skipbox, chạy hai lần, rồi so thời gian từng step của lần chạy thứ hai.

Câu hỏi thường gặp

Một VM mới cho job GitHub Actions khởi động mất bao lâu trên Skipbox?

Trên chính các host của Skipbox, 7,25 giây tính từ lúc host nhận job đến lúc tiến trình runner khởi động, giảm từ 22,9 giây. Phần lớn job không phải khởi động gì cả: chúng chạy trên máy riêng của tài khoản bạn, được giữ lại giữa các job.

Khởi động VM cho job CI bằng SeaBIOS thay vì UEFI secure boot có an toàn không?

Với VM của job thì có. Secure boot bảo vệ chuỗi khởi động của guest khỏi bị thay thế, mà job CI vốn đã có quyền root trong chính VM của nó, VM này bị xóa sau job. Trên Skipbox, các VM được tách biệt bằng KVM và một firewall riêng cho mỗi VM trên host, và không thứ nào phụ thuộc vào firmware của guest.

Vì sao fsync chậm trong VM trên ZFS, và sửa thế nào cho CI?

Mỗi lần fsync trong guest phải chờ ZFS của host commit intent log. Ổ đĩa của một VM job mới bị xóa cùng job, nên Skipbox mount ext4 của nó không dùng barrier: yarn install nhanh hơn 23% và docker pull nhanh hơn 19%. Máy được giữ lại giữa các job thì vẫn giữ barrier.

Vì sao KVM đánh dấu TSC không ổn định trên CPU hybrid?

KVM so sánh TSC khi một vCPU chuyển sang CPU khác của host, và giữa nhân hiệu năng với nhân tiết kiệm điện nó có thể đọc ra giá trị thấp hơn. Ghim mỗi vCPU vào một CPU của host khiến phép kiểm tra đó không chạy nữa: khi đó vòng lặp khởi động rồi dừng của Skipbox giữ được TSC suốt 40 vòng.

Làm sao chạy job của tôi trên Skipbox?

Đổi runs-on thành skipbox trong một workflow. Dùng thử không cần thẻ: 7 ngày hoặc 3.000 phút chạy job, tùy điều kiện nào đến trước.

Cập nhật ngày 16 tháng 11, 2026

CI/CD nhanh hơn với cache luôn sẵn sàng

Runner luôn sẵn cache, giá cố định

Chúng tôi host. Bạn đổi một dòng. Chỉ bằng 1/12 chi phí GitHub khi chạy hết công suất. Giá cố định nên bạn chạy cả ngày cũng được. Dung lượng cache gấp 7 lần GitHub.

  • Không cần thẻ
  • Đăng nhập bằng GitHub
  • Hủy bất cứ lúc nào