23 秒花在哪裡:把 GitHub Actions 作業的 VM 啟動縮短到 7 秒
在 Skipbox 的主機上,為單一 GitHub Actions 作業準備的全新虛擬機器,從「主機接下作業」到「Runner 程序啟動」原本要 22.9 秒。現在只要 7.25 秒。這篇文章說明另外那 15 秒去了哪裡,以及每一段是怎麼量的。
Skipbox 是每月固定 $39、分鐘數不限的 GitHub Actions Runner。你的作業在帳號專屬的機器上執行,這台機器在作業之間一直都在;需要全新 VM 的作業,7 秒就能拿到一台。改一行 runs-on 就能換過來。
量的是什麼、在什麼上面量
Skipbox 的主機透過 Incus,在 ZFS 儲存池上執行 KVM 虛擬機器。Runner 映像檔是一台已停止、帶有快照的 VM。需要全新 VM 的作業會拿到那個快照的 ZFS 複製品,開機後透過客體代理程式收到即時產生的 Runner 設定,執行一個作業,然後連同磁碟一起刪除。
主機的常駐程式會記錄每次啟動中每個步驟結束的時間,以毫秒計,從它接下作業的那一刻算起(startMs:cloned、started、agent)。下面的數字來自一台 16 執行緒的 Intel i7-7820X 主機,以及一台 4 vCPU、8 GB 的 VM。
| 從接下作業到 Runner 啟動,各執行 3 次 | |
|---|---|
| 之前 | 22.9 秒(21.7 到 24.2) |
| 之後 | 7.25 秒(7.1 到 8.1) |
時間去了哪裡,每一段都單獨量過:
| 變更 | 量測結果 | 省下 |
|---|---|---|
| 用 SeaBIOS 取代 OVMF | 從 VM 啟動到代理程式第一次回應,3 次的中位數:13.7 → 8.4 秒 | 5.3 秒 |
在核心命令列加上 quiet | 8.4 → 6.5 秒 | 1.9 秒 |
| 不用 initrd | 6.5 → 5.1 秒 | 1.4 秒 |
| 映像檔一開始就和複製品一樣大 | 複製 1.5 → 0.1 秒,第一次啟動 2.35 → 1.8 秒 | 1.9 秒 |
| 等 Docker 的 socket,而不是等 dockerd | dockerd 在代理程式之後 3.6 秒才啟動 | 3.6 秒 |
| 每 100 毫秒詢問一次客體代理程式,而不是每秒一次 | 平均 0.5 秒,最多 1 秒 | 0.5 秒 |
這幾段加起來是 14.6 秒,整體差距是 15.65 秒。
韌體:GRUB 之前的 5.3 秒
Incus 預設用 OVMF 和安全開機啟動 VM。在這台主機上,OVMF 要花 5.3 秒才把控制權交給 GRUB。SeaBIOS 只要 0.5 秒。兩個執行個體設定就能切換:security.csm=true 和 security.secureboot=false。
這是最大的一段,也是唯一和安全性有關的一段,所以這裡完整說明。用 SeaBIOS 時,客體的開機鏈不會檢查簽章。這項檢查要防的,是有人替換客體的開機載入程式或核心。在 CI 作業的 VM 裡,這個「有人」就是作業本身,而作業在自己的 VM 裡本來就有 root 權限:它可以 sudo 任何東西,作業結束時 VM 和它的磁碟也會被刪除。讓一位客戶的 VM 和另一位客戶的 VM 隔開的,是 KVM 和主機橋接網路上每台 VM 各自的防火牆鏈,兩者都不依賴客體的韌體。映像檔在兩種韌體下都能開機,主機上一個旗標就能換回 UEFI。
安靜的核心,以及不用 initrd
作業 VM 每個作業都會開機一次,而且沒有人看它的序列主控台。quiet 讓中位數從 8.4 秒降到 6.5 秒。
initrd 的用途,是載入找到根檔案系統所需的驅動程式。Ubuntu 的 generic 核心內建 virtio-scsi 和 ext4,而每個複製品都和映像檔共用同一個分割區 UUID,所以核心可以直接從 root=PARTUUID=… 掛載 /。這又省了 1.4 秒。
有兩道防護,避免它在沒人注意時出錯。如果不用 initrd 的開機發生 panic,Ubuntu 的 GRUB 下次會自己改用 initrd 開機(GRUB_FORCE_PARTUUID)。這個退路會悄悄把 1.4 秒加回每個作業,所以建置映像檔時會啟動一個測試用的複製品,只要 dmesg 顯示有 initramfs 被解開就判定失敗。
能一開始就建成正確大小的磁碟,就別事後調整
映像檔原本建在比較小的磁碟上,每個複製品都在啟動時擴大到方案的大小。擴大讓每個作業多花 1.9 秒:複製要 1.5 秒而不是 0.1 秒,第一次啟動要 2.35 秒而不是 1.8 秒。現在映像檔直接以最小方案的磁碟大小(80 GB)建置。磁碟區是精簡配置的,所以映像檔實際上只占寫入過的資料。Incus 無法縮小複製品,所以映像檔絕不會大於最小方案;更大的方案在開機時擴大。
有 Docker 的 socket 就夠了
執行指令碼原本要等 docker.service 才啟動 Runner。dockerd 在客體代理程式之後 3.6 秒才啟動。但 systemd 從開機初期就在監聽 Docker 的 socket,在 dockerd 啟動前連上的用戶端會等它。所以指令碼現在只等 docker.socket 和 DNS,並設定等待上限,dockerd 就和 Runner 同時完成啟動。
每 100 毫秒輪詢一次
Runner 的設定是透過客體代理程式推送進 VM 的,而代理程式要等客體開機後才會出現。主機原本每秒重試一次,所以代理程式出現後,作業平均還要等 0.5 秒。代理程式還沒啟動時,Incus 會在 20 毫秒內拒絕推送,所以每 100 毫秒詢問一次不會增加任何成本。VM 啟動 30 秒後,主機就改回每秒一次。
不是開機的修正:隨作業一起消失的磁碟上的 fsync
量測時發現,VM 裡最慢的不是開機。客體裡的每次 fsync 都要等主機的 ZFS 提交它的意圖日誌。全新作業 VM 的磁碟會隨作業一起刪除,上面沒有任何東西需要撐過斷電。所以執行指令碼在啟動 Runner 之前,會用 nobarrier 重新掛載 /。
在 4 vCPU、8 GB 的 VM 上,3 次的中位數:
| 之前 | 之後 | |
|---|---|---|
| 帶 fsync 的 4k 隨機寫入 | 每秒 227 次 | 每秒 2,505 次 |
yarn install,從快取安裝 1 GB 的 node_modules | 12.92 秒 | 9.99 秒(少 23%) |
docker pull node:22 | 19.12 秒 | 15.45 秒(少 19%) |
| redis 的 Docker 建置 | 92.89 秒 | 87.21 秒 |
make -j4、sysbench cpu | 沒有變化 | 沒有變化 |
只有全新的 VM 會這樣設定。你的專屬機器在作業之間保存你的快取,它的 ext4 保留寫入屏障。
在租用的雲端伺服器上做同樣的追查
Skipbox 自己的主機滿載時,作業會在從快照映像檔開機的雲端伺服器上執行。這條路徑也有它自己浪費的時間,只是在不同的地方。在 4 vCPU 的 Intel 共用伺服器上,作業指令碼(伺服器的使用者資料)在核心啟動 28.1 秒後才開始執行。cloud-init 在 19.3 秒時就拿到了指令碼,Docker 在 22.2 秒時也已經啟動,但 cloud-init 要在最後一個階段、所有其他事情做完之後,才執行使用者資料。
現在映像檔裡有一個小小的 systemd 單元,cloud-init 一寫好使用者資料就立刻執行它。它透過檔案描述元讀取指令碼,而那個檔案已經被它刪除,所以 cloud-init 的最後階段找不到任何東西可以再執行一次。映像檔也只產生一種 SSH 主機金鑰,而不是三種(在所有東西都要等的路徑上省下 2.0 秒;沒有人會登入這些伺服器),開機時也不再啟動 snapd、apport、rsyslog 和十幾個維護用的計時器。
用這個映像檔,在 4 vCPU 的 AMD 共用伺服器上,作業指令碼在核心啟動後 8 到 14 秒就開始執行。
固定 vCPU,讓每台主機的時鐘都準
在混合架構 CPU(效能核心加效率核心,例如 Core Ultra 7 265F)上,KVM 可能不再信任 TSC。在一整晚建置映像檔的過程中,核心記錄了:
tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm
vCPU 移到另一顆主機 CPU 時,KVM 會比較 TSC。它在跨核心類型的新核心上讀到較小的值,就把 TSC 標為不穩定。核心在開機時已經停用了 HPET(「HPET dysfunctional in PC10」),所以剩下的唯一時鐘來源是 acpi_pm,而它在這張主機板上幾乎不會前進:30 分鐘只走了大約 1 秒的運作時間。
Skipbox 分兩步解決:
- 一個有效的退路。 在 BIOS 裡把封裝 C-state 限制在 C8,就能讓 HPET 保持運作。在負載下反覆啟動和停止 8 vCPU VM 的 20 輪測試中,KVM 還是在第 11 輪丟掉了 TSC,但時鐘轉到 HPET,時間仍然正確。
- 固定 vCPU。 KVM 只在 vCPU 移動時才執行那項檢查。把每個 vCPU 固定在一顆主機 CPU 上之後,同樣的測試在 TSC 上跑了 40 輪,日誌裡沒有出現任何新的訊息。
除非時鐘來源是 tsc,而且 hpet 可以使用,否則主機常駐程式不會接任何作業,所以丟掉 TSC 的主機會自己清空,它的作業會改到其他機器上執行。每台 Skipbox 主機都會固定它的 vCPU。
最快的開機,就是不用開機
7 秒是給需要全新 VM 的作業:沒有寫入權限的人提交的程式碼(例如來自 fork 的 Pull Request)、你的機器忙碌時進來的作業,以及選擇每個作業都用乾淨 VM 的帳號。其他所有作業都不用開機。它們在你帳號的專屬機器上執行,上一個作業的 Docker 層、套件快取和工具都還在磁碟上。
分鐘數就省在這裡。同樣的工作流程,在 GitHub 的 ubuntu-latest(2 vCPU,私有儲存庫拿到的規格)和保留狀態的 Skipbox S(4 vCPU)上,熱執行的中位數:
GitHub ubuntu-latest | Skipbox S,熱執行 | ||
|---|---|---|---|
| excalidraw:安裝、建置和測試 | 613 秒 | 450 秒 | 少 27% |
| 準備步驟(checkout、Node、還原快取) | 52 秒 | 7 秒 | |
| 測試 | 484 秒 | 354 秒 | |
| umami:多階段 Docker 建置 | 263 秒 | 188 秒 | 少 29% |
準備步驟從 52 秒降到 7 秒,是因為沒有快取壓縮檔要下載和解開:Node 已經在工具快取裡,yarn 的快取也在磁碟上。Docker 建置使用常駐程式自己的層快取,不需要匯出或匯入任何東西。在 Skipbox 上,工作流程完全不需要快取步驟。
為什麼固定價格能讓機器保持運作
閒置的機器看起來像是浪費。但以運算的計費方式來看,它反而是更便宜的選擇,而這正是固定價格行得通的原因。
租用的雲端伺服器,每啟動一個小時就收一整個小時的錢。一個 3 分鐘的作業單獨用一台伺服器,要付 60 分鐘的錢。在我們自己 CI 的某一天,平均 2.5 分鐘的 44 個作業跑在 44 台伺服器上,被收了 44 個伺服器小時。把同一天重播一次,讓每台伺服器在一小時內保留給該帳號的下一個作業,只需要 13 到 14 個伺服器小時:少了大約 70%。而一個月有 730 小時:在每個作業各用一台伺服器的做法下,每月執行超過 730 個短作業的帳號,付的小時數比一台永不停機的機器還多。
所以對你來說最快的機器(快取在磁碟上,什麼都不用開機),也是執行成本最低的機器。Skipbox 自有的主機優先使用,因為它們完全沒有按小時計費的帳單,租用的伺服器則承接溢出的作業。這就是 Skipbox 按機器收費、而不是按分鐘收費的原因:
| 每月分鐘數(4 vCPU) | GitHub | Skipbox S | 每月省下 |
|---|---|---|---|
| 10,000 | $102 | $39 | $63 |
| 20,000 | $222 | $39 | $183 |
| 30,000 | $342 | $39 | $303 |
| 全天候運作 | $500.40 | $39 | $461.40 |
滿載使用時,只要 GitHub 價格的 1/12。GitHub 的金額是扣除 GitHub Team 內含運算額度後的帳單。把你自己的分鐘數填進首頁的費用試算;不必登入。
換過去只要改一行
jobs:
build:
runs-on: skipbox # was ubuntu-latest
- 使用 GitHub 登入 Skipbox。
- 安裝 Skipbox GitHub App,並選擇儲存庫。
- 修改
runs-on並推送。
試試看
試用不需信用卡:為期 7 天或 3,000 作業分鐘,以先到者為準。把你最慢的工作流程指向 runs-on: skipbox,執行兩次,再比較第二次執行的步驟時間。
常見問題
在 Skipbox 上,為 GitHub Actions 作業啟動一台全新的 VM 要多久?
在 Skipbox 自己的主機上,從主機接下作業到 Runner 程序啟動是 7.25 秒,原本是 22.9 秒。大多數作業根本不需要開機:它們在你帳號的專屬機器上執行,而這台機器在作業之間一直都在。
用 SeaBIOS 取代 UEFI 安全開機來啟動 CI 作業的 VM,安全嗎?
對作業 VM 來說是安全的。安全開機保護的是客體的開機鏈不被替換,而 CI 作業在自己的 VM 裡本來就有 root 權限,作業結束後 VM 也會被刪除。在 Skipbox 上,VM 之間靠 KVM 和主機上每台 VM 各自的防火牆隔開,兩者都不依賴客體的韌體。
為什麼 ZFS 上的 VM 執行 fsync 很慢?CI 該怎麼解決?
客體裡的每次 fsync 都要等主機的 ZFS 提交它的意圖日誌。全新作業 VM 的磁碟會隨作業一起刪除,所以 Skipbox 不用寫入屏障來掛載它的 ext4:yarn install 快了 23%,docker pull 快了 19%。在作業之間保留下來的機器則保留寫入屏障。
為什麼在混合架構的 CPU 上,KVM 會把 TSC 標為不穩定?
vCPU 移到另一顆主機 CPU 時,KVM 會比較 TSC,而在效能核心和效率核心之間,它可能讀到較小的值。把每個 vCPU 固定在一顆主機 CPU 上,這項檢查就不會執行:Skipbox 反覆啟動和停止 VM 的測試因此讓 TSC 撐過了 40 輪。
怎麼在 Skipbox 上執行我的作業?
在工作流程中把 runs-on 改成 skipbox。試用不需信用卡:為期 7 天或 3,000 作業分鐘,以先到者為準。
更新於 2026年11月16日