23 秒去了哪里:7 秒启动一台 GitHub Actions 作业虚拟机
在一台 Skipbox 主机上,为一个 GitHub Actions 作业启动一台全新的虚拟机,从“主机接受作业”到“运行器进程启动”,过去要 22.9 秒。现在只要 7.25 秒。这篇文章讲另外 15 秒去了哪里,以及每一秒是怎样测量的。
Skipbox 是一个每月固定 $39、分钟数不限的 GitHub Actions 运行器。你的作业在你账号的专属机器上运行,这台机器在作业之间一直保留,而需要新虚拟机的作业 7 秒就能拿到一台。改一行 runs-on 就能切换过来。
计时的是什么,在什么上面
Skipbox 主机通过 Incus 在一个 ZFS 池上运行 KVM 虚拟机。运行器镜像是一台带快照的已停止虚拟机。需要新虚拟机的作业会拿到这个快照的一个 ZFS 克隆,启动它,通过客户机代理接收一份即时的运行器配置,运行一个作业,然后连同磁盘一起删除。
主机守护进程以毫秒记录一次启动中每一步的结束时间,从它接受作业的那一刻算起(startMs:cloned、started、agent)。下面的数字来自一台 16 线程的 Intel i7-7820X 主机,以及一台 4 vCPU、8 GB 的虚拟机。
| 从接受作业到运行器启动,各 3 次运行 | |
|---|---|
| 之前 | 22.9 秒(21.7 到 24.2) |
| 之后 | 7.25 秒(7.1 到 8.1) |
时间去了哪里,每一项都单独测量:
| 改动 | 测量结果 | 节省 |
|---|---|---|
| 用 SeaBIOS 替代 OVMF | 从虚拟机启动到代理第一次应答,3 次的中位数:13.7 → 8.4 秒 | 5.3 秒 |
内核命令行加上 quiet | 8.4 → 6.5 秒 | 1.9 秒 |
| 不用 initrd | 6.5 → 5.1 秒 | 1.4 秒 |
| 镜像本身就和克隆一样大 | 克隆 1.5 → 0.1 秒,首次启动 2.35 → 1.8 秒 | 1.9 秒 |
| 等 Docker 的套接字,而不是等 dockerd | dockerd 在代理之后 3.6 秒才起来 | 3.6 秒 |
| 每 100 毫秒而不是每秒询问一次客户机代理 | 平均 0.5 秒,最多 1 秒 | 0.5 秒 |
这些加起来是端到端差值 15.65 秒中的 14.6 秒。
固件:GRUB 之前的 5.3 秒
Incus 默认用 OVMF 和安全启动来启动虚拟机。在这台主机上,OVMF 要 5.3 秒才把控制权交给 GRUB。SeaBIOS 只要 0.5 秒。两个实例键就能切换:security.csm=true 和 security.secureboot=false。
这是最大的单项,也是唯一涉及安全的一项,所以这里完整说明。用 SeaBIOS 时,客户机的启动链不做签名检查。这项检查防范的是有人替换客户机的引导程序或内核。在 CI 作业虚拟机里,这个“有人”就是作业本身,而作业在自己的虚拟机里本来就有 root 权限:它可以 sudo 任何东西,作业结束时虚拟机和它的磁盘都会被删除。让一个客户的虚拟机远离另一个客户的,是 KVM 和主机网桥上每台虚拟机各自的防火墙链,两者都不依赖客户机的固件。镜像在两种固件下都能启动,主机上一个开关就能换回 UEFI。
安静的内核,不用 initrd
作业虚拟机每个作业启动一次,没人看它的串口控制台。quiet 把中位数从 8.4 秒降到 6.5 秒。
initrd 的存在是为了加载能找到根文件系统的驱动。Ubuntu 的通用内核内置了 virtio-scsi 和 ext4,而每个克隆都共用镜像的分区 UUID,所以内核直接从 root=PARTUUID=… 挂载 /。又省了 1.4 秒。
有两道防护,免得它悄无声息地出错。如果不带 initrd 的启动发生了内核崩溃,Ubuntu 的 GRUB 下一次会自动带着 initrd 启动(GRUB_FORCE_PARTUUID)。这个回退会悄悄地把 1.4 秒加回每个作业,所以镜像构建会启动一个测试克隆,如果 dmesg 显示解包了 initramfs,构建就失败。
别去调整一块本可以一开始就做对大小的磁盘
镜像过去是在一块较小的磁盘上构建的,每个克隆在启动时再扩展到套餐的大小。扩展让每个作业多花 1.9 秒:克隆要 1.5 秒而不是 0.1 秒,首次启动要 2.35 秒而不是 1.8 秒。现在镜像按最小套餐的磁盘大小(80 GB)构建。卷是精简配置的,所以镜像里仍然只有写进去的东西。Incus 不能缩小克隆,所以镜像永远不会比最小的套餐大;更大的套餐在启动时扩展。
Docker 的套接字就够了
运行脚本过去要等 docker.service 起来才启动运行器。dockerd 在客户机代理之后 3.6 秒才起来。但 systemd 从启动早期就在监听 Docker 的套接字,在 dockerd 起来之前连接的客户端会等它。所以脚本只等 docker.socket 和 DNS,并设定等待上限,dockerd 就在运行器启动的同时完成启动。
每 100 毫秒轮询一次
运行器的配置通过客户机代理推送进虚拟机,而代理要等客户机启动完成才会出现。主机过去每秒重试一次,所以代理起来之后,作业平均还要等 0.5 秒。代理没起来时,Incus 会在 20 毫秒内拒绝推送,所以每 100 毫秒问一次不花任何代价。虚拟机的前 30 秒过去之后,主机恢复为每秒一次。
不是启动上的改进:随作业一起删除的磁盘上的 fsync
测量过程中发现,虚拟机里最慢的东西其实不是启动。客户机里的每次 fsync 都要等主机的 ZFS 提交它的意图日志。新作业虚拟机的磁盘会随作业一起删除,所以它上面的东西都不需要扛过断电。运行脚本在启动运行器之前,用 nobarrier 重新挂载 /。
3 次的中位数,在一台 4 vCPU、8 GB 的虚拟机中:
| 之前 | 之后 | |
|---|---|---|
| 带 fsync 的 4k 随机写入 | 每秒 227 次 | 每秒 2,505 次 |
yarn install,从缓存安装 1 GB 的 node_modules | 12.92 秒 | 9.99 秒(少 23%) |
docker pull node:22 | 19.12 秒 | 15.45 秒(少 19%) |
| redis 的 Docker 构建 | 92.89 秒 | 87.21 秒 |
make -j4、sysbench cpu | 不变 | 不变 |
只有新虚拟机才这样做。你的专属机器在作业之间保存你的缓存,它的 ext4 保留屏障。
在租用的云服务器上做同样的排查
Skipbox 自己的主机满载时,作业会在一台从快照镜像启动的云服务器上运行。这条路径也有自己浪费的时间,在另一个地方。在一台 4 vCPU 的 Intel 共享服务器上,作业脚本(服务器的 user data)在内核之后 28.1 秒才开始运行。cloud-init 在 19.3 秒时就拿到了脚本,Docker 在 22.2 秒时就起来了,但 cloud-init 在它的最后阶段、在所有其他事情之后才运行 user data。
现在镜像里有一个小小的 systemd 单元,cloud-init 一写好 user data 就运行它。它通过文件描述符从一个已经被删除的文件读取脚本,所以 cloud-init 的最后阶段找不到任何东西可以再运行一遍。镜像还只生成一种 SSH 主机密钥,而不是三种(在所有东西都在等的路径上省下 2.0 秒;没人会登录这些服务器),启动时也不再启动 snapd、apport、rsyslog 和十几个维护定时器。
用这个镜像,在一台 4 vCPU 的 AMD 共享服务器上,作业脚本在内核之后 8 到 14 秒就开始运行。
固定 vCPU,让每台主机的时钟都准
在混合架构 CPU(性能核加能效核,例如 Core Ultra 7 265F)上,KVM 可能不再信任 TSC。在一个跑镜像构建的夜里,内核记下了:
tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm
vCPU 移到另一个主机 CPU 时,KVM 会比较 TSC。它在新核心上读到了一个更小的值(跨核心类型),于是把 TSC 标记为不稳定。内核在启动时已经禁用了 HPET("HPET dysfunctional in PC10"),所以剩下的唯一时钟源是 acpi_pm,而它在这块主板上几乎不走:30 分钟里大约只走了 1 秒的运行时间。
Skipbox 分两步解决:
- 一个能用的回退:在 BIOS 中把封装 C 状态限制在 C8,HPET 就能保持可用。KVM 仍然丢掉了 TSC,在一个负载下启动、停止 8 vCPU 虚拟机的 20 轮循环的第 11 轮,但时钟切换到了 HPET,时间照常走。
- 固定:KVM 只在 vCPU 移动时才运行那项检查。把每个 vCPU 固定到一个主机 CPU 上,同样的循环在 TSC 上跑了 40 轮,日志里没有新的一行。
只有时钟源是 tsc 且 hpet 可用时,主机守护进程才接作业,所以丢掉 TSC 的主机会自行排空,它的作业转到其他机器上。每台 Skipbox 主机都固定它的 vCPU。
最快的启动,是不用启动
七秒是给需要新虚拟机的作业的:没有写入权限的人提交的代码(例如来自复刻的拉取请求)、在你的机器忙碌时到达的作业,以及选择每个作业都用干净虚拟机的账号。其他每个作业都什么也不用启动。它在你账号的专属机器上运行,上一个作业的 Docker 层、包缓存和工具都还在它的磁盘上。
分钟数就省在这里。同样的工作流分别在 GitHub 的 ubuntu-latest(2 vCPU,私有仓库拿到的规格)和一台热的 Skipbox S(4 vCPU)上运行,热运行的中位数:
GitHub ubuntu-latest | Skipbox S,热机器 | ||
|---|---|---|---|
| excalidraw:安装、构建和测试 | 613 秒 | 450 秒 | 少 27% |
| 准备步骤(检出、Node、缓存恢复) | 52 秒 | 7 秒 | |
| 测试 | 484 秒 | 354 秒 | |
| umami:多阶段 Docker 构建 | 263 秒 | 188 秒 | 少 29% |
准备步骤从 52 秒降到 7 秒,是因为没有缓存归档要下载和解压:Node 已经在工具缓存里,yarn 的缓存在磁盘上。Docker 构建用的是守护进程自己的层缓存,什么都不用导出或导入。在 Skipbox 上,工作流里根本没有缓存步骤。
为什么固定价格能让机器一直热着
一台空闲的机器看起来像浪费。按照计算资源的计费方式,它反而是更便宜的选择,这正是固定价格能成立的原因。
租用的云服务器每启动一个小时,就按整小时计费。一个 3 分钟的作业独占一台服务器,就要付 60 分钟的钱。在我们自己 CI 的某一天,44 个平均 2.5 分钟的作业在 44 台服务器上运行,计费 44 个服务器小时。把同一天重放一遍,让每台服务器在一小时内留给这个账号的下一个作业,只需要 13 到 14 个服务器小时:大约少 70%。而一个月有 730 小时:一个每月在按作业分配的服务器上跑超过 730 个短作业的账号,付的小时数比一台从不停机的机器还多。
所以对你来说最快的机器(缓存在磁盘上,什么都不用启动),也是运行成本最低的机器。Skipbox 自有的主机优先,因为它们根本没有按小时的账单,租用的服务器承接溢出的作业。这就是 Skipbox 按机器而不是按分钟收费的原因:
| 每月分钟数(4 vCPU) | GitHub | Skipbox S | 每月节省 |
|---|---|---|---|
| 1万 | $102 | $39 | $63 |
| 2万 | $222 | $39 | $183 |
| 3万 | $342 | $39 | $303 |
| 全天运行 | $500.40 | $39 | $461.40 |
满负荷时,是 GitHub 价格的 1/12。GitHub 的金额是减去 GitHub Team 包含的计算用量后的账单。把你自己的分钟数填进首页的计算器;无需登录。
切换只需改一行
jobs:
build:
runs-on: skipbox # was ubuntu-latest
- 使用 GitHub 登录 Skipbox。
- 安装 Skipbox GitHub 应用,并选择仓库。
- 修改
runs-on并推送。
试试看
试用无需绑卡:7 天 或 3,000 作业分钟,以先到者为准。把你最慢的工作流指向 runs-on: skipbox,运行两次,比一比第二次运行各步骤的耗时。
常见问题
在 Skipbox 上,为 GitHub Actions 作业启动一台新虚拟机要多久?
在 Skipbox 自己的主机上,从主机接受作业到运行器进程启动只要 7.25 秒,过去是 22.9 秒。大多数作业什么都不用启动:它们在你账号的专属机器上运行,这台机器在作业之间一直保留。
用 SeaBIOS 而不是 UEFI 安全启动来启动 CI 作业虚拟机,安全吗?
对作业虚拟机来说是安全的。安全启动保护的是客户机的启动链不被替换,而 CI 作业在自己的虚拟机里本来就有 root 权限,这台虚拟机在作业后就会被删除。在 Skipbox 上,虚拟机之间靠 KVM 和主机上每台虚拟机各自的防火墙隔开,两者都不依赖客户机的固件。
为什么在 ZFS 上的虚拟机里 fsync 很慢,CI 怎样解决?
客户机里的每次 fsync 都要等主机的 ZFS 提交它的意图日志。新作业虚拟机的磁盘会随作业一起删除,所以 Skipbox 不带屏障地挂载它的 ext4:yarn install 快了 23%,docker pull 快了 19%。在作业之间保留的机器则保留屏障。
为什么在混合架构 CPU 上 KVM 会把 TSC 标记为不稳定?
vCPU 移到另一个主机 CPU 时,KVM 会比较 TSC,而在性能核和能效核之间,它可能读到一个更小的值。把每个 vCPU 固定到一个主机 CPU 上,这个检查就不会运行:之后 Skipbox 的启动停止循环让 TSC 撑过了 40 轮。
怎样在 Skipbox 上运行我的作业?
在工作流中把 runs-on 改为 skipbox。试用无需绑卡:7 天 或 3,000 作业分钟,以先到者为准。
更新于 2026年11月16日