Skipbox

23 秒去了哪里:7 秒启动一台 GitHub Actions 作业虚拟机

在一台 Skipbox 主机上,为一个 GitHub Actions 作业启动一台全新的虚拟机,从“主机接受作业”到“运行器进程启动”,过去要 22.9 秒。现在只要 7.25 秒。这篇文章讲另外 15 秒去了哪里,以及每一秒是怎样测量的。

Skipbox 是一个每月固定 $39、分钟数不限的 GitHub Actions 运行器。你的作业在你账号的专属机器上运行,这台机器在作业之间一直保留,而需要新虚拟机的作业 7 秒就能拿到一台。改一行 runs-on 就能切换过来。

计时的是什么,在什么上面

Skipbox 主机通过 Incus 在一个 ZFS 池上运行 KVM 虚拟机。运行器镜像是一台带快照的已停止虚拟机。需要新虚拟机的作业会拿到这个快照的一个 ZFS 克隆,启动它,通过客户机代理接收一份即时的运行器配置,运行一个作业,然后连同磁盘一起删除。

主机守护进程以毫秒记录一次启动中每一步的结束时间,从它接受作业的那一刻算起(startMs:cloned、started、agent)。下面的数字来自一台 16 线程的 Intel i7-7820X 主机,以及一台 4 vCPU、8 GB 的虚拟机。

时间去了哪里,每一项都单独测量:

这些加起来是端到端差值 15.65 秒中的 14.6 秒。

固件:GRUB 之前的 5.3 秒

Incus 默认用 OVMF 和安全启动来启动虚拟机。在这台主机上,OVMF 要 5.3 秒才把控制权交给 GRUB。SeaBIOS 只要 0.5 秒。两个实例键就能切换:security.csm=true 和 security.secureboot=false。

这是最大的单项,也是唯一涉及安全的一项,所以这里完整说明。用 SeaBIOS 时,客户机的启动链不做签名检查。这项检查防范的是有人替换客户机的引导程序或内核。在 CI 作业虚拟机里,这个“有人”就是作业本身,而作业在自己的虚拟机里本来就有 root 权限:它可以 sudo 任何东西,作业结束时虚拟机和它的磁盘都会被删除。让一个客户的虚拟机远离另一个客户的,是 KVM 和主机网桥上每台虚拟机各自的防火墙链,两者都不依赖客户机的固件。镜像在两种固件下都能启动,主机上一个开关就能换回 UEFI。

安静的内核,不用 initrd

作业虚拟机每个作业启动一次,没人看它的串口控制台。quiet 把中位数从 8.4 秒降到 6.5 秒。

initrd 的存在是为了加载能找到根文件系统的驱动。Ubuntu 的通用内核内置了 virtio-scsi 和 ext4,而每个克隆都共用镜像的分区 UUID,所以内核直接从 root=PARTUUID=… 挂载 /。又省了 1.4 秒。

有两道防护,免得它悄无声息地出错。如果不带 initrd 的启动发生了内核崩溃,Ubuntu 的 GRUB 下一次会自动带着 initrd 启动(GRUB_FORCE_PARTUUID)。这个回退会悄悄地把 1.4 秒加回每个作业,所以镜像构建会启动一个测试克隆,如果 dmesg 显示解包了 initramfs,构建就失败。

别去调整一块本可以一开始就做对大小的磁盘

镜像过去是在一块较小的磁盘上构建的,每个克隆在启动时再扩展到套餐的大小。扩展让每个作业多花 1.9 秒:克隆要 1.5 秒而不是 0.1 秒,首次启动要 2.35 秒而不是 1.8 秒。现在镜像按最小套餐的磁盘大小(80 GB)构建。卷是精简配置的,所以镜像里仍然只有写进去的东西。Incus 不能缩小克隆,所以镜像永远不会比最小的套餐大;更大的套餐在启动时扩展。

Docker 的套接字就够了

运行脚本过去要等 docker.service 起来才启动运行器。dockerd 在客户机代理之后 3.6 秒才起来。但 systemd 从启动早期就在监听 Docker 的套接字,在 dockerd 起来之前连接的客户端会等它。所以脚本只等 docker.socket 和 DNS,并设定等待上限,dockerd 就在运行器启动的同时完成启动。

每 100 毫秒轮询一次

运行器的配置通过客户机代理推送进虚拟机,而代理要等客户机启动完成才会出现。主机过去每秒重试一次,所以代理起来之后,作业平均还要等 0.5 秒。代理没起来时,Incus 会在 20 毫秒内拒绝推送,所以每 100 毫秒问一次不花任何代价。虚拟机的前 30 秒过去之后,主机恢复为每秒一次。

不是启动上的改进:随作业一起删除的磁盘上的 fsync

测量过程中发现,虚拟机里最慢的东西其实不是启动。客户机里的每次 fsync 都要等主机的 ZFS 提交它的意图日志。新作业虚拟机的磁盘会随作业一起删除,所以它上面的东西都不需要扛过断电。运行脚本在启动运行器之前,用 nobarrier 重新挂载 /。

3 次的中位数,在一台 4 vCPU、8 GB 的虚拟机中:

只有新虚拟机才这样做。你的专属机器在作业之间保存你的缓存,它的 ext4 保留屏障。

在租用的云服务器上做同样的排查

Skipbox 自己的主机满载时,作业会在一台从快照镜像启动的云服务器上运行。这条路径也有自己浪费的时间,在另一个地方。在一台 4 vCPU 的 Intel 共享服务器上,作业脚本(服务器的 user data)在内核之后 28.1 秒才开始运行。cloud-init 在 19.3 秒时就拿到了脚本,Docker 在 22.2 秒时就起来了,但 cloud-init 在它的最后阶段、在所有其他事情之后才运行 user data。

现在镜像里有一个小小的 systemd 单元,cloud-init 一写好 user data 就运行它。它通过文件描述符从一个已经被删除的文件读取脚本,所以 cloud-init 的最后阶段找不到任何东西可以再运行一遍。镜像还只生成一种 SSH 主机密钥,而不是三种(在所有东西都在等的路径上省下 2.0 秒;没人会登录这些服务器),启动时也不再启动 snapd、apport、rsyslog 和十几个维护定时器。

用这个镜像,在一台 4 vCPU 的 AMD 共享服务器上,作业脚本在内核之后 8 到 14 秒就开始运行。

固定 vCPU,让每台主机的时钟都准

在混合架构 CPU(性能核加能效核,例如 Core Ultra 7 265F)上,KVM 可能不再信任 TSC。在一个跑镜像构建的夜里,内核记下了:

tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm

vCPU 移到另一个主机 CPU 时,KVM 会比较 TSC。它在新核心上读到了一个更小的值(跨核心类型),于是把 TSC 标记为不稳定。内核在启动时已经禁用了 HPET("HPET dysfunctional in PC10"),所以剩下的唯一时钟源是 acpi_pm,而它在这块主板上几乎不走:30 分钟里大约只走了 1 秒的运行时间。

Skipbox 分两步解决:

  1. 一个能用的回退:在 BIOS 中把封装 C 状态限制在 C8,HPET 就能保持可用。KVM 仍然丢掉了 TSC,在一个负载下启动、停止 8 vCPU 虚拟机的 20 轮循环的第 11 轮,但时钟切换到了 HPET,时间照常走。
  2. 固定:KVM 只在 vCPU 移动时才运行那项检查。把每个 vCPU 固定到一个主机 CPU 上,同样的循环在 TSC 上跑了 40 轮,日志里没有新的一行。

只有时钟源是 tsc 且 hpet 可用时,主机守护进程才接作业,所以丢掉 TSC 的主机会自行排空,它的作业转到其他机器上。每台 Skipbox 主机都固定它的 vCPU。

最快的启动,是不用启动

七秒是给需要新虚拟机的作业的:没有写入权限的人提交的代码(例如来自复刻的拉取请求)、在你的机器忙碌时到达的作业,以及选择每个作业都用干净虚拟机的账号。其他每个作业都什么也不用启动。它在你账号的专属机器上运行,上一个作业的 Docker 层、包缓存和工具都还在它的磁盘上。

分钟数就省在这里。同样的工作流分别在 GitHub 的 ubuntu-latest(2 vCPU,私有仓库拿到的规格)和一台热的 Skipbox S(4 vCPU)上运行,热运行的中位数:

准备步骤从 52 秒降到 7 秒,是因为没有缓存归档要下载和解压:Node 已经在工具缓存里,yarn 的缓存在磁盘上。Docker 构建用的是守护进程自己的层缓存,什么都不用导出或导入。在 Skipbox 上,工作流里根本没有缓存步骤。

为什么固定价格能让机器一直热着

一台空闲的机器看起来像浪费。按照计算资源的计费方式,它反而是更便宜的选择,这正是固定价格能成立的原因。

租用的云服务器每启动一个小时,就按整小时计费。一个 3 分钟的作业独占一台服务器,就要付 60 分钟的钱。在我们自己 CI 的某一天,44 个平均 2.5 分钟的作业在 44 台服务器上运行,计费 44 个服务器小时。把同一天重放一遍,让每台服务器在一小时内留给这个账号的下一个作业,只需要 13 到 14 个服务器小时:大约少 70%。而一个月有 730 小时:一个每月在按作业分配的服务器上跑超过 730 个短作业的账号,付的小时数比一台从不停机的机器还多。

所以对你来说最快的机器(缓存在磁盘上,什么都不用启动),也是运行成本最低的机器。Skipbox 自有的主机优先,因为它们根本没有按小时的账单,租用的服务器承接溢出的作业。这就是 Skipbox 按机器而不是按分钟收费的原因:

满负荷时,是 GitHub 价格的 1/12。GitHub 的金额是减去 GitHub Team 包含的计算用量后的账单。把你自己的分钟数填进首页的计算器;无需登录。

切换只需改一行

jobs:
  build:
    runs-on: skipbox # was ubuntu-latest
  1. 使用 GitHub 登录 Skipbox。
  2. 安装 Skipbox GitHub 应用,并选择仓库。
  3. 修改 runs-on 并推送。

试试看

试用无需绑卡:7 天 或 3,000 作业分钟,以先到者为准。把你最慢的工作流指向 runs-on: skipbox,运行两次,比一比第二次运行各步骤的耗时。

常见问题

在 Skipbox 上,为 GitHub Actions 作业启动一台新虚拟机要多久?

在 Skipbox 自己的主机上,从主机接受作业到运行器进程启动只要 7.25 秒,过去是 22.9 秒。大多数作业什么都不用启动:它们在你账号的专属机器上运行,这台机器在作业之间一直保留。

用 SeaBIOS 而不是 UEFI 安全启动来启动 CI 作业虚拟机,安全吗?

对作业虚拟机来说是安全的。安全启动保护的是客户机的启动链不被替换,而 CI 作业在自己的虚拟机里本来就有 root 权限,这台虚拟机在作业后就会被删除。在 Skipbox 上,虚拟机之间靠 KVM 和主机上每台虚拟机各自的防火墙隔开,两者都不依赖客户机的固件。

为什么在 ZFS 上的虚拟机里 fsync 很慢,CI 怎样解决?

客户机里的每次 fsync 都要等主机的 ZFS 提交它的意图日志。新作业虚拟机的磁盘会随作业一起删除,所以 Skipbox 不带屏障地挂载它的 ext4:yarn install 快了 23%,docker pull 快了 19%。在作业之间保留的机器则保留屏障。

为什么在混合架构 CPU 上 KVM 会把 TSC 标记为不稳定?

vCPU 移到另一个主机 CPU 时,KVM 会比较 TSC,而在性能核和能效核之间,它可能读到一个更小的值。把每个 vCPU 固定到一个主机 CPU 上,这个检查就不会运行:之后 Skipbox 的启动停止循环让 TSC 撑过了 40 轮。

怎样在 Skipbox 上运行我的作业?

在工作流中把 runs-on 改为 skipbox。试用无需绑卡:7 天 或 3,000 作业分钟,以先到者为准。

更新于 2026年11月16日

缓存始终预热,CI/CD 更快

固定价格的预热运行器

机器由 Skipbox 托管。你只需改一行。满负荷使用时,费用是 GitHub 的 1/12。价格固定,全天运行也不加钱。缓存空间是 GitHub 的 7 倍。

  • 无需绑卡
  • 使用 GitHub 登录
  • 随时取消