在 GitHub Actions 上持续运行端到端测试:以固定价格全天运行测试套件
编程智能体日夜不停地推送代码,而端到端测试套件能看到它们的单元测试看不到的东西:登录、结账以及改动周围的页面是否仍然一起正常工作。每晚只跑一次端到端测试的团队,早上合并进来的回归要等到第二天夜里的运行才会发现,上面已经叠了一整天的合并。全天运行测试套件就能解决这个问题,而在按分钟计费的运行器上,这是 CI 中最贵的一项:一台 4 vCPU 运行器整月满负荷,在 GitHub 上要 $500.40。
Skipbox 以每月固定 $39、分钟数不限来运行这个循环,用的是你的专属机器,浏览器和包在两次运行之间一直装着。切换只需改一行 runs-on: skipbox。
每次推送都跑,再循环跑
一个工作流里两个触发器:
- 拉取请求的每次推送,在回归合并之前抓住它。
- 按时间表针对 main 或 staging 运行,每 15 分钟一次,让不稳定的测试、漏网的回归,以及来自你代码之外的故障(支付沙箱、认证服务商、浏览器更新)几分钟内就暴露出来。
GitHub 最短的时间表是每 5 分钟一次,在默认分支的最新提交上运行。一个并发组可以防止循环堆积,Playwright 的重试会把失败后又通过的测试标记为 flaky,所以一个每五十次运行才出一次问题的测试,一天会冒出两次,而不是藏上一周。
在按分钟计费的运行器上,循环要花多少
每 15 分钟一次的循环就是每天 96 次运行。再分几个片,运行器每天大部分时间都在忙:
| 4 vCPU 上一个月的端到端测试 | GitHub | Skipbox S | 每月节省 |
|---|---|---|---|
| 1万分钟 | $102 | $39 | $63 |
| 2万分钟 | $222 | $39 | $183 |
| 3万分钟 | $342 | $39 | $303 |
| 整月满负荷 | $500.40 | $39 | $461.40 |
GitHub 的金额已减去 GitHub Team 包含的用量。循环里有四个分片,就是四行像最后一行那样的费用。在首页的计算器里试试你自己的分钟数。
正是这份账单,让大多数团队不全天运行端到端测试,代价则以小时来付:智能体夜里合并进来的回归,到早上才被发现,上面已经叠了更多提交,用二分法定位它要花掉的时间,正是循环本来能省下的。智能体发起的拉取请求还在增加(GitHub 公布 2026 年 9 月超过 40%,3 月时为 17%),而用来封顶按分钟账单的预算会在月中让作业停下,恰好在最需要循环的时候把它关掉。
自己维持循环
要让它留在 GitHub 托管的运行器上又负担得起,团队最后会做这些事:
- 把时间表放宽到每小时或每晚一次,接受更慢的发现
- 调整哪些测试在哪个触发器上运行,让分钟数挤进预算
- 分片以便更快跑完,然后为每个分片的准备工作再付一次钱
- 或者为循环自己运行自托管运行器,并让它的浏览器、操作系统和磁盘保持健康
Skipbox 去掉了这种取舍。循环跑多勤,花费都一样,也没人需要照看机器。
Skipbox 给循环带来什么
全天运行,固定价格:每个套餐全天候运行它的作业,分钟数不限。Skipbox 的作业不消耗 GitHub 分钟数,所以 GitHub 预算从不会关掉循环。
| 套餐 | 机器 | 价格 |
|---|---|---|
| S | 4 vCPU · 16 GB | 每月 $39 |
| M | 8 vCPU · 16 GB | 每月 $79 |
| L | 16 vCPU · 32 GB | 每月 $149 |
套餐的 vCPU 决定同时运行多少个分片:四个 runs-on: skipbox 分片,在四个 S 或一个 L 上一起运行。超出的分片排队等待。
准备工作不再重复:每个套餐都附带你账号的专属机器,在作业之间一直保留。~/.cache/ms-playwright 中 Playwright 的浏览器、npm 的缓存,以及你的应用和它的服务用到的 Docker 镜像,都在磁盘上留给下一次运行。
每次运行都从干净的状态开始:每个作业结束后,运行器的凭据、进程和所有容器都会被清除,并运行一次健康检查。检查失败的机器会用干净的镜像重建。从 2026年11月13日起,你的检出目录及其构建输出(Cargo 的 target/)会留在你的专属机器上,供之后的作业使用;开启“每个作业用新虚拟机”后,每个作业都在一台新机器上运行。
切换只需改一行
name: E2E
on:
pull_request:
schedule:
- cron: "*/15 * * * *"
concurrency:
group: e2e-${{ github.ref }}
cancel-in-progress: ${{ github.event_name == 'pull_request' }}
jobs:
e2e:
runs-on: skipbox # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
- 使用 GitHub 登录 Skipbox。
- 安装 Skipbox GitHub 应用,并选择仓库。
- 修改
runs-on并推送。
安全
- 这台机器只属于你的账号。不会运行其他公司的作业。
- 每个作业结束后,运行器的凭据、进程和容器都会被清除。从 2026年11月13日起,你的检出目录及其构建输出(Cargo 的
target/)会留在你的专属机器上,供之后的作业使用;开启“每个作业用新虚拟机”后,每个作业都在一台新机器上运行。 - 没有写入权限的人提交的代码(例如来自复刻的拉取请求)在一台新的一次性机器上运行。
详情见作业如何隔离。
试试看
试用免费,为期 7 天 或 3,000 作业分钟,以先到者为准,无需绑卡。试用期间最多同时运行 4 个 runs-on: skipbox 作业:把端到端作业移过来,打开时间表,看看一整天的运行以固定价格完成。
常见问题
每次推送都应该运行端到端测试吗?
智能体写的提交占很大比例时,应该。单元测试检查改动的那个函数;端到端测试检查登录、结账以及它们周围的页面是否仍然一起正常工作。在 Skipbox 这样的固定价格运行器上,每次推送并按时间表运行测试套件,花费和每晚只跑一次一样。
GitHub Actions 工作流按时间表最频繁能多久运行一次?
最多每 5 分钟一次。定时工作流在默认分支的最新提交上运行,GitHub 繁忙时可能会延迟启动。每 15 分钟一次是常见的循环:每天 96 次运行。在 Skipbox 上,每 15 分钟和每 5 分钟的账单一样。
在 GitHub Actions 上全天运行端到端测试要花多少钱?
一台 4 vCPU 运行器整月满负荷,在 GitHub 的 4 核运行器上是 $500.40,已减去 GitHub Team 包含的用量。在 Skipbox 上,S 套餐全天候一次运行一个 4 vCPU 的作业,每月固定 $39,少花 $461.40。
在 Skipbox 上怎样同时运行 Playwright 分片?
套餐的 vCPU 决定同时运行多少个作业。四个 4 vCPU 的 runs-on: skipbox 分片,在四个 S 套餐或一个 L 套餐上一起运行;套餐更少时,多出来的分片排队等待,一有分片结束就立即启动。
怎样找出不稳定的端到端测试?
在 CI 中开启重试。Playwright 会把失败后重试通过的测试标记为 flaky,与通过和失败分开,报告中会列出它们。循环运行的测试套件一天里会多次显示同一个不稳定的测试,所以它一天之内就会冒出来,而不是要等一个迭代周期。
更新于 2026年11月11日