Skipbox

在 GitHub Actions 上持续运行端到端测试:以固定价格全天运行测试套件

编程智能体日夜不停地推送代码,而端到端测试套件能看到它们的单元测试看不到的东西:登录、结账以及改动周围的页面是否仍然一起正常工作。每晚只跑一次端到端测试的团队,早上合并进来的回归要等到第二天夜里的运行才会发现,上面已经叠了一整天的合并。全天运行测试套件就能解决这个问题,而在按分钟计费的运行器上,这是 CI 中最贵的一项:一台 4 vCPU 运行器整月满负荷,在 GitHub 上要 $500.40。

Skipbox 以每月固定 $39、分钟数不限来运行这个循环,用的是你的专属机器,浏览器和包在两次运行之间一直装着。切换只需改一行 runs-on: skipbox。

每次推送都跑,再循环跑

一个工作流里两个触发器:

  • 拉取请求的每次推送,在回归合并之前抓住它。
  • 按时间表针对 main 或 staging 运行,每 15 分钟一次,让不稳定的测试、漏网的回归,以及来自你代码之外的故障(支付沙箱、认证服务商、浏览器更新)几分钟内就暴露出来。

GitHub 最短的时间表是每 5 分钟一次,在默认分支的最新提交上运行。一个并发组可以防止循环堆积,Playwright 的重试会把失败后又通过的测试标记为 flaky,所以一个每五十次运行才出一次问题的测试,一天会冒出两次,而不是藏上一周。

在按分钟计费的运行器上,循环要花多少

每 15 分钟一次的循环就是每天 96 次运行。再分几个片,运行器每天大部分时间都在忙:

GitHub 的金额已减去 GitHub Team 包含的用量。循环里有四个分片,就是四行像最后一行那样的费用。在首页的计算器里试试你自己的分钟数。

正是这份账单,让大多数团队不全天运行端到端测试,代价则以小时来付:智能体夜里合并进来的回归,到早上才被发现,上面已经叠了更多提交,用二分法定位它要花掉的时间,正是循环本来能省下的。智能体发起的拉取请求还在增加(GitHub 公布 2026 年 9 月超过 40%,3 月时为 17%),而用来封顶按分钟账单的预算会在月中让作业停下,恰好在最需要循环的时候把它关掉。

自己维持循环

要让它留在 GitHub 托管的运行器上又负担得起,团队最后会做这些事:

  • 把时间表放宽到每小时或每晚一次,接受更慢的发现
  • 调整哪些测试在哪个触发器上运行,让分钟数挤进预算
  • 分片以便更快跑完,然后为每个分片的准备工作再付一次钱
  • 或者为循环自己运行自托管运行器,并让它的浏览器、操作系统和磁盘保持健康

Skipbox 去掉了这种取舍。循环跑多勤,花费都一样,也没人需要照看机器。

Skipbox 给循环带来什么

全天运行,固定价格:每个套餐全天候运行它的作业,分钟数不限。Skipbox 的作业不消耗 GitHub 分钟数,所以 GitHub 预算从不会关掉循环。

套餐的 vCPU 决定同时运行多少个分片:四个 runs-on: skipbox 分片,在四个 S 或一个 L 上一起运行。超出的分片排队等待。

准备工作不再重复:每个套餐都附带你账号的专属机器,在作业之间一直保留。~/.cache/ms-playwright 中 Playwright 的浏览器、npm 的缓存,以及你的应用和它的服务用到的 Docker 镜像,都在磁盘上留给下一次运行。

每次运行都从干净的状态开始:每个作业结束后,运行器的凭据、进程和所有容器都会被清除,并运行一次健康检查。检查失败的机器会用干净的镜像重建。从 2026年11月13日起,你的检出目录及其构建输出(Cargo 的 target/)会留在你的专属机器上,供之后的作业使用;开启“每个作业用新虚拟机”后,每个作业都在一台新机器上运行。

切换只需改一行

name: E2E
on:
  pull_request:
  schedule:
    - cron: "*/15 * * * *"
concurrency:
  group: e2e-${{ github.ref }}
  cancel-in-progress: ${{ github.event_name == 'pull_request' }}
jobs:
  e2e:
    runs-on: skipbox # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test
  1. 使用 GitHub 登录 Skipbox。
  2. 安装 Skipbox GitHub 应用,并选择仓库。
  3. 修改 runs-on 并推送。

安全

  • 这台机器只属于你的账号。不会运行其他公司的作业。
  • 每个作业结束后,运行器的凭据、进程和容器都会被清除。从 2026年11月13日起,你的检出目录及其构建输出(Cargo 的 target/)会留在你的专属机器上,供之后的作业使用;开启“每个作业用新虚拟机”后,每个作业都在一台新机器上运行。
  • 没有写入权限的人提交的代码(例如来自复刻的拉取请求)在一台新的一次性机器上运行。

详情见作业如何隔离。

试试看

试用免费,为期 7 天 或 3,000 作业分钟,以先到者为准,无需绑卡。试用期间最多同时运行 4 个 runs-on: skipbox 作业:把端到端作业移过来,打开时间表,看看一整天的运行以固定价格完成。

常见问题

每次推送都应该运行端到端测试吗?

智能体写的提交占很大比例时,应该。单元测试检查改动的那个函数;端到端测试检查登录、结账以及它们周围的页面是否仍然一起正常工作。在 Skipbox 这样的固定价格运行器上,每次推送并按时间表运行测试套件,花费和每晚只跑一次一样。

GitHub Actions 工作流按时间表最频繁能多久运行一次?

最多每 5 分钟一次。定时工作流在默认分支的最新提交上运行,GitHub 繁忙时可能会延迟启动。每 15 分钟一次是常见的循环:每天 96 次运行。在 Skipbox 上,每 15 分钟和每 5 分钟的账单一样。

在 GitHub Actions 上全天运行端到端测试要花多少钱?

一台 4 vCPU 运行器整月满负荷,在 GitHub 的 4 核运行器上是 $500.40,已减去 GitHub Team 包含的用量。在 Skipbox 上,S 套餐全天候一次运行一个 4 vCPU 的作业,每月固定 $39,少花 $461.40。

在 Skipbox 上怎样同时运行 Playwright 分片?

套餐的 vCPU 决定同时运行多少个作业。四个 4 vCPU 的 runs-on: skipbox 分片,在四个 S 套餐或一个 L 套餐上一起运行;套餐更少时,多出来的分片排队等待,一有分片结束就立即启动。

怎样找出不稳定的端到端测试?

在 CI 中开启重试。Playwright 会把失败后重试通过的测试标记为 flaky,与通过和失败分开,报告中会列出它们。循环运行的测试套件一天里会多次显示同一个不稳定的测试,所以它一天之内就会冒出来,而不是要等一个迭代周期。

更新于 2026年11月11日

缓存始终预热,CI/CD 更快

固定价格的预热运行器

机器由 Skipbox 托管。你只需改一行。满负荷使用时,费用是 GitHub 的 1/12。价格固定,全天运行也不加钱。缓存空间是 GitHub 的 7 倍。

  • 无需绑卡
  • 使用 GitHub 登录
  • 随时取消