Skipbox

GitHub Actions 上不稳定的 Cypress 和 Playwright 测试:当原因出在运行器上

在笔记本电脑上通过、在 GitHub Actions 上时好时坏的端到端测试,往往不是坏了,而是资源不够。在私有仓库的 ubuntu-latest 上,Cypress 或 Playwright、浏览器、你的应用服务器和数据库共用 2 个 CPU 和 8 GB,于是页面渲染变慢,命令超过超时(Cypress 默认 4 秒),或者浏览器在运行中途崩溃。Cypress 自己的文档说,资源不足会表现为不稳定、缓慢或看似随机的失败,它的示例应用要在 4 vCPU、16 GB 上才运行得宽裕,是私有运行器的两倍。在失败的运行中观察 CPU 和内存来确认,修掉测试里的固定等待和共享数据,再给作业它需要的机器。

Skipbox 以固定价格给它这台机器:runs-on: skipbox-8x16 提供 8 vCPU 和 16 GB,每月 $79,用的是你账号的专属机器,浏览器和包在两次运行之间一直装着。分钟数不限,所以重试和分片都不会增加账单。

测试和谁共用运行器

一个端到端作业运行的不只是测试。根据 Cypress 的性能指南,还有 Cypress 本身、浏览器、你的应用服务器,以及应用依赖的所有后台服务。在私有仓库的 ubuntu-latest 上,它们共用 2 个 CPU 和 8 GB(GitHub 托管的运行器)。公开仓库的有 4 个 CPU 和 16 GB,正是 Cypress 说它的示例应用运行得宽裕的规格。

同一份指南列出的资源不足的迹象:

  • 测试越跑越慢
  • 浏览器在运行中途崩溃,却没有明确的测试失败
  • 运行期间 CPU 或内存一直接近 100%

Playwright 每个工作进程启动一个浏览器,默认数量是核心数的一半。它的 CI 文档为了优先保证稳定性和可复现性,建议在 CI 中设置 workers: 1,让每个测试都独占整台机器,只有在性能强劲的自托管 CI 系统上才建议并行运行测试。

动手之前先确认

  • Cypress:用 DEBUG=cypress:server:util:process_profiler npx cypress run 运行。它每 10 秒打印一次 CPU 和内存;CPU 一直高于 100%,说明机器已经饱和。
  • Playwright:用 --workers=1 重跑失败的测试套件。如果不稳定的情况消失了,瓶颈就是机器,而不是测试。在重试时保留 trace(trace: 'on-first-retry'),看看失败时页面在做什么。
  • 两者通用:在测试之前加一个步骤 nproc && free -h,再在后台加一个每 15 秒记录一次 top -b -n 1 | head -15 的步骤。

在更大的机器上就不再出现的失败,是运行器造成的,换一台更大的机器就能消除。仍在同一个地方失败的测试,是测试本身的问题:下一节来修。

修好属于测试的问题

  • 不用固定等待:cy.wait(2000) 和 page.waitForTimeout() 在快的笔记本电脑上能过,在慢的运行器上就失败。改为等待元素、路由或响应。
  • 在请求之前注册拦截:点击之后才设置的 cy.intercept 会和请求赛跑。
  • 隔离数据:共用同一个用户或同一条记录的测试,换个顺序或并行运行就会失败。
  • 在 CI 中开启重试:Playwright 会在报告中把失败后又通过的测试标记为 flaky;Cypress 的 retries 设置会在 cypress run 中重跑失败的测试。重试能让你看到哪些测试不稳定,但修不好它们。

分片的代价

分片把测试套件拆到多个作业中,每个作业有自己的机器。Playwright 接受 --shard=1/4,在最后一个作业中合并 blob 报告;Cypress 的并行模式需要把结果记录到 Cypress Cloud,由它在机器之间分配测试文件。

每个分片都是一台新的 GitHub 虚拟机:安装包、下载浏览器(Playwright 不建议缓存浏览器,因为恢复缓存和下载差不多一样久)、构建并启动你的应用。四个分片就要付四次,而按分钟计费会把每一个都算进去。机器是瓶颈时,分片有帮助,但它也把准备工作一起成倍放大。

又慢又不稳定的测试套件要花多少

端到端测试是合并前的最后一道检查,所以整个团队都在等它,一次不稳定的失败还要再加一次重跑。按分钟计费时,这些分钟每一分都要付钱:

在 8 vCPU 上,2万分钟在 GitHub 上是 $422,在 Skipbox M 上是 $79。GitHub 的金额已减去 GitHub Team 包含的用量。把你自己的分钟数填进首页的计算器。

给测试套件一台够用的机器

每个套餐都附带你账号的专属机器,在作业之间一直保留,价格固定:

  • 够整个技术栈用的 CPU 和内存:skipbox-8x16 的内存达到 Cypress 为示例应用给出的规格,核心还更多,浏览器、应用和数据库不再互相争抢。在 8 vCPU 上,Playwright 默认 4 个工作进程。
  • 浏览器和包保留下来:~/.cache/ms-playwright 中 Playwright 的浏览器、~/.cache/Cypress 中的 Cypress 二进制文件、npm 的缓存,以及你的服务的 Docker 镜像,下一个作业开始时都在磁盘上。
  • 分钟数不限:重试、重跑和分片都不改变账单。套餐的 vCPU 决定同时运行多少个分片;超出的分片排队等待。

切换只需改一行

jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test

skipbox-8x16 在 M 套餐上运行;试用期间用 runs-on: skipbox(4 vCPU,16 GB)。

  1. 使用 GitHub 登录 Skipbox。
  2. 安装 Skipbox GitHub 应用,并选择仓库。
  3. 修改 runs-on 并推送。

安全

  • 这台机器只属于你的账号。不会运行其他公司的作业。
  • 每个作业结束后,运行器的凭据、进程和容器都会被清除。浏览器和缓存留下来。开启“每个作业用新虚拟机”后,每个作业改在一台新机器上运行。
  • 没有写入权限的人提交的代码(例如来自复刻的拉取请求)在一台新的虚拟机上运行,它能读取你的缓存,但不能修改。

详情见作业如何隔离。

用不稳定的测试套件试试

试用免费,为期 7 天 或 3,000 作业分钟,以先到者为准,无需绑卡。把端到端作业改为 runs-on: skipbox,运行几次,再把不稳定失败的次数和各步骤耗时与 GitHub 上的对比。

常见问题

为什么我的 Cypress 测试在本地通过,在 GitHub Actions 上却不稳定?

往往是因为运行器比你的笔记本电脑小。私有仓库的 ubuntu-latest 只有 2 个 CPU 和 8 GB,Cypress、它的浏览器、你的应用服务器和数据库全都在上面跑。它们争抢资源时,页面渲染变慢,命令超过默认 4 秒的超时,或者浏览器崩溃。Cypress 自己的性能指南说,资源不足会表现为不稳定、缓慢或看似随机的失败,它的示例应用在 4 vCPU、16 GB 上运行起来才宽裕。用 DEBUG=cypress:server:util:process_profiler 确认,修掉固定等待,再给作业更多 CPU 和内存。

Playwright 测试在 CI 中不稳定,可能是运行器的 CPU 或内存造成的吗?

可能。每个 Playwright 工作进程驱动自己的浏览器,默认数量是机器核心数的一半。Playwright 的 CI 文档为了稳定,建议在 CI 中只用一个工作进程,这样每个测试都能独占整台机器。如果用 --workers=1 能通过、多了就不稳定,瓶颈就是机器:在 2 个 CPU 上保持一个工作进程,或者换到核心和内存更多的机器上,再在那里增加工作进程。

怎样区分资源不足的运行器和不稳定的测试?

在失败的运行中观察机器。Cypress 设置 DEBUG=cypress:server:util:process_profiler 后每 10 秒打印一次 CPU 和内存;Playwright 可以在后台步骤中运行 free -h 和 top,或者用 --workers=1 重跑。资源不足的运行器会显示 CPU 接近 100% 或内存接近上限,失败在不同测试之间游走,越到运行后段越严重。不稳定的测试在快机器上也会在同一个地方失败。

给端到端测试分片能解决不稳定或费用问题吗?

单靠分片都解决不了。分片让测试套件的每一部分都有自己的机器,瓶颈在机器时有帮助,但每个分片都要重新安装包、下载浏览器、启动应用,而按分钟计费会把每个分片都算进去。Cypress 的并行模式还要求把结果记录到 Cypress Cloud。在 Skipbox 上,浏览器和包留在你的机器上,分钟数不限,所以分片和重试都不额外花钱。

端到端测试该用多大的运行器?

从测试旁边还在跑什么出发:浏览器、应用服务器和它的服务。Cypress 的示例应用在 4 vCPU、16 GB 上运行起来才宽裕。在 Skipbox 上,runs-on: skipbox-8x16 提供 8 vCPU 和 16 GB,每月 $79;skipbox-16x32 提供 16 vCPU 和 32 GB。

能免费试用吗?

能。试用为期 7 天 或 3,000 作业分钟,以先到者为准,无需绑卡,在 4 vCPU、16 GB 上运行。把端到端作业改为 runs-on: skipbox,运行几次,再把失败情况和各步骤耗时与 GitHub 上的对比。

更新于 2026年11月16日

缓存始终预热,CI/CD 更快

固定价格的预热运行器

机器由 Skipbox 托管。你只需改一行。满负荷使用时,费用是 GitHub 的 1/12。价格固定,全天运行也不加钱。缓存空间是 GitHub 的 7 倍。

  • 无需绑卡
  • 使用 GitHub 登录
  • 随时取消