E2E testing ต่อเนื่องบน GitHub Actions: รันชุดทดสอบทั้งวันในราคาเหมาจ่าย
coding agent push โค้ดทั้งวันทั้งคืน และชุดทดสอบ end-to-end คือเช็กที่เห็นสิ่งที่ unit test ของมันมองไม่เห็น: การเข้าสู่ระบบ การชำระเงิน และหน้าที่อยู่รอบการเปลี่ยนแปลงยังทำงานร่วมกันได้หรือไม่ ทีมที่รัน E2E คืนละครั้งจะเจอ regression ที่ merge ไปตอนเช้าก็ต่อเมื่อรันในคืนถัดไป โดยมี merge ทั้งวันซ้อนทับอยู่ การรันชุดทดสอบทั้งวันแก้ปัญหานั้น และบนรันเนอร์รายนาที มันคือสิ่งที่แพงที่สุดใน CI: รันเนอร์ 4 vCPU หนึ่งตัวที่ทำงานทั้งเดือนคือ $500.40 บน GitHub
Skipbox รันรอบนั้นในราคาเหมาจ่าย $39 ต่อเดือน ไม่จำกัดนาที บนเครื่องที่โฮสต์ให้บัญชีของคุณเท่านั้นที่เก็บเบราว์เซอร์และแพ็กเกจที่ติดตั้งไว้ระหว่างการรัน ย้ายแค่บรรทัดเดียว runs-on: skipbox
รันในทุก push และเป็นรอบ
ทริกเกอร์สองตัวในเวิร์กโฟลว์เดียว:
- ในทุก push ไปยัง pull request เพื่อจับ regression ก่อนจะ merge
- ตามตารางเวลากับ main หรือ staging ทุก 15 นาที เพื่อให้เทสต์ที่ flaky regression ที่หลุดรอดไป และความเสียหายจากนอกโค้ดของคุณ (sandbox การชำระเงิน ผู้ให้บริการยืนยันตัวตน การอัปเดตเบราว์เซอร์) ปรากฏภายในไม่กี่นาที
ตารางเวลาที่สั้นที่สุดของ GitHub คือทุก 5 นาที บน commit ล่าสุดของ default branch concurrency group ป้องกันไม่ให้รอบซ้อนทับกัน และการลองซ้ำของ Playwright ทำเครื่องหมายเทสต์ที่ล้มเหลวแล้วผ่านว่า flaky เทสต์ที่ flaky หนึ่งครั้งในห้าสิบการรันจึงปรากฏวันละสองครั้ง แทนที่จะซ่อนตัวอยู่ทั้งสัปดาห์
รอบนี้มีค่าใช้จ่ายเท่าไรบนรันเนอร์รายนาที
รอบทุก 15 นาทีคือ 96 การรันต่อวัน เมื่อมีไม่กี่ shard รันเนอร์ก็ทำงานเกือบทั้งวัน ทุกวัน:
| E2E หนึ่งเดือนบน 4 vCPU | GitHub | Skipbox S | ประหยัดได้ต่อเดือน |
|---|---|---|---|
| 10,000 นาที | $102 | $39 | $63 |
| 20,000 นาที | $222 | $39 | $183 |
| 30,000 นาที | $342 | $39 | $303 |
| ทำงานทั้งเดือน | $500.40 | $39 | $461.40 |
ตัวเลขของ GitHub คือหลังหักการใช้งานที่ GitHub Team รวมให้แล้ว สี่ shard ในรอบหมายถึงสี่แถวแบบแถวสุดท้าย ลองใส่นาทีของคุณเองในเครื่องคำนวณบนหน้าแรก
บิลนั้นคือเหตุที่ทีมส่วนใหญ่ไม่รัน E2E ทั้งวัน และพวกเขาจ่ายคืนเป็นชั่วโมงทำงาน: regression ที่เอเจนต์ merge ตอนกลางคืนถูกพบตอนเช้า หลังจากมี commit ซ้อนลงไปอีก และการ bisect หามันใช้เวลาเท่ากับที่รอบจะช่วยประหยัดไว้ pull request ที่เอเจนต์เริ่มยังเพิ่มขึ้นเรื่อยๆ (GitHub รายงานว่ามากกว่า 40% ในเดือนกันยายน 2026 เพิ่มจาก 17% ในเดือนมีนาคม) และงบประมาณที่จำกัดบิลรายนาทีจะหยุดจ็อบกลางเดือน ซึ่งปิดรอบลงตรงเวลาที่ต้องการมันที่สุด
รันรอบเอง
เพื่อให้อยู่บนรันเนอร์ที่ GitHub โฮสต์ได้และจ่ายไหว ทีมต่างๆ ลงเอยด้วยการทำสิ่งนี้:
- ลดตารางเวลาเหลือรายชั่วโมงหรือรายคืน และยอมรับการตรวจพบที่ช้าลง
- ปรับว่าเทสต์ไหนรันกับทริกเกอร์ไหน เพื่อให้นาทีพอดีกับงบประมาณ
- แบ่ง shard ให้จบเร็วขึ้น แล้วจ่ายค่าตั้งค่าของแต่ละ shard ซ้ำอีก
- หรือรันรันเนอร์แบบ self-hosted ของตัวเองสำหรับรอบนี้ และดูแลเบราว์เซอร์ OS และดิสก์ให้อยู่ในสภาพดี
Skipbox เอาการแลกเปลี่ยนนั้นออกไป รอบมีค่าใช้จ่ายเท่าเดิมไม่ว่ารันบ่อยแค่ไหน และไม่มีใครต้องดูแลเครื่อง
Skipbox ให้อะไรกับรอบ
ราคาเหมาจ่ายสำหรับการรันทั้งวัน แต่ละแพ็กเกจรันจ็อบได้ทั้งวันทั้งคืน ไม่จำกัดนาที จ็อบของ Skipbox ไม่ใช้นาที GitHub งบประมาณของ GitHub จึงไม่มีวันปิดรอบ
| แพ็กเกจ | เครื่อง | ราคา |
|---|---|---|
| S | 4 vCPU · 16 GB | $39 ต่อเดือน |
| M | 8 vCPU · 16 GB | $79 ต่อเดือน |
| L | 16 vCPU · 32 GB | $149 ต่อเดือน |
vCPU ของแพ็กเกจกำหนดว่า shard รันพร้อมกันได้กี่ตัว: shard runs-on: skipbox สี่ตัวรันพร้อมกันบนแพ็กเกจ S สี่แพ็กเกจหรือ L หนึ่งแพ็กเกจ shard ที่เกินจากนั้นจะรอคิว
การตั้งค่าที่ไม่ต้องทำซ้ำ ทุกแพ็กเกจมาพร้อมเครื่องเฉพาะของบัญชีคุณ ที่เก็บไว้ระหว่างจ็อบ เบราว์เซอร์ของ Playwright ใน ~/.cache/ms-playwright แคชของ npm และอิมเมจ Docker ที่แอปและ service ของคุณใช้ อยู่บนดิสก์ให้การรันครั้งถัดไป
ทุกการรันเริ่มสะอาด ข้อมูลรับรองของรันเนอร์ โปรเซส และทุกคอนเทนเนอร์ถูกลบหลังทุกจ็อบ และมีการตรวจสุขภาพเครื่อง เครื่องที่ตรวจไม่ผ่านถูกสร้างใหม่จากอิมเมจที่สะอาด ตั้งแต่ 13 พฤศจิกายน 2026 โค้ดที่ checkout ไว้และผลลัพธ์ build ของมัน (target/ ของ Cargo) อยู่บนเครื่องเฉพาะของคุณต่อไปให้จ็อบถัดไป ส่วนการตั้งค่า VM ใหม่ทุกจ็อบ ให้แต่ละจ็อบได้เครื่องใหม่
ย้ายมาแค่บรรทัดเดียว
name: E2E
on:
pull_request:
schedule:
- cron: "*/15 * * * *"
concurrency:
group: e2e-${{ github.ref }}
cancel-in-progress: ${{ github.event_name == 'pull_request' }}
jobs:
e2e:
runs-on: skipbox # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
- เข้าสู่ระบบ Skipbox ด้วย GitHub
- ติดตั้ง GitHub App ของ Skipbox แล้วเลือกรีโพสิทอรี
- เปลี่ยน
runs-onแล้ว push
ความปลอดภัย
- เครื่องเป็นของบัญชีคุณเท่านั้น ไม่มีจ็อบของบริษัทอื่นรันบนเครื่องนี้
- หลังทุกจ็อบ ข้อมูลรับรองของรันเนอร์ โปรเซส และคอนเทนเนอร์จะถูกลบ ตั้งแต่ 13 พฤศจิกายน 2026 โค้ดที่ checkout ไว้และผลลัพธ์ build ของมัน (
target/ของ Cargo) อยู่บนเครื่องเฉพาะของคุณต่อไปให้จ็อบถัดไป ส่วนการตั้งค่า VM ใหม่ทุกจ็อบ ให้แต่ละจ็อบได้เครื่องใหม่ - โค้ดจากคนที่ไม่มีสิทธิ์เขียน (เช่น pull request จาก fork) รันบนเครื่องใหม่ที่ใช้แล้วทิ้ง
รายละเอียดอยู่ในวิธีแยกจ็อบออกจากกัน
ลองใช้
ทดลองใช้ฟรี 7 วัน หรือ 3,000 นาทีของจ็อบ แล้วแต่อย่างไหนครบก่อน ไม่ต้องใช้บัตร ช่วงทดลองรันจ็อบ runs-on: skipbox ได้พร้อมกันสูงสุด 4 จ็อบ: ย้ายจ็อบ E2E เปิดตารางเวลา แล้วดูการรันทั้งวันในราคาเหมาจ่าย
คำถามที่พบบ่อย
ควรรัน end-to-end test ในทุก push ไหม
ควร เมื่อเอเจนต์เขียน commit ส่วนใหญ่ของคุณ unit test ตรวจฟังก์ชันที่เปลี่ยน ส่วน end-to-end test ตรวจว่าการเข้าสู่ระบบ การชำระเงิน และหน้าที่อยู่รอบๆ ยังทำงานร่วมกันได้ บนรันเนอร์ราคาเหมาจ่ายอย่าง Skipbox การรันชุดทดสอบในทุก push และตามตารางเวลามีค่าใช้จ่ายเท่ากับการรันคืนละครั้ง
เวิร์กโฟลว์ GitHub Actions รันตามตารางเวลาได้บ่อยแค่ไหน
บ่อยสุดทุก 5 นาที เวิร์กโฟลว์ตามตารางเวลารันบน commit ล่าสุดของ default branch และอาจเริ่มช้าเมื่อ GitHub งานยุ่ง ทุก 15 นาทีเป็นรอบที่นิยม: 96 การรันต่อวัน บน Skipbox บิลที่ทุก 15 นาทีเท่ากับที่ทุก 5 นาที
รัน E2E test ทั้งวันบน GitHub Actions เสียเท่าไร
รันเนอร์ 4 vCPU หนึ่งตัวที่ทำงานทั้งเดือนคือ $500.40 บนรันเนอร์ 4 คอร์ของ GitHub หลังหักการใช้งานที่ GitHub Team รวมให้ บน Skipbox แพ็กเกจ S รันจ็อบ 4 vCPU ได้ทีละหนึ่งจ็อบทั้งวันทั้งคืนในราคาเหมาจ่าย $39 ต่อเดือน ถูกกว่า $461.40
จะรัน shard ของ Playwright พร้อมกันบน Skipbox อย่างไร
vCPU ของแพ็กเกจกำหนดว่ารันได้พร้อมกันกี่จ็อบ shard runs-on: skipbox สี่ตัวขนาด 4 vCPU รันพร้อมกันได้บนแพ็กเกจ S สี่แพ็กเกจหรือแพ็กเกจ L หนึ่งแพ็กเกจ ถ้ามีน้อยกว่านั้น shard ที่เกินจะรอคิวและเริ่มทันทีที่ตัวหนึ่งจบ
จะหา end-to-end test ที่ flaky ได้อย่างไร
เปิดการลองซ้ำ (retries) ใน CI Playwright ทำเครื่องหมายเทสต์ที่ล้มเหลวแล้วผ่านเมื่อลองซ้ำว่า flaky แยกจาก passed และ failed และรายงานจะแสดงรายการเหล่านั้น ชุดทดสอบที่รันเป็นรอบจะแสดงเทสต์ flaky ตัวเดิมหลายครั้งต่อวัน มันจึงเด่นขึ้นมาในหนึ่งวันแทนที่จะเป็นหนึ่ง sprint
อัปเดต 19 พฤศจิกายน 2026