Skipbox

เทสต์ Cypress และ Playwright ที่ flaky บน GitHub Actions: เมื่อรันเนอร์คือต้นเหตุ

end-to-end test ที่ผ่านบนแล็ปท็อปของคุณแต่ flaky บน GitHub Actions มักขาดทรัพยากร ไม่ได้พัง บน ubuntu-latest ของรีโพสิทอรีส่วนตัว Cypress หรือ Playwright เบราว์เซอร์ เซิร์ฟเวอร์แอปของคุณ และฐานข้อมูล ใช้ 2 CPU และ 8 GB ร่วมกัน หน้าเว็บจึง render ช้า คำสั่งรันเกิน timeout (4 วินาทีเป็นค่าเริ่มต้นใน Cypress) หรือเบราว์เซอร์ crash กลางการรัน เอกสารของ Cypress เองบอกว่าการขาดทรัพยากรปรากฏเป็นความล้มเหลวแบบ flaky ช้า หรือดูเหมือนสุ่ม และแอปตัวอย่างของพวกเขารันได้สบายบน 4 vCPU และ 16 GB ซึ่งเป็นสองเท่าของรันเนอร์ส่วนตัว ยืนยันด้วยการดู CPU และหน่วยความจำระหว่างการรันที่ล้มเหลว แก้การรอแบบตายตัวและข้อมูลที่ใช้ร่วมกันในเทสต์ แล้วให้จ็อบได้เครื่องที่มันต้องการ

Skipbox ให้เครื่องนั้นในราคาเหมาจ่าย: 8 vCPU และ 16 GB บน runs-on: skipbox-8x16 ในราคา $79 ต่อเดือน บนเครื่องที่ Skipbox โฮสต์ให้บัญชีของคุณเท่านั้นที่เบราว์เซอร์และแพ็กเกจยังติดตั้งอยู่ระหว่างการรัน ไม่จำกัดนาที การลองซ้ำและ shard จึงไม่เพิ่มบิล

เทสต์ใช้รันเนอร์ร่วมกับอะไรบ้าง

จ็อบ E2E รันมากกว่าแค่เทสต์ คู่มือประสิทธิภาพของ Cypress (ภาษาอังกฤษ) ระบุว่ามีตัว Cypress เอง เบราว์เซอร์ เซิร์ฟเวอร์แอปของคุณ และ service เบื้องหลังที่แอปของคุณพึ่งพา บน ubuntu-latest ของรีโพสิทอรีส่วนตัว ทั้งหมดใช้ 2 CPU และ 8 GB ร่วมกัน (รันเนอร์ที่ GitHub โฮสต์ ภาษาอังกฤษ) ของรีโพสิทอรีสาธารณะได้ 4 CPU และ 16 GB ซึ่งเป็นขนาดที่ Cypress ระบุว่าสบายสำหรับแอปตัวอย่างของมัน

สัญญาณของเครื่องที่ขาดทรัพยากร จากคู่มือเดียวกัน:

  • เทสต์ช้าลงเรื่อยๆ เมื่อการรันดำเนินไป
  • เบราว์เซอร์ crash กลางการรันโดยไม่มีเทสต์ล้มเหลวที่ชัดเจน
  • CPU หรือหน่วยความจำค้างอยู่ใกล้ 100% ระหว่างการรัน

Playwright เริ่มเบราว์เซอร์หนึ่งตัวต่อ worker และค่าเริ่มต้นของมันคือครึ่งหนึ่งของจำนวนคอร์ (ภาษาอังกฤษ) เอกสาร CI ของมันแนะนำ workers: 1 ใน CI เพื่อให้ความเสถียรและการทำซ้ำได้มาก่อน แต่ละเทสต์จึงได้ทั้งเครื่อง และแนะนำการรันเทสต์แบบขนานเฉพาะบนระบบ CI แบบ self-hosted ที่มีกำลังสูง

ยืนยันก่อนเปลี่ยนอะไร

  • Cypress: รันด้วย DEBUG=cypress:server:util:process_profiler npx cypress run มันพิมพ์ CPU และหน่วยความจำทุก 10 วินาที CPU ที่สูงกว่า 100% ตลอดหมายความว่าเครื่องอิ่มตัวแล้ว
  • Playwright: รันชุดที่ล้มเหลวใหม่ด้วย --workers=1 ถ้าความ flaky หยุด เครื่องคือขีดจำกัด ไม่ใช่เทสต์ เก็บ trace ไว้เมื่อลองซ้ำ (trace: 'on-first-retry') เพื่อดูว่าหน้าเว็บกำลังทำอะไรตอนที่ล้มเหลว
  • ทั้งคู่: เพิ่มขั้นตอนก่อนเทสต์ nproc && free -h และอีกขั้นตอนในเบื้องหลังที่บันทึก top -b -n 1 | head -15 ทุก 15 วินาที

ความ flaky ที่หายไปบนเครื่องที่ใหญ่กว่าเป็นของรันเนอร์ และเครื่องที่ใหญ่กว่าก็จบมันได้ เทสต์ที่ยังล้มเหลวที่จุดเดิมเป็นปัญหาของเทสต์เอง: หัวข้อถัดไปแก้มัน

แก้สิ่งที่เป็นของเทสต์

  • ไม่มีการรอแบบตายตัว cy.wait(2000) และ page.waitForTimeout() ผ่านบนแล็ปท็อปที่เร็วและล้มเหลวบนรันเนอร์ที่ช้า ให้รอ element, route หรือ response แทน
  • ลงทะเบียน intercept ก่อนคำขอ cy.intercept ที่ตั้งหลังการคลิกจะแข่งกับคำขอ
  • แยกข้อมูล เทสต์ที่ใช้ผู้ใช้หรือเรคคอร์ดร่วมกันจะล้มเหลวเมื่อรันในลำดับอื่นหรือรันขนานกัน
  • เปิดการลองซ้ำใน CI Playwright ทำเครื่องหมายเทสต์ที่ล้มเหลวแล้วผ่านว่า flaky ในรายงาน การตั้งค่า retries ของ Cypress รันเทสต์ที่ล้มเหลวอีกครั้งใน cypress run การลองซ้ำแสดงให้เห็นตัวที่ flaky แต่ไม่ได้แก้มัน

การแบ่ง shard มีต้นทุนอะไร

การแบ่ง shard แยกชุดทดสอบไปหลายจ็อบ แต่ละจ็อบบนเครื่องของตัวเอง Playwright (ภาษาอังกฤษ) รับ --shard=1/4 และรวม blob report ในจ็อบสุดท้าย โหมดขนานของ Cypress (ภาษาอังกฤษ) ต้องบันทึกไปที่ Cypress Cloud ซึ่งกระจาย spec ไปยังเครื่องต่างๆ

แต่ละ shard คือ VM ใหม่ของ GitHub: มันติดตั้งแพ็กเกจ ดาวน์โหลดเบราว์เซอร์ (Playwright แนะนำไม่ให้แคชเบราว์เซอร์ เพราะการกู้คืนใช้เวลาพอๆ กับการดาวน์โหลด) build และเริ่มแอปของคุณ สี่ shard จ่ายส่วนนั้นสี่ครั้ง และการคิดเงินรายนาทีนับทุกตัว การแบ่ง shard ช่วยเมื่อเครื่องคือขีดจำกัด แต่มันคูณการตั้งค่าไปด้วย

ชุดทดสอบที่ช้าและ flaky มีต้นทุนเท่าไร

E2E test คือเช็กสุดท้ายก่อน merge ทั้งทีมจึงรอมัน และความ flaky เพิ่มการรันซ้ำเข้าไปอีก บนการคิดเงินรายนาที ทุกนาทีเหล่านั้นถูกคิดเงิน:

ที่ 8 vCPU 20,000 นาทีคือ $422 บน GitHub และ $79 บน Skipbox M ตัวเลขของ GitHub คือหลังหักการใช้งานที่ GitHub Team รวมให้แล้ว ใส่นาทีของคุณเองในเครื่องคำนวณบนหน้าแรก

ให้ชุดทดสอบได้เครื่องที่ต้องการ

ทุกแพ็กเกจมาพร้อมเครื่องเฉพาะของบัญชีคุณ ที่เก็บไว้ระหว่างจ็อบ ในราคาเหมาจ่าย:

  • CPU และหน่วยความจำสำหรับทั้งสแตก skipbox-8x16 มีคอร์และหน่วยความจำตามที่ Cypress ระบุสำหรับแอปตัวอย่างของมัน และมีคอร์มากกว่า เบราว์เซอร์ แอป และฐานข้อมูลจึงเลิกแย่งกัน ที่ 8 vCPU ค่าเริ่มต้นของ Playwright คือ 4 worker
  • เบราว์เซอร์และแพ็กเกจอยู่ต่อ เบราว์เซอร์ของ Playwright ใน ~/.cache/ms-playwright ไบนารีของ Cypress ใน ~/.cache/Cypress แคชของ npm และอิมเมจ Docker ของ service ของคุณ อยู่บนดิสก์เมื่อจ็อบถัดไปเริ่ม
  • ไม่จำกัดนาที การลองซ้ำ การรันซ้ำ และ shard ไม่เปลี่ยนบิล vCPU ของแพ็กเกจกำหนดว่า shard รันพร้อมกันได้กี่ตัว shard ที่เกินจากนั้นจะรอคิว

ย้ายมาแค่บรรทัดเดียว

jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test

skipbox-8x16 รันบนแพ็กเกจ M ช่วงทดลองใช้รัน runs-on: skipbox (4 vCPU, 16 GB)

  1. เข้าสู่ระบบ Skipbox ด้วย GitHub
  2. ติดตั้ง GitHub App ของ Skipbox แล้วเลือกรีโพสิทอรี
  3. เปลี่ยน runs-on แล้ว push

ความปลอดภัย

  • เครื่องเป็นของบัญชีคุณเท่านั้น ไม่มีจ็อบของบริษัทอื่นรันบนเครื่องนี้
  • หลังทุกจ็อบ ข้อมูลรับรองของรันเนอร์ โปรเซส และคอนเทนเนอร์จะถูกลบ ส่วนเบราว์เซอร์และแคชอยู่ต่อ การตั้งค่า VM ใหม่ทุกจ็อบ ให้แต่ละจ็อบได้เครื่องใหม่แทน
  • โค้ดจากคนที่ไม่มีสิทธิ์เขียน (เช่น pull request จาก fork) รันบน VM ใหม่ที่อ่านแคชของคุณได้แต่แก้ไขไม่ได้

รายละเอียดอยู่ในวิธีแยกจ็อบออกจากกัน

ลองกับชุดทดสอบที่ flaky

ทดลองใช้ฟรี 7 วัน หรือ 3,000 นาทีของจ็อบ แล้วแต่อย่างไหนครบก่อน ไม่ต้องใช้บัตร ย้ายจ็อบ E2E ไปที่ runs-on: skipbox รันหลายๆ ครั้ง แล้วนับความ flaky และเวลาของแต่ละขั้นตอนเทียบกับของ GitHub

คำถามที่พบบ่อย

ทำไมเทสต์ Cypress ของฉันถึง flaky บน GitHub Actions แต่ผ่านบนเครื่องตัวเอง

บ่อยครั้งเพราะรันเนอร์เล็กกว่าแล็ปท็อปของคุณ ubuntu-latest ของรีโพสิทอรีส่วนตัวมี 2 CPU และ 8 GB และ Cypress เบราว์เซอร์ของมัน เซิร์ฟเวอร์แอปของคุณ และฐานข้อมูลรันอยู่บนนั้นทั้งหมด เมื่อแย่งทรัพยากรกัน หน้าเว็บ render ช้า คำสั่งเกิน timeout เริ่มต้น 4 วินาที หรือเบราว์เซอร์ crash คู่มือประสิทธิภาพของ Cypress เองบอกว่าการขาดทรัพยากรปรากฏเป็นความล้มเหลวแบบ flaky ช้า หรือดูเหมือนสุ่ม และแอปตัวอย่างของมันรันได้สบายบน 4 vCPU และ 16 GB ยืนยันด้วย DEBUG=cypress:server:util:process_profiler แก้การรอแบบตายตัว แล้วให้จ็อบได้ CPU และหน่วยความจำมากขึ้น

CPU หรือหน่วยความจำของรันเนอร์เป็นเหตุให้เทสต์ Playwright flaky ใน CI ได้ไหม

ได้ worker ของ Playwright แต่ละตัวขับเบราว์เซอร์ของตัวเอง และค่าเริ่มต้นคือครึ่งหนึ่งของจำนวนคอร์ของเครื่อง เอกสาร CI ของ Playwright แนะนำหนึ่ง worker ใน CI เพื่อความเสถียร เพราะแต่ละเทสต์จะได้ทั้งเครื่อง ถ้าเทสต์ผ่านด้วย --workers=1 และ flaky เมื่อมากกว่านั้น เครื่องคือขีดจำกัด: ใช้หนึ่ง worker บน 2 CPU หรือย้ายไปเครื่องที่มีคอร์และหน่วยความจำมากกว่าแล้วเพิ่ม worker ที่นั่น

จะแยกรันเนอร์ที่ขาดทรัพยากรออกจากเทสต์ที่ flaky ได้อย่างไร

ดูเครื่องระหว่างการรันที่ล้มเหลว Cypress พิมพ์ CPU และหน่วยความจำทุก 10 วินาทีด้วย DEBUG=cypress:server:util:process_profiler สำหรับ Playwright ให้รัน free -h และ top ในขั้นตอนเบื้องหลัง หรือรันใหม่ด้วย --workers=1 รันเนอร์ที่ขาดทรัพยากรจะแสดง CPU ใกล้ 100% หรือหน่วยความจำใกล้ขีดจำกัด และความล้มเหลวที่ย้ายไปมาระหว่างเทสต์และแย่ลงเมื่อการรันดำเนินไป เทสต์ที่ flaky จะล้มเหลวที่จุดเดิมแม้บนเครื่องที่เร็ว

การแบ่ง shard ของ E2E test แก้ความ flaky หรือค่าใช้จ่ายได้ไหม

ไม่ได้ทั้งสองอย่างด้วยตัวมันเอง การแบ่ง shard ให้แต่ละส่วนของชุดทดสอบได้เครื่องของตัวเอง ซึ่งช่วยเมื่อเครื่องคือขีดจำกัด แต่แต่ละ shard ติดตั้งแพ็กเกจ ดาวน์โหลดเบราว์เซอร์ และเริ่มแอปของคุณใหม่ และการคิดเงินรายนาทีนับทุก shard โหมดขนานของ Cypress ยังต้องบันทึกไปที่ Cypress Cloud ด้วย บน Skipbox เบราว์เซอร์และแพ็กเกจอยู่บนเครื่องของคุณและไม่จำกัดนาที shard และการลองซ้ำจึงไม่มีค่าใช้จ่ายเพิ่ม

E2E test ควรใช้รันเนอร์ขนาดเท่าไร

เริ่มจากสิ่งที่เทสต์รันอยู่ข้างๆ: เบราว์เซอร์ เซิร์ฟเวอร์แอป และ service ของมัน แอปตัวอย่างของ Cypress รันได้สบายบน 4 vCPU และ 16 GB บน Skipbox runs-on: skipbox-8x16 ให้ 8 vCPU และ 16 GB ในราคา $79 ต่อเดือน และ skipbox-16x32 ให้ 16 vCPU และ 32 GB

ลองใช้ฟรีได้ไหม

ได้ ทดลองใช้ได้ 7 วัน หรือ 3,000 นาทีของจ็อบ แล้วแต่อย่างไหนครบก่อน ไม่ต้องใช้บัตร บน 4 vCPU และ 16 GB ย้ายจ็อบ E2E ไปที่ runs-on: skipbox รันหลายๆ ครั้ง แล้วเทียบความล้มเหลวและเวลาของแต่ละขั้นตอนกับของ GitHub

อัปเดต 19 พฤศจิกายน 2026

CI/CD ที่เร็วขึ้นด้วยแคชที่พร้อมเสมอ

รันเนอร์ที่พร้อมทำงานเสมอ ในราคาเหมาจ่าย

เราโฮสต์ให้ คุณแก้แค่บรรทัดเดียว ค่าใช้จ่ายเพียง 1/12 ของ GitHub เมื่อใช้เต็มที่ ราคาเหมาจ่าย จึงรันได้ทั้งวัน พื้นที่แคช 7 เท่าของ GitHub

  • ไม่ต้องใช้บัตร
  • เข้าสู่ระบบด้วย GitHub
  • ยกเลิกได้ทุกเมื่อ