# เทสต์ Cypress และ Playwright ที่ flaky บน GitHub Actions: เมื่อรันเนอร์คือต้นเหตุ

> E2E test ที่ผ่านบนเครื่องตัวเองแต่ flaky บน GitHub Actions มักขาดทรัพยากร: Cypress เบราว์เซอร์ แอปของคุณ และฐานข้อมูล ใช้ 2 CPU และ 8 GB ของรีโพสิทอรีส่วนตัวร่วมกัน เอกสารของ Cypress บอกว่าการขาดทรัพยากรปรากฏเป็นความล้มเหลวแบบ flaky ช้า หรือสุ่ม วิธียืนยัน สิ่งที่ต้องแก้ในเทสต์ ทำไมการแบ่ง shard ถึงกินนาที และรันเนอร์ 8 vCPU และ 16 GB ในราคาเหมาจ่าย $79 ต่อเดือน

end-to-end test ที่ผ่านบนแล็ปท็อปของคุณแต่ flaky บน GitHub Actions มักขาดทรัพยากร ไม่ได้พัง บน `ubuntu-latest` ของรีโพสิทอรีส่วนตัว Cypress หรือ Playwright เบราว์เซอร์ เซิร์ฟเวอร์แอปของคุณ และฐานข้อมูล ใช้ 2 CPU และ 8 GB ร่วมกัน หน้าเว็บจึง render ช้า คำสั่งรันเกิน timeout (4 วินาทีเป็นค่าเริ่มต้นใน Cypress) หรือเบราว์เซอร์ crash กลางการรัน เอกสารของ Cypress เองบอกว่าการขาดทรัพยากรปรากฏเป็นความล้มเหลวแบบ flaky ช้า หรือดูเหมือนสุ่ม และแอปตัวอย่างของพวกเขารันได้สบายบน 4 vCPU และ 16 GB ซึ่งเป็นสองเท่าของรันเนอร์ส่วนตัว ยืนยันด้วยการดู CPU และหน่วยความจำระหว่างการรันที่ล้มเหลว แก้การรอแบบตายตัวและข้อมูลที่ใช้ร่วมกันในเทสต์ แล้วให้จ็อบได้เครื่องที่มันต้องการ

Skipbox ให้เครื่องนั้นในราคาเหมาจ่าย: 8 vCPU และ 16 GB บน `runs-on: skipbox-8x16` ในราคา $79 ต่อเดือน บนเครื่องที่ Skipbox โฮสต์ให้บัญชีของคุณเท่านั้นที่เบราว์เซอร์และแพ็กเกจยังติดตั้งอยู่ระหว่างการรัน ไม่จำกัดนาที การลองซ้ำและ shard จึงไม่เพิ่มบิล

- แอปตัวอย่างของ Cypress รันได้สบายบน 4 vCPU และ 16 GB ส่วน `ubuntu-latest` ส่วนตัวมี 2 และ 8
- 8 vCPU และ 16 GB ในราคา $79 ต่อเดือน ไม่จำกัดนาที
- เบราว์เซอร์และแพ็กเกจอยู่บนเครื่องของคุณ shard หรือการลองซ้ำจึงไม่ต้องติดตั้งใหม่

**GitHub Actions ราคาเหมาจ่าย ไม่จำกัดนาที** Skipbox รันจ็อบ GitHub Actions บนเครื่องเฉพาะของคุณเอง: $39 ต่อเดือน ไม่ว่าจะรันกี่นาที layer ของ Docker และแคช dependency ยังอยู่ระหว่างจ็อบ จ็อบถัดไปจึงเริ่มได้ทันที

รันเนอร์ 4 vCPU, 20,000 นาทีต่อเดือน: GitHub $222 → Skipbox $39. ประหยัด $183 ทุกเดือน.

ย้ายได้ด้วยบรรทัดเดียว: `runs-on: skipbox`

[เริ่มทดลองใช้ฟรี 7 วัน](https://app.skipbox.dev/sign-in?ref=g-flaky-e2e-tests-github-actions-th)

## เทสต์ใช้รันเนอร์ร่วมกับอะไรบ้าง

จ็อบ E2E รันมากกว่าแค่เทสต์ [คู่มือประสิทธิภาพของ Cypress](https://docs.cypress.io/app/guides/test-performance) (ภาษาอังกฤษ) ระบุว่ามีตัว Cypress เอง เบราว์เซอร์ เซิร์ฟเวอร์แอปของคุณ และ service เบื้องหลังที่แอปของคุณพึ่งพา บน `ubuntu-latest` ของรีโพสิทอรีส่วนตัว ทั้งหมดใช้ 2 CPU และ 8 GB ร่วมกัน ([รันเนอร์ที่ GitHub โฮสต์](https://docs.github.com/en/actions/reference/runners/github-hosted-runners) ภาษาอังกฤษ) ของรีโพสิทอรีสาธารณะได้ 4 CPU และ 16 GB ซึ่งเป็นขนาดที่ Cypress ระบุว่าสบายสำหรับแอปตัวอย่างของมัน

สัญญาณของเครื่องที่ขาดทรัพยากร จากคู่มือเดียวกัน:

- เทสต์ช้าลงเรื่อยๆ เมื่อการรันดำเนินไป
- เบราว์เซอร์ crash กลางการรันโดยไม่มีเทสต์ล้มเหลวที่ชัดเจน
- CPU หรือหน่วยความจำค้างอยู่ใกล้ 100% ระหว่างการรัน

Playwright เริ่มเบราว์เซอร์หนึ่งตัวต่อ worker และ[ค่าเริ่มต้นของมันคือครึ่งหนึ่งของจำนวนคอร์](https://playwright.dev/docs/api/class-testconfig#test-config-workers) (ภาษาอังกฤษ) [เอกสาร CI](https://playwright.dev/docs/ci#workers) ของมันแนะนำ `workers: 1` ใน CI เพื่อให้ความเสถียรและการทำซ้ำได้มาก่อน แต่ละเทสต์จึงได้ทั้งเครื่อง และแนะนำการรันเทสต์แบบขนานเฉพาะบนระบบ CI แบบ self-hosted ที่มีกำลังสูง

## ยืนยันก่อนเปลี่ยนอะไร

- **Cypress:** รันด้วย `DEBUG=cypress:server:util:process_profiler npx cypress run` มันพิมพ์ CPU และหน่วยความจำทุก 10 วินาที CPU ที่สูงกว่า 100% ตลอดหมายความว่าเครื่องอิ่มตัวแล้ว
- **Playwright:** รันชุดที่ล้มเหลวใหม่ด้วย `--workers=1` ถ้าความ flaky หยุด เครื่องคือขีดจำกัด ไม่ใช่เทสต์ เก็บ trace ไว้เมื่อลองซ้ำ (`trace: 'on-first-retry'`) เพื่อดูว่าหน้าเว็บกำลังทำอะไรตอนที่ล้มเหลว
- **ทั้งคู่:** เพิ่มขั้นตอนก่อนเทสต์ `nproc && free -h` และอีกขั้นตอนในเบื้องหลังที่บันทึก `top -b -n 1 | head -15` ทุก 15 วินาที

ความ flaky ที่หายไปบนเครื่องที่ใหญ่กว่าเป็นของรันเนอร์ และเครื่องที่ใหญ่กว่าก็จบมันได้ เทสต์ที่ยังล้มเหลวที่จุดเดิมเป็นปัญหาของเทสต์เอง: หัวข้อถัดไปแก้มัน

## แก้สิ่งที่เป็นของเทสต์

- **ไม่มีการรอแบบตายตัว** `cy.wait(2000)` และ `page.waitForTimeout()` ผ่านบนแล็ปท็อปที่เร็วและล้มเหลวบนรันเนอร์ที่ช้า ให้รอ element, route หรือ response แทน
- **ลงทะเบียน intercept ก่อนคำขอ** `cy.intercept` ที่ตั้งหลังการคลิกจะแข่งกับคำขอ
- **แยกข้อมูล** เทสต์ที่ใช้ผู้ใช้หรือเรคคอร์ดร่วมกันจะล้มเหลวเมื่อรันในลำดับอื่นหรือรันขนานกัน
- **เปิดการลองซ้ำใน CI** Playwright ทำเครื่องหมายเทสต์ที่ล้มเหลวแล้วผ่านว่า flaky ในรายงาน การตั้งค่า `retries` ของ Cypress รันเทสต์ที่ล้มเหลวอีกครั้งใน `cypress run` การลองซ้ำแสดงให้เห็นตัวที่ flaky แต่ไม่ได้แก้มัน

## การแบ่ง shard มีต้นทุนอะไร

การแบ่ง shard แยกชุดทดสอบไปหลายจ็อบ แต่ละจ็อบบนเครื่องของตัวเอง [Playwright](https://playwright.dev/docs/test-sharding) (ภาษาอังกฤษ) รับ `--shard=1/4` และรวม blob report ในจ็อบสุดท้าย [โหมดขนานของ Cypress](https://docs.cypress.io/app/continuous-integration/github-actions) (ภาษาอังกฤษ) ต้องบันทึกไปที่ Cypress Cloud ซึ่งกระจาย spec ไปยังเครื่องต่างๆ

แต่ละ shard คือ VM ใหม่ของ GitHub: มันติดตั้งแพ็กเกจ ดาวน์โหลดเบราว์เซอร์ (Playwright แนะนำไม่ให้แคชเบราว์เซอร์ เพราะการกู้คืนใช้เวลาพอๆ กับการดาวน์โหลด) build และเริ่มแอปของคุณ สี่ shard จ่ายส่วนนั้นสี่ครั้ง และการคิดเงินรายนาทีนับทุกตัว การแบ่ง shard ช่วยเมื่อเครื่องคือขีดจำกัด แต่มันคูณการตั้งค่าไปด้วย

## ชุดทดสอบที่ช้าและ flaky มีต้นทุนเท่าไร

E2E test คือเช็กสุดท้ายก่อน merge ทั้งทีมจึงรอมัน และความ flaky เพิ่มการรันซ้ำเข้าไปอีก บนการคิดเงินรายนาที ทุกนาทีเหล่านั้นถูกคิดเงิน:

| นาทีต่อเดือน (4 vCPU) | GitHub | Skipbox S | ประหยัดได้ต่อเดือน |
|---|---|---|---|
| 10,000 | $102 | $39 | **$63** |
| 20,000 | $222 | $39 | **$183** |
| 30,000 | $342 | $39 | **$303** |

ที่ 8 vCPU 20,000 นาทีคือ $422 บน GitHub และ $79 บน Skipbox M ตัวเลขของ GitHub คือหลังหักการใช้งานที่ GitHub Team รวมให้แล้ว ใส่นาทีของคุณเองใน[เครื่องคำนวณบนหน้าแรก](https://skipbox.dev/?ref=g-flaky-e2e-tests-github-actions-th#cost)

## ให้ชุดทดสอบได้เครื่องที่ต้องการ

ทุกแพ็กเกจมาพร้อมเครื่องเฉพาะของบัญชีคุณ ที่เก็บไว้ระหว่างจ็อบ ในราคาเหมาจ่าย:

| เลเบล | เครื่อง | แพ็กเกจ |
|---|---|---|
| `skipbox` | 4 vCPU · 16 GB | S, $39 ต่อเดือน |
| `skipbox-8x16` | 8 vCPU · 16 GB | M, $79 ต่อเดือน |
| `skipbox-16x32` | 16 vCPU · 32 GB | L, $149 ต่อเดือน |

- **CPU และหน่วยความจำสำหรับทั้งสแตก** `skipbox-8x16` มีคอร์และหน่วยความจำตามที่ Cypress ระบุสำหรับแอปตัวอย่างของมัน และมีคอร์มากกว่า เบราว์เซอร์ แอป และฐานข้อมูลจึงเลิกแย่งกัน ที่ 8 vCPU ค่าเริ่มต้นของ Playwright คือ 4 worker
- **เบราว์เซอร์และแพ็กเกจอยู่ต่อ** เบราว์เซอร์ของ Playwright ใน `~/.cache/ms-playwright` ไบนารีของ Cypress ใน `~/.cache/Cypress` แคชของ npm และอิมเมจ Docker ของ service ของคุณ อยู่บนดิสก์เมื่อจ็อบถัดไปเริ่ม
- **ไม่จำกัดนาที** การลองซ้ำ การรันซ้ำ และ shard ไม่เปลี่ยนบิล vCPU ของแพ็กเกจกำหนดว่า shard รันพร้อมกันได้กี่ตัว shard ที่เกินจากนั้นจะรอคิว

## ย้ายมาแค่บรรทัดเดียว

```yaml
jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test
```

`skipbox-8x16` รันบนแพ็กเกจ M ช่วงทดลองใช้รัน `runs-on: skipbox` (4 vCPU, 16 GB)

1. เข้าสู่ระบบ Skipbox ด้วย GitHub
2. ติดตั้ง GitHub App ของ Skipbox แล้วเลือกรีโพสิทอรี
3. เปลี่ยน `runs-on` แล้ว push

## ความปลอดภัย

- เครื่องเป็นของบัญชีคุณเท่านั้น ไม่มีจ็อบของบริษัทอื่นรันบนเครื่องนี้
- หลังทุกจ็อบ ข้อมูลรับรองของรันเนอร์ โปรเซส และคอนเทนเนอร์จะถูกลบ ส่วนเบราว์เซอร์และแคชอยู่ต่อ การตั้งค่า **VM ใหม่ทุกจ็อบ** ให้แต่ละจ็อบได้เครื่องใหม่แทน
- โค้ดจากคนที่ไม่มีสิทธิ์เขียน (เช่น pull request จาก fork) รันบน VM ใหม่ที่อ่านแคชของคุณได้แต่แก้ไขไม่ได้

รายละเอียดอยู่ใน[วิธีแยกจ็อบออกจากกัน](https://docs.skipbox.dev/th/isolation)

## ลองกับชุดทดสอบที่ flaky

ทดลองใช้ฟรี 7 วัน หรือ 3,000 นาทีของจ็อบ แล้วแต่อย่างไหนครบก่อน ไม่ต้องใช้บัตร ย้ายจ็อบ E2E ไปที่ `runs-on: skipbox` รันหลายๆ ครั้ง แล้วนับความ flaky และเวลาของแต่ละขั้นตอนเทียบกับของ GitHub

## คำถามที่พบบ่อย

### ทำไมเทสต์ Cypress ของฉันถึง flaky บน GitHub Actions แต่ผ่านบนเครื่องตัวเอง

บ่อยครั้งเพราะรันเนอร์เล็กกว่าแล็ปท็อปของคุณ ubuntu-latest ของรีโพสิทอรีส่วนตัวมี 2 CPU และ 8 GB และ Cypress เบราว์เซอร์ของมัน เซิร์ฟเวอร์แอปของคุณ และฐานข้อมูลรันอยู่บนนั้นทั้งหมด เมื่อแย่งทรัพยากรกัน หน้าเว็บ render ช้า คำสั่งเกิน timeout เริ่มต้น 4 วินาที หรือเบราว์เซอร์ crash คู่มือประสิทธิภาพของ Cypress เองบอกว่าการขาดทรัพยากรปรากฏเป็นความล้มเหลวแบบ flaky ช้า หรือดูเหมือนสุ่ม และแอปตัวอย่างของมันรันได้สบายบน 4 vCPU และ 16 GB ยืนยันด้วย DEBUG=cypress:server:util:process_profiler แก้การรอแบบตายตัว แล้วให้จ็อบได้ CPU และหน่วยความจำมากขึ้น

### CPU หรือหน่วยความจำของรันเนอร์เป็นเหตุให้เทสต์ Playwright flaky ใน CI ได้ไหม

ได้ worker ของ Playwright แต่ละตัวขับเบราว์เซอร์ของตัวเอง และค่าเริ่มต้นคือครึ่งหนึ่งของจำนวนคอร์ของเครื่อง เอกสาร CI ของ Playwright แนะนำหนึ่ง worker ใน CI เพื่อความเสถียร เพราะแต่ละเทสต์จะได้ทั้งเครื่อง ถ้าเทสต์ผ่านด้วย --workers=1 และ flaky เมื่อมากกว่านั้น เครื่องคือขีดจำกัด: ใช้หนึ่ง worker บน 2 CPU หรือย้ายไปเครื่องที่มีคอร์และหน่วยความจำมากกว่าแล้วเพิ่ม worker ที่นั่น

### จะแยกรันเนอร์ที่ขาดทรัพยากรออกจากเทสต์ที่ flaky ได้อย่างไร

ดูเครื่องระหว่างการรันที่ล้มเหลว Cypress พิมพ์ CPU และหน่วยความจำทุก 10 วินาทีด้วย DEBUG=cypress:server:util:process_profiler สำหรับ Playwright ให้รัน free -h และ top ในขั้นตอนเบื้องหลัง หรือรันใหม่ด้วย --workers=1 รันเนอร์ที่ขาดทรัพยากรจะแสดง CPU ใกล้ 100% หรือหน่วยความจำใกล้ขีดจำกัด และความล้มเหลวที่ย้ายไปมาระหว่างเทสต์และแย่ลงเมื่อการรันดำเนินไป เทสต์ที่ flaky จะล้มเหลวที่จุดเดิมแม้บนเครื่องที่เร็ว

### การแบ่ง shard ของ E2E test แก้ความ flaky หรือค่าใช้จ่ายได้ไหม

ไม่ได้ทั้งสองอย่างด้วยตัวมันเอง การแบ่ง shard ให้แต่ละส่วนของชุดทดสอบได้เครื่องของตัวเอง ซึ่งช่วยเมื่อเครื่องคือขีดจำกัด แต่แต่ละ shard ติดตั้งแพ็กเกจ ดาวน์โหลดเบราว์เซอร์ และเริ่มแอปของคุณใหม่ และการคิดเงินรายนาทีนับทุก shard โหมดขนานของ Cypress ยังต้องบันทึกไปที่ Cypress Cloud ด้วย บน Skipbox เบราว์เซอร์และแพ็กเกจอยู่บนเครื่องของคุณและไม่จำกัดนาที shard และการลองซ้ำจึงไม่มีค่าใช้จ่ายเพิ่ม

### E2E test ควรใช้รันเนอร์ขนาดเท่าไร

เริ่มจากสิ่งที่เทสต์รันอยู่ข้างๆ: เบราว์เซอร์ เซิร์ฟเวอร์แอป และ service ของมัน แอปตัวอย่างของ Cypress รันได้สบายบน 4 vCPU และ 16 GB บน Skipbox runs-on: skipbox-8x16 ให้ 8 vCPU และ 16 GB ในราคา $79 ต่อเดือน และ skipbox-16x32 ให้ 16 vCPU และ 32 GB

### ลองใช้ฟรีได้ไหม

ได้ ทดลองใช้ได้ 7 วัน หรือ 3,000 นาทีของจ็อบ แล้วแต่อย่างไหนครบก่อน ไม่ต้องใช้บัตร บน 4 vCPU และ 16 GB ย้ายจ็อบ E2E ไปที่ runs-on: skipbox รันหลายๆ ครั้ง แล้วเทียบความล้มเหลวและเวลาของแต่ละขั้นตอนกับของ GitHub

อัปเดต 2026-11-19 · https://skipbox.dev/th/guides/flaky-e2e-tests-github-actions
