Skipbox

GitHub Actions पर flaky Cypress और Playwright टेस्ट: जब वजह रनर हो

जो end-to-end टेस्ट आपके लैपटॉप पर पास होते हैं और GitHub Actions पर flake होते हैं, वे अक्सर टूटे नहीं, बल्कि संसाधनों की कमी झेल रहे होते हैं। प्राइवेट रिपॉज़िटरी के ubuntu-latest पर Cypress या Playwright, एक ब्राउज़र, आपका ऐप सर्वर और उसका डेटाबेस 2 CPU और 8 GB बांटते हैं, इसलिए पेज देर से रेंडर होते हैं, कोई कमांड अपने टाइमआउट से आगे निकल जाती है (Cypress में डिफ़ॉल्ट रूप से 4 सेकंड), या रन के बीच में ब्राउज़र क्रैश हो जाता है। Cypress के अपने डॉक्स कहते हैं कि संसाधनों की कमी flaky, धीमे या बेतरतीब दिखने वाले फ़ेल के रूप में सामने आती है, और कि उनका उदाहरण ऐप 4 vCPU और 16 GB पर आराम से चलता है, यानी प्राइवेट रनर का दोगुना। फ़ेल होने वाले रन के दौरान CPU और मेमोरी देखकर इसे पक्का करें, टेस्ट में तय समय वाले इंतज़ार और शेयर किया डेटा ठीक करें, और जॉब को उसकी ज़रूरत की मशीन दें।

Skipbox वह मशीन तय कीमत पर देता है: runs-on: skipbox-8x16 पर 8 vCPU और 16 GB, हर महीने $79 में, आपके अकाउंट की डेडिकेटेड मशीन पर जहां ब्राउज़र और पैकेज रन के बीच इंस्टॉल रहते हैं। मिनट अनलिमिटेड हैं, इसलिए retries और शार्ड बिल में नहीं जुड़ते।

टेस्ट रनर को किसके साथ बांटते हैं

E2E जॉब सिर्फ़ टेस्ट नहीं चलाती। Cypress की परफ़ॉर्मेंस गाइड के अनुसार उसमें खुद Cypress, ब्राउज़र, आपका ऐप सर्वर, और आपके ऐप की निर्भर हर बैकग्राउंड सर्विस चलती है। प्राइवेट रिपॉज़िटरी के ubuntu-latest पर ये 2 CPU और 8 GB बांटते हैं (GitHub-होस्टेड रनर)। पब्लिक रिपॉज़िटरी वाले को 4 CPU और 16 GB मिलते हैं, जो वही साइज़ है जिसे Cypress अपने उदाहरण ऐप के लिए आरामदायक बताता है।

उसी गाइड से, संसाधनों की कमी वाली मशीन के लक्षण:

  • रन आगे बढ़ने के साथ टेस्ट धीमे होते जाते हैं
  • रन के बीच ब्राउज़र क्रैश होता है, बिना किसी साफ़ टेस्ट फ़ेल के
  • रन के दौरान CPU या मेमोरी लगभग 100% पर रहती है

Playwright हर वर्कर के लिए एक ब्राउज़र शुरू करता है, और उसका डिफ़ॉल्ट आधे कोर हैं। उसके CI डॉक्स स्थिरता और दोहराए जा सकने वाले नतीजों को प्राथमिकता देने के लिए CI में workers: 1 की सलाह देते हैं, ताकि हर टेस्ट को पूरी मशीन मिले, और समानांतर टेस्ट सिर्फ़ किसी ताकतवर सेल्फ़-होस्टेड CI सिस्टम पर सुझाते हैं।

कुछ भी बदलने से पहले इसे पक्का करें

  • Cypress: DEBUG=cypress:server:util:process_profiler npx cypress run के साथ चलाएं। यह हर 10 सेकंड में CPU और मेमोरी छापता है; लगातार 100% से ऊपर CPU का मतलब है मशीन भरी हुई है।
  • Playwright: फ़ेल होने वाला सुइट --workers=1 के साथ फिर से चलाएं। अगर flake रुक जाते हैं, तो सीमा मशीन थी, टेस्ट नहीं। retry पर trace रखें (trace: 'on-first-retry'), ताकि दिखे कि फ़ेल होते समय पेज क्या कर रहा था।
  • दोनों में: टेस्ट से पहले एक स्टेप जोड़ें, nproc && free -h, और बैकग्राउंड में एक जो हर 15 सेकंड में top -b -n 1 | head -15 लॉग करे।

जो flaky फ़ेल बड़ी मशीन पर रुक जाते हैं, वे रनर की वजह से थे, और बड़ी मशीन उन्हें ख़त्म कर देती है। जो टेस्ट अब भी उसी जगह फ़ेल होता है, उसकी समस्या टेस्ट में ही है: अगला सेक्शन उसे ठीक करता है।

जो टेस्ट का हिस्सा है, उसे ठीक करें

  • तय समय वाले इंतज़ार नहीं। cy.wait(2000) और page.waitForTimeout() तेज़ लैपटॉप पर पास होते हैं और धीमे रनर पर फ़ेल। इसके बजाय element, route या response का इंतज़ार करें।
  • intercept रिक्वेस्ट से पहले रजिस्टर करें। क्लिक के बाद सेट किया गया cy.intercept रिक्वेस्ट से होड़ करता है।
  • डेटा अलग रखें। जो टेस्ट एक ही यूज़र या रिकॉर्ड शेयर करते हैं, वे दूसरे क्रम में या समानांतर चलने पर फ़ेल होते हैं।
  • CI में retries चालू करें। Playwright फ़ेल होकर पास होने वाले टेस्ट को अपनी रिपोर्ट में flaky चिह्नित करता है; Cypress की retries सेटिंग cypress run में फ़ेल टेस्ट फिर से चलाती है। retries आपको flaky टेस्ट दिखाते हैं। उन्हें ठीक नहीं करते।

शार्डिंग की कीमत

शार्डिंग सुइट को जॉब में बांटती है, हर एक अपनी मशीन पर। Playwright --shard=1/4 लेता है और आखिरी जॉब में blob रिपोर्ट मिलाता है; Cypress के parallel mode को Cypress Cloud में रिकॉर्डिंग चाहिए, जो specs को मशीनों में बांटता है।

हर शार्ड एक नई GitHub VM है: वह पैकेज इंस्टॉल करता है, ब्राउज़र डाउनलोड करता है (Playwright ब्राउज़र कैश करने की सलाह नहीं देता, क्योंकि वापस लाने में लगभग डाउनलोड जितना ही समय लगता है), आपका ऐप बिल्ड करके शुरू करता है। चार शार्ड इसे चार बार चुकाते हैं, और प्रति मिनट बिलिंग हर एक गिनती है। शार्डिंग तब मदद करती है जब सीमा मशीन थी, पर उसके साथ सेटअप भी कई गुना हो जाता है।

धीमे, flaky सुइट की कीमत

E2E टेस्ट मर्ज से पहले का आखिरी चेक हैं, इसलिए पूरी टीम उनका इंतज़ार करती है, और flake ऊपर से एक दोबारा रन जोड़ता है। प्रति मिनट बिलिंग पर इनमें से हर मिनट का बिल बनता है:

8 vCPU पर 20,000 मिनट GitHub पर $422 के हैं और Skipbox M पर $79 के। GitHub के आंकड़े GitHub Team के शामिल इस्तेमाल के बाद के हैं। अपने मिनट होम पेज के कैलकुलेटर में डालें।

सुइट को उसकी मशीन दें

हर प्लान के साथ आपके अकाउंट की डेडिकेटेड मशीन आती है, जो जॉब के बीच बनी रहती है, तय कीमत पर:

  • पूरे स्टैक के लिए CPU और मेमोरी। skipbox-8x16 में उतने कोर और मेमोरी हैं जितने Cypress अपने उदाहरण ऐप के लिए बताता है, और उससे ज़्यादा कोर, इसलिए ब्राउज़र, ऐप और उसका डेटाबेस होड़ करना बंद कर देते हैं। 8 vCPU के साथ Playwright का डिफ़ॉल्ट 4 वर्कर है।
  • ब्राउज़र और पैकेज बने रहते हैं। ~/.cache/ms-playwright में Playwright के ब्राउज़र, ~/.cache/Cypress में Cypress binary, npm का कैश और आपकी सर्विसों की Docker इमेज अगली जॉब शुरू होने पर डिस्क पर होती हैं।
  • अनलिमिटेड मिनट। retries, दोबारा रन और शार्ड बिल नहीं बदलते। आपके प्लान के vCPU तय करते हैं कि एक साथ कितने शार्ड चलें; उससे ज़्यादा शार्ड अपनी बारी का इंतज़ार करते हैं।

आना बस एक लाइन का काम है

jobs:
  e2e:
    runs-on: skipbox-8x16 # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test

skipbox-8x16 M प्लान पर चलता है; ट्रायल runs-on: skipbox चलाता है (4 vCPU, 16 GB)।

  1. GitHub से Skipbox में साइन इन करें।
  2. Skipbox GitHub App इंस्टॉल करें और रिपॉज़िटरी चुनें।
  3. runs-on बदलें और push करें।

सुरक्षा

  • मशीन सिर्फ़ आपके अकाउंट की है। किसी दूसरी कंपनी की जॉब उस पर नहीं चलतीं।
  • हर जॉब के बाद रनर के क्रेडेंशियल, प्रोसेस और कंटेनर मिटा दिए जाते हैं। ब्राउज़र और कैश बने रहते हैं। “हर जॉब नई VM पर” इसके बजाय हर जॉब को नई मशीन देता है।
  • बिना write एक्सेस वाले लोगों का कोड (जैसे फ़ोर्क से आई पुल रिक्वेस्ट) एक नई VM पर चलता है जो आपका कैश पढ़ सकती है पर उसे बदल नहीं सकती।

पूरी जानकारी जॉब को अलग कैसे रखा जाता है में है।

flaky सुइट पर आज़माएं

ट्रायल 7 दिन या 3,000 जॉब-मिनट तक मुफ़्त है, जो भी पहले पूरा हो, बिना कार्ड। E2E जॉब को runs-on: skipbox पर ले जाएं, उसे कुछ बार चलाएं, और flake और स्टेप के समय GitHub से गिनकर मिलाएं।

अक्सर पूछे जाने वाले सवाल

मेरे Cypress टेस्ट GitHub Actions पर flaky क्यों हैं पर लोकल में पास होते हैं?

अक्सर इसलिए कि रनर आपके लैपटॉप से छोटा है। प्राइवेट रिपॉज़िटरी के ubuntu-latest में 2 CPU और 8 GB हैं, और Cypress, उसका ब्राउज़र, आपका ऐप सर्वर और उसका डेटाबेस सब उसी पर चलते हैं। जब वे होड़ करते हैं, पेज देर से रेंडर होते हैं, कोई कमांड अपने 4 सेकंड के डिफ़ॉल्ट टाइमआउट से आगे निकल जाती है, या ब्राउज़र क्रैश हो जाता है। Cypress की अपनी परफ़ॉर्मेंस गाइड कहती है कि संसाधनों की कमी flaky, धीमे या बेतरतीब दिखने वाले फ़ेल के रूप में सामने आती है, और कि उसका उदाहरण ऐप 4 vCPU और 16 GB पर आराम से चलता है। DEBUG=cypress:server:util:process_profiler से इसे पक्का करें, तय समय वाले इंतज़ार ठीक करें, फिर जॉब को ज़्यादा CPU और मेमोरी दें।

क्या CI में Playwright टेस्ट के flake होने की वजह रनर का CPU या मेमोरी हो सकती है?

हां। हर Playwright वर्कर अपना ब्राउज़र चलाता है, और डिफ़ॉल्ट मशीन के आधे कोर हैं। Playwright के CI डॉक्स स्थिरता के लिए CI में एक वर्कर की सलाह देते हैं, क्योंकि तब हर टेस्ट को पूरी मशीन मिलती है। अगर टेस्ट --workers=1 के साथ पास होते हैं और ज़्यादा के साथ flake होते हैं, तो सीमा मशीन है: 2 CPU पर एक वर्कर रखें, या ज़्यादा कोर और मेमोरी वाली मशीन पर जाएं और वहां वर्कर बढ़ाएं।

संसाधनों की कमी वाले रनर और flaky टेस्ट में फ़र्क कैसे करें?

फ़ेल होने वाले रन के दौरान मशीन पर नज़र रखें। DEBUG=cypress:server:util:process_profiler के साथ Cypress हर 10 सेकंड में CPU और मेमोरी छापता है; Playwright के लिए बैकग्राउंड स्टेप में free -h और top चलाएं, या --workers=1 के साथ फिर से चलाएं। संसाधनों की कमी वाला रनर लगभग 100% CPU या सीमा के करीब मेमोरी दिखाता है, और ऐसे फ़ेल जो टेस्ट के बीच इधर-उधर होते हैं और रन के बाद के हिस्से में बढ़ते हैं। flaky टेस्ट तेज़ मशीन पर भी उसी जगह फ़ेल होता है।

क्या E2E टेस्ट की शार्डिंग flakiness या लागत ठीक करती है?

अपने आप में कोई भी नहीं। शार्डिंग सुइट के हर हिस्से को उसकी अपनी मशीन देती है, जो तब मदद करती है जब सीमा मशीन थी, पर हर शार्ड पैकेज इंस्टॉल करता है, ब्राउज़र डाउनलोड करता है और आपका ऐप फिर से शुरू करता है, और प्रति मिनट बिलिंग हर शार्ड गिनती है। Cypress के parallel mode को Cypress Cloud में रिकॉर्डिंग भी चाहिए। Skipbox पर ब्राउज़र और पैकेज आपकी मशीन पर रहते हैं और मिनट अनलिमिटेड हैं, इसलिए शार्ड और retries का कोई अतिरिक्त खर्च नहीं।

E2E टेस्ट को किस साइज़ का रनर इस्तेमाल करना चाहिए?

इससे शुरू करें कि टेस्ट किसके साथ चलते हैं: ब्राउज़र, ऐप सर्वर और उसकी सर्विस। Cypress का उदाहरण ऐप 4 vCPU और 16 GB पर आराम से चलता है। Skipbox पर runs-on: skipbox-8x16 हर महीने $79 में 8 vCPU और 16 GB देता है, और skipbox-16x32 16 vCPU और 32 GB।

क्या मैं इसे मुफ़्त में आज़मा सकता हूं?

हां। ट्रायल 7 दिन या 3,000 जॉब-मिनट का है, जो भी पहले पूरा हो, बिना कार्ड, 4 vCPU और 16 GB पर। E2E जॉब को runs-on: skipbox पर ले जाएं, उसे कुछ बार चलाएं, और फ़ेल और स्टेप के समय की तुलना GitHub से करें।

19 नवंबर 2026 को अपडेट किया गया

हमेशा वॉर्म कैश के साथ तेज़ CI/CD

तय कीमत पर आपका वॉर्म रनर

होस्ट हम करते हैं। आप एक लाइन बदलते हैं। पूरे इस्तेमाल पर GitHub की लागत का 1/12। तय कीमत है, इसलिए दिन भर चलाएं। GitHub से 7× कैश स्पेस।

  • कार्ड की ज़रूरत नहीं
  • GitHub से साइन इन करें
  • कभी भी रद्द करें