Skipbox

GitHub Actions पर लगातार E2E टेस्टिंग: तय कीमत पर दिन भर सुइट चलाएं

कोडिंग एजेंट चौबीसों घंटे कोड push करते हैं, और आपका end-to-end सुइट वह चेक है जो वह देखता है जो उनके यूनिट टेस्ट नहीं देखते: कि साइन इन, चेकआउट और किसी बदलाव के आसपास के पेज अब भी साथ मिलकर काम करते हैं। जो टीम रात में एक बार E2E चलाती है, वह सुबह मर्ज हुआ रिग्रेशन अगली रात के रन के बाद ही पकड़ती है, उसके ऊपर पूरे दिन के मर्ज के साथ। दिन भर सुइट चलाने से यह ठीक होता है, और प्रति मिनट वाले रनर पर यह CI की सबसे महंगी चीज़ है: पूरे महीने व्यस्त रहने वाला एक 4 vCPU रनर GitHub पर $500.40 का है।

Skipbox यह लूप हर महीने तय $39 में चलाता है, अनलिमिटेड मिनट के साथ, आपकी डेडिकेटेड मशीन पर जो रन के बीच ब्राउज़र और पैकेज इंस्टॉल रखती है। आना एक लाइन का काम है, runs-on: skipbox।

इसे हर push पर चलाएं, और लूप पर भी

एक वर्कफ़्लो में दो ट्रिगर:

  • पुल रिक्वेस्ट के हर push पर, ताकि रिग्रेशन मर्ज से पहले पकड़ा जाए।
  • main या staging पर शेड्यूल से, हर 15 मिनट, ताकि flaky टेस्ट, निकल गए रिग्रेशन, और आपके कोड के बाहर से आई टूट-फूट (पेमेंट sandbox, auth प्रोवाइडर, ब्राउज़र अपडेट) मिनटों में दिखें।

GitHub का सबसे छोटा शेड्यूल हर 5 मिनट है, डिफ़ॉल्ट ब्रांच के सबसे नए कमिट पर। concurrency ग्रुप लूप को जमा होने से रोकता है, और Playwright के retries फ़ेल होकर पास होने वाले टेस्ट को flaky चिह्नित करते हैं, इसलिए पचास में एक बार flake होने वाला टेस्ट एक हफ़्ते छिपे रहने के बजाय दिन में दो बार दिखता है।

प्रति मिनट वाले रनर पर लूप की लागत

हर 15 मिनट का लूप दिन में 96 रन है। कुछ शार्ड के साथ, रनर हर दिन ज़्यादातर समय व्यस्त रहता है:

GitHub के आंकड़े GitHub Team के शामिल इस्तेमाल के बाद के हैं। लूप पर चार शार्ड यानी आखिरी पंक्ति जैसी चार पंक्तियां। अपने मिनट होम पेज के कैलकुलेटर में आज़माएं।

इसी बिल की वजह से ज़्यादातर टीमें दिन भर E2E नहीं चलातीं, और इसकी कीमत घंटों में चुकाती हैं: रात में एजेंट का मर्ज किया रिग्रेशन सुबह मिलता है, उसके ऊपर और कमिट आ जाने के बाद, और उसे bisect करने में उतना समय लगता है जितना लूप बचाता। एजेंट से शुरू होने वाली पुल रिक्वेस्ट बढ़ती जा रही हैं (GitHub ने सितंबर 2026 में 40% से ज़्यादा बताईं, जबकि मार्च में 17%), और प्रति मिनट बिल पर सीमा लगाने वाला बजट महीने के बीच में जॉब रोक देता है, जिससे लूप ठीक तब बंद होता है जब उसकी ज़रूरत होती है।

लूप खुद चलाना

इसे GitHub-होस्टेड रनर पर और किफ़ायती रखने के लिए टीमें आखिर में यह करती हैं:

  • शेड्यूल घटाकर हर घंटे या हर रात करना और धीमी पकड़ मान लेना
  • यह ट्यून करना कि कौन-सा टेस्ट किस ट्रिगर पर चले ताकि मिनट बजट में आएं
  • जल्दी खत्म करने के लिए शार्डिंग, फिर हर शार्ड के सेटअप का पैसा दोबारा देना
  • या लूप के लिए अपना सेल्फ़-होस्टेड रनर चलाना, और उसके ब्राउज़र, OS और डिस्क ठीक रखना

Skipbox यह समझौता हटा देता है। लूप चाहे जितनी बार चले, लागत वही रहती है, और मशीन की देखभाल किसी को नहीं करनी पड़ती।

Skipbox लूप को क्या देता है

दिन भर के रन के लिए तय कीमत। हर प्लान अपनी जॉब चौबीसों घंटे अनलिमिटेड मिनट के साथ चलाता है। Skipbox की जॉब कोई GitHub मिनट इस्तेमाल नहीं करतीं, इसलिए GitHub बजट लूप को कभी बंद नहीं करता।

आपके प्लान के vCPU तय करते हैं कि एक साथ कितने शार्ड चलें: चार runs-on: skipbox शार्ड चार S प्लान या एक L पर साथ चलते हैं। उससे ज़्यादा शार्ड अपनी बारी का इंतज़ार करते हैं।

सेटअप जो दोहराया नहीं जाता। हर प्लान के साथ आपके अकाउंट की डेडिकेटेड मशीन आती है, जो जॉब के बीच बनी रहती है। ~/.cache/ms-playwright में Playwright के ब्राउज़र, npm का कैश, और आपके ऐप और उसकी सर्विसों की Docker इमेज अगले रन के लिए डिस्क पर होती हैं।

हर रन साफ़ शुरू होता है। हर जॉब के बाद रनर के क्रेडेंशियल, प्रोसेस और हर कंटेनर मिटा दिए जाते हैं, और एक हेल्थ चेक चलता है। उसमें फ़ेल होने वाली मशीन साफ़ इमेज से फिर से बनती है। 13 नवंबर 2026 से आपका चेकआउट और उसका बिल्ड आउटपुट (Cargo का target/) आपकी अगली जॉब के लिए आपकी डेडिकेटेड मशीन पर बने रहते हैं; “हर जॉब नई VM पर” हर जॉब को नई मशीन देता है।

आना बस एक लाइन का काम है

name: E2E
on:
  pull_request:
  schedule:
    - cron: "*/15 * * * *"
concurrency:
  group: e2e-${{ github.ref }}
  cancel-in-progress: ${{ github.event_name == 'pull_request' }}
jobs:
  e2e:
    runs-on: skipbox # was ubuntu-latest
    steps:
      - uses: actions/checkout@v6
      - uses: actions/setup-node@v6
        with:
          node-version: lts/*
      - run: npm ci
      - run: npx playwright install --with-deps
      - run: npx playwright test
  1. GitHub से Skipbox में साइन इन करें।
  2. Skipbox GitHub App इंस्टॉल करें और रिपॉज़िटरी चुनें।
  3. runs-on बदलें और push करें।

सुरक्षा

  • मशीन सिर्फ़ आपके अकाउंट की है। किसी दूसरी कंपनी की जॉब उस पर नहीं चलतीं।
  • हर जॉब के बाद रनर के क्रेडेंशियल, प्रोसेस और कंटेनर मिटा दिए जाते हैं। 13 नवंबर 2026 से आपका चेकआउट और उसका बिल्ड आउटपुट (Cargo का target/) आपकी अगली जॉब के लिए आपकी डेडिकेटेड मशीन पर बने रहते हैं; “हर जॉब नई VM पर” हर जॉब को नई मशीन देता है।
  • बिना write एक्सेस वाले लोगों का कोड (जैसे फ़ोर्क से आई पुल रिक्वेस्ट) एक नई, इस्तेमाल के बाद हटाई जाने वाली मशीन पर चलता है।

पूरी जानकारी जॉब को अलग कैसे रखा जाता है में है।

आज़माएं

ट्रायल 7 दिन या 3,000 जॉब-मिनट तक मुफ़्त है, जो भी पहले पूरा हो, बिना कार्ड। यह एक साथ 4 तक runs-on: skipbox जॉब चलाता है: E2E जॉब ले जाएं, शेड्यूल चालू करें, और तय कीमत पर एक दिन के रन देखें।

अक्सर पूछे जाने वाले सवाल

क्या हर push पर end-to-end टेस्ट चलाने चाहिए?

हां, जब आपके कमिट का बड़ा हिस्सा एजेंट लिखते हैं। यूनिट टेस्ट बदले हुए फ़ंक्शन को जांचता है; end-to-end टेस्ट जांचता है कि साइन इन, चेकआउट और उनके आसपास के पेज अब भी साथ मिलकर काम करते हैं। Skipbox जैसे तय कीमत वाले रनर पर हर push पर और शेड्यूल पर सुइट चलाने का खर्च उतना ही है जितना रात में एक बार चलाने का।

GitHub Actions वर्कफ़्लो शेड्यूल पर कितनी बार चल सकता है?

ज़्यादा से ज़्यादा हर 5 मिनट। शेड्यूल वाले वर्कफ़्लो डिफ़ॉल्ट ब्रांच के सबसे नए कमिट पर चलते हैं और GitHub व्यस्त हो तो देर से शुरू हो सकते हैं। हर 15 मिनट एक आम लूप है: दिन में 96 रन। Skipbox पर बिल हर 15 मिनट पर भी उतना ही है जितना हर 5 मिनट पर।

GitHub Actions पर दिन भर E2E टेस्ट चलाने की लागत क्या है?

पूरे महीने व्यस्त रहने वाला एक 4 vCPU रनर GitHub के 4-कोर रनर पर $500.40 का है, GitHub Team के शामिल इस्तेमाल के बाद। Skipbox पर S प्लान चौबीसों घंटे एक बार में 4 vCPU की एक जॉब चलाता है, हर महीने तय $39 में, यानी $461.40 कम।

Skipbox पर Playwright शार्ड एक साथ कैसे चलाएं?

आपके प्लान के vCPU तय करते हैं कि एक साथ कितनी जॉब चलें। 4 vCPU के चार runs-on: skipbox शार्ड चार S प्लान या एक L प्लान पर साथ चलते हैं; कम प्लान हों तो बाकी शार्ड अपनी बारी का इंतज़ार करते हैं और किसी एक के खत्म होते ही शुरू हो जाते हैं।

flaky end-to-end टेस्ट कैसे ढूंढें?

CI में retries चालू करें। जो टेस्ट फ़ेल होकर retry पर पास होता है, उसे Playwright passed और failed से अलग flaky के रूप में चिह्नित करता है, और रिपोर्ट उन्हें सूची में दिखाती है। लूप पर चलने वाला सुइट एक ही flaky टेस्ट को दिन में कई बार दिखाता है, इसलिए वह एक स्प्रिंट के बजाय एक दिन में पकड़ में आ जाता है।

19 नवंबर 2026 को अपडेट किया गया

हमेशा वॉर्म कैश के साथ तेज़ CI/CD

तय कीमत पर आपका वॉर्म रनर

होस्ट हम करते हैं। आप एक लाइन बदलते हैं। पूरे इस्तेमाल पर GitHub की लागत का 1/12। तय कीमत है, इसलिए दिन भर चलाएं। GitHub से 7× कैश स्पेस।

  • कार्ड की ज़रूरत नहीं
  • GitHub से साइन इन करें
  • कभी भी रद्द करें