تستهای ناپایدار Cypress و Playwright در GitHub Actions: وقتی مقصر رانر است
تستهای end-to-end که روی لپتاپ شما موفقاند و در GitHub Actions ناپایدار، اغلب کمبود منابع دارند، نه خرابی. روی ubuntu-latest یک مخزن خصوصی، Cypress یا Playwright، یک مرورگر، سرور اپ شما و پایگاه دادهاش 2 CPU و 8 GB را شریکاند، پس صفحهها دیر رندر میشوند، یک دستور از timeoutش میگذرد (در Cypress بهطور پیشفرض 4 ثانیه) یا مرورگر وسط اجرا از کار میافتد. مستندات خود Cypress میگوید کمبود منابع به شکل خطاهای ناپایدار، کند یا ظاهراً تصادفی دیده میشود و اپ نمونهاش روی 4 vCPU و 16 GB راحت اجرا میشود، دو برابر یک رانر خصوصی. با زیر نظر گرفتن CPU و حافظه در یک اجرای ناموفق تأییدش کنید، انتظارهای ثابت و داده مشترک را در تستها درست کنید و ماشینی را که جاب لازم دارد به آن بدهید.
Skipbox همان ماشین را با قیمت ثابت به آن میدهد: ۸ vCPU و ۱۶ GB با runs-on: skipbox-8x16 به ماهانه $۷۹، روی ماشین اختصاصی حساب شما که مرورگرها و پکیجها بین اجراها رویش نصب میمانند. دقیقهها نامحدودند، پس retryها و shardها چیزی به صورتحساب اضافه نمیکنند.
تستها رانر را با چه چیزهایی شریکاند
یک جاب E2E بیشتر از تستها را اجرا میکند. راهنمای کارایی Cypress آنها را برمیشمارد: خود Cypress، مرورگر، سرور اپ شما و هر سرویس پسزمینهای که اپ به آن وابسته است. روی ubuntu-latest یک مخزن خصوصی اینها 2 CPU و 8 GB را شریکاند (رانرهای میزبانیشده GitHub). رانر یک مخزن عمومی 4 CPU و 16 GB میگیرد، همان اندازهای که Cypress برای اپ نمونهاش راحت میداند.
نشانههای ماشین کممنبع، از همان راهنما:
- تستها در ادامه اجرا کندتر میشوند
- مرورگر وسط اجرا بدون خطای روشن در تست از کار میافتد
- CPU یا حافظه در طول اجرا نزدیک 100٪ میماند
Playwright برای هر worker یک مرورگر راه میاندازد و پیشفرضش نصف هستههاست. مستندات CI آن برای اولویت دادن به پایداری و تکرارپذیری، workers: 1 را در CI توصیه میکند، تا هر تست کل ماشین را داشته باشد، و تستهای موازی را فقط روی یک سیستم CI خودمیزبان قدرتمند پیشنهاد میکند.
پیش از تغییر هر چیز تأییدش کنید
- Cypress: با
DEBUG=cypress:server:util:process_profiler npx cypress runاجرا کنید. هر 10 ثانیه CPU و حافظه را چاپ میکند؛ CPU که مدام بالای 100٪ باشد یعنی ماشین اشباع شده است. - Playwright: مجموعه تست ناموفق را با
--workers=1دوباره اجرا کنید. اگر ناپایداریها قطع شوند، محدودیت از ماشین بود، نه تستها. trace را در retry نگه دارید (trace: 'on-first-retry') تا ببینید صفحه هنگام شکست چه میکرد. - هر دو: پیش از تستها یک گام
nproc && free -hاضافه کنید، و یک گام پسزمینه که هر 15 ثانیهtop -b -n 1 | head -15را ثبت کند.
ناپایداریهایی که روی ماشین بزرگتر از بین میروند از رانر بودند، و ماشین بزرگتر به آنها پایان میدهد. تستی که هنوز در همان جا شکست میخورد مشکل خود تست است: بخش بعدی درستش میکند.
آنچه مال تستهاست را درست کنید
- بدون انتظار ثابت.
cy.wait(2000)وpage.waitForTimeout()روی لپتاپ سریع موفقاند و روی رانر کند شکست میخورند. بهجایش منتظر المان، route یا پاسخ بمانید. - intercept را پیش از درخواست ثبت کنید.
cy.interceptکه بعد از کلیک تنظیم شود با درخواست مسابقه میدهد. - داده را جدا کنید. تستهایی که یک کاربر یا یک رکورد را شریکاند، وقتی با ترتیب دیگری یا موازی اجرا شوند شکست میخورند.
- retry را در CI روشن کنید. Playwright تستی را که شکست میخورد و بعد موفق میشود در گزارشش flaky علامت میزند؛ تنظیم
retriesدر Cypress تست ناموفق را درcypress runدوباره اجرا میکند. retryها تستهای ناپایدار را نشانتان میدهند. درستشان نمیکنند.
shard کردن چه هزینهای دارد
shard کردن مجموعه تست را بین جابها تقسیم میکند، هر کدام روی ماشین خودش. Playwright --shard=1/4 میگیرد و گزارشهای blob را در یک جاب نهایی ادغام میکند؛ حالت موازی Cypress به ثبت در Cypress Cloud نیاز دارد که specها را بین ماشینها پخش میکند.
هر shard یک ماشین مجازی تازه GitHub است: پکیجها را نصب میکند، مرورگر را دانلود میکند (Playwright کش کردن مرورگرها را توصیه نمیکند، چون بازگرداندن تقریباً به اندازه دانلود طول میکشد)، اپ شما را بیلد میکند و راه میاندازد. چهار shard این را چهار بار میپردازند، و صورتحساب دقیقهای همه را میشمارد. shard کردن وقتی محدودیت از ماشین بود کمک میکند، ولی راهاندازی را هم همراهش چند برابر میکند.
یک مجموعه تست کند و ناپایدار چقدر هزینه دارد
تستهای E2E آخرین بررسی پیش از merge هستند، پس کل تیم منتظرشان میماند، و یک ناپایداری یک اجرای دوباره هم رویش میگذارد. با صورتحساب دقیقهای هر کدام از این دقیقهها حساب میشود:
| دقیقه در ماه (4 vCPU) | GitHub | Skipbox S | صرفهجویی ماهانه شما |
|---|---|---|---|
| 10,000 | $۱۰۲ | $۳۹ | $۶۳ |
| 20,000 | $۲۲۲ | $۳۹ | $۱۸۳ |
| 30,000 | $۳۴۲ | $۳۹ | $۳۰۳ |
با 8 vCPU، 20,000 دقیقه روی GitHub $۴۲۲ است و روی Skipbox M $۷۹. ارقام GitHub پس از مصرف شاملشده در GitHub Team است. دقیقههای خودتان را در ماشینحساب صفحه اصلی وارد کنید.
ماشین را به مجموعه تست بدهید
هر طرح با ماشین اختصاصی حساب شما میآید که بین جابها میماند، با قیمت ثابت:
| لیبل | ماشین | طرح |
|---|---|---|
skipbox | ۴ vCPU · ۱۶ GB | S، ماهانه $۳۹ |
skipbox-8x16 | ۸ vCPU · ۱۶ GB | M، ماهانه $۷۹ |
skipbox-16x32 | ۱۶ vCPU · ۳۲ GB | L، ماهانه $۱۴۹ |
- CPU و حافظه برای کل stack.
skipbox-8x16هستهها و حافظهای را دارد که Cypress برای اپ نمونهاش نام میبرد، و هستههای بیشتر، پس مرورگر، اپ و پایگاه دادهاش دیگر با هم رقابت نمیکنند. با 8 vCPU، پیشفرض Playwright 4 worker است. - مرورگرها و پکیجها میمانند. مرورگرهای Playwright در
~/.cache/ms-playwright، فایل اجرایی Cypress در~/.cache/Cypress، کش npm و ایمیجهای Docker سرویسهایتان وقتی جاب بعدی شروع میشود روی دیسک هستند. - دقیقههای نامحدود. retryها، اجراهای دوباره و shardها صورتحساب را تغییر نمیدهند. vCPU طرحهای شما تعیین میکند چند shard همزمان اجرا شوند؛ shardهای بیشتر از آن منتظر نوبتشان میمانند.
انتقال یک خط است
jobs:
e2e:
runs-on: skipbox-8x16 # was ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: actions/setup-node@v6
with:
node-version: lts/*
- run: npm ci
- run: npx playwright install --with-deps
- run: npx playwright test
skipbox-8x16 روی طرح M اجرا میشود؛ دوره آزمایشی runs-on: skipbox را اجرا میکند (۴ vCPU، ۱۶ GB).
- با GitHub وارد Skipbox شوید.
- اپ Skipbox در GitHub را نصب کنید و مخزنها را انتخاب کنید.
runs-onرا تغییر دهید و push کنید.
امنیت
- ماشین فقط مال حساب شماست. جاب هیچ شرکت دیگری روی آن اجرا نمیشود.
- بعد از هر جاب، اعتبارنامههای رانر، پروسهها و کانتینرها پاک میشوند. مرورگرها و کشها میمانند. گزینه «ماشین تازه برای هر جاب» بهجای آن به هر جاب یک ماشین تازه میدهد.
- کد افرادی که دسترسی نوشتن ندارند (مثل pull requestها از forkها) روی یک ماشین مجازی تازه اجرا میشود که کشهای شما را میخواند ولی نمیتواند تغییرشان دهد.
جزئیات در جداسازی جابها است.
روی مجموعه تست ناپایدار امتحانش کنید
دوره آزمایشی به مدت ۷ روز یا ۳٬۰۰۰ دقیقه جاب رایگان است، هر کدام زودتر برسد، بدون کارت. جاب E2E را به runs-on: skipbox ببرید، چند بار اجرایش کنید و ناپایداریها و زمان گامها را با GitHub مقایسه کنید.
پرسشهای متداول
چرا تستهای Cypress من در GitHub Actions ناپایدارند ولی روی لپتاپ موفق میشوند؟
اغلب چون رانر از لپتاپ شما کوچکتر است. ubuntu-latest یک مخزن خصوصی 2 CPU و 8 GB دارد، و Cypress، مرورگرش، سرور اپ شما و پایگاه دادهاش همه روی آن اجرا میشوند. وقتی با هم رقابت میکنند، صفحهها دیر رندر میشوند، یک دستور از timeout پیشفرض 4 ثانیهایاش میگذرد یا مرورگر از کار میافتد. راهنمای کارایی خود Cypress میگوید کمبود منابع به شکل خطاهای ناپایدار، کند یا ظاهراً تصادفی دیده میشود، و اپ نمونهاش روی 4 vCPU و 16 GB راحت اجرا میشود. با DEBUG=cypress:server:util:process_profiler تأییدش کنید، انتظارهای ثابت را درست کنید و بعد به جاب CPU و حافظه بیشتر بدهید.
ممکن است CPU یا حافظه رانر دلیل ناپایداری تستهای Playwright در CI باشد؟
بله. هر worker در Playwright مرورگر خودش را میگرداند، و پیشفرض نصف هستههای ماشین است. مستندات CI در Playwright برای پایداری یک worker را در CI توصیه میکند، چون آن وقت هر تست کل ماشین را دارد. اگر تستها با --workers=1 موفقاند و با بیشتر ناپایدار، محدودیت از ماشین است: روی 2 CPU یک worker نگه دارید، یا به ماشینی با هسته و حافظه بیشتر بروید و آنجا workerها را بالا ببرید.
چطور رانر کممنبع را از تست ناپایدار تشخیص دهم؟
در یک اجرای ناموفق ماشین را زیر نظر بگیرید. Cypress با DEBUG=cypress:server:util:process_profiler هر 10 ثانیه CPU و حافظه را چاپ میکند؛ برای Playwright، free -h و top را در یک گام پسزمینه اجرا کنید، یا با --workers=1 دوباره اجرا کنید. رانر کممنبع CPU نزدیک 100٪ یا حافظه نزدیک سقف نشان میدهد، و خطاهایی که بین تستها جابهجا میشوند و در ادامه اجرا بدتر میشوند. تست ناپایدار روی ماشین سریع هم در همان جا شکست میخورد.
shard کردن تستهای E2E ناپایداری یا هزینه را حل میکند؟
هیچکدام را بهتنهایی. shard کردن به هر بخش از مجموعه تست ماشین خودش را میدهد، که وقتی محدودیت از ماشین بود کمک میکند، ولی هر shard پکیجها را نصب میکند، مرورگرها را دانلود میکند و اپ شما را دوباره راه میاندازد، و صورتحساب دقیقهای همه shardها را میشمارد. حالت موازی Cypress هم به ثبت در Cypress Cloud نیاز دارد. روی Skipbox مرورگرها و پکیجها روی ماشین شما میمانند و دقیقهها نامحدودند، پس shardها و retryها هزینه اضافهای ندارند.
تستهای E2E از چه اندازه رانری استفاده کنند؟
از چیزهایی شروع کنید که تستها کنارشان اجرا میشوند: مرورگر، سرور اپ و سرویسهایش. اپ نمونه Cypress روی 4 vCPU و 16 GB راحت اجرا میشود. روی Skipbox، runs-on: skipbox-8x16 ۸ vCPU و ۱۶ GB با ماهانه $۷۹ میدهد، و skipbox-16x32 ۱۶ vCPU و ۳۲ GB.
میتوانم رایگان امتحانش کنم؟
بله. دوره آزمایشی ۷ روز یا ۳٬۰۰۰ دقیقه جاب است، هر کدام زودتر برسد، بدون کارت، روی ۴ vCPU و ۱۶ GB. جاب E2E را به runs-on: skipbox ببرید، چند بار اجرایش کنید و خطاها و زمان گامها را با GitHub مقایسه کنید.
بهروزرسانی: ۲۵ آبان ۱۴۰۵