23 ثانیه کجا رفت: راهاندازی ماشین مجازی یک جاب GitHub Actions در 7 ثانیه
یک ماشین مجازی تازه برای یک جاب GitHub Actions روی یک میزبان Skipbox 22.9 ثانیه طول میکشید تا از «میزبان جاب را پذیرفت» به «پروسه رانر شروع میشود» برسد. حالا 7.25 ثانیه طول میکشد. این نوشته درباره این است که آن 15 ثانیه دیگر کجا بود و هر کدام چطور اندازهگیری شد.
Skipbox یک رانر GitHub Actions با قیمت ثابت ماهانه $۳۹ و دقیقههای نامحدود است. جابهای شما روی ماشین اختصاصی حسابتان اجرا میشوند که بین جابها نگه داشته میشود، و جابهایی که ماشین مجازی تازه لازم دارند آن را در 7 ثانیه میگیرند. برای انتقال یک خط runs-on را تغییر دهید.
چه چیزی زمانسنجی شده، و روی چه
یک میزبان Skipbox ماشینهای مجازی KVM را از طریق Incus روی یک pool ZFS اجرا میکند. ایمیج رانر یک ماشین مجازی متوقف با یک snapshot است. جابی که ماشین مجازی تازه لازم دارد یک clone ZFS از آن snapshot میگیرد، بوتش میکند، پیکربندی رانر just-in-time را از طریق guest agent دریافت میکند، یک جاب اجرا میکند و همراه با دیسکش حذف میشود.
daemon میزبان پایان هر گام یک راهاندازی را به میلیثانیه از لحظه پذیرفتن جاب در لاگ مینویسد (startMs: cloned، started، agent). اعداد زیر از یک میزبان Intel i7-7820X با 16 رشته و یک ماشین مجازی با 4 vCPU و 8 GB هستند.
| از پذیرش تا شروع رانر، هر کدام 3 اجرا | |
|---|---|
| قبل | 22.9 ثانیه (21.7 تا 24.2) |
| بعد | 7.25 ثانیه (7.1 تا 8.1) |
کجا رفت، هر تکه جداگانه اندازهگیری شده:
| تغییر | اندازهگیریشده | صرفهجویی |
|---|---|---|
| SeaBIOS بهجای OVMF | از شروع ماشین مجازی تا اولین پاسخ agent، میانه 3: 13.7 ← 8.4 ثانیه | 5.3 ثانیه |
quiet در خط فرمان کرنل | 8.4 ← 6.5 ثانیه | 1.9 ثانیه |
| بدون initrd | 6.5 ← 5.1 ثانیه | 1.4 ثانیه |
| ایمیجی که از قبل هماندازه cloneهایش است | clone 1.5 ← 0.1 ثانیه، اولین شروع 2.35 ← 1.8 ثانیه | 1.9 ثانیه |
| انتظار برای socket Docker، نه dockerd | dockerd 3.6 ثانیه بعد از agent بالا بود | 3.6 ثانیه |
| پرسیدن از guest agent هر 100 میلیثانیه، نه هر ثانیه | بهطور میانگین 0.5 ثانیه، تا 1 ثانیه | 0.5 ثانیه |
این تکهها روی هم 14.6 ثانیه از 15.65 ثانیه تفاوت سرتاسری را میسازند.
firmware: 5.3 ثانیه پیش از GRUB
Incus بهطور پیشفرض ماشین مجازی را با OVMF و secure boot بوت میکند. روی این میزبان OVMF 5.3 ثانیه طول کشید تا کار را به GRUB بسپارد. SeaBIOS 0.5 ثانیه طول میکشد. دو کلید instance آن را عوض میکنند: security.csm=true و security.secureboot=false.
این بزرگترین تکه بود، و تنها تکهای که به امنیت مربوط میشود، پس اینجا کامل آمده است. با SeaBIOS امضای زنجیره بوت مهمان بررسی نمیشود. چیزی که آن بررسی از آن محافظت میکند این است که کسی bootloader یا کرنل مهمان را جایگزین کند. در ماشین مجازی یک جاب CI آن کس خود جاب است، و جاب از قبل در ماشین مجازی خودش root دارد: میتواند هر چیزی را با sudo اجرا کند، و ماشین مجازی و دیسکش وقتی جاب تمام شود حذف میشوند. آنچه ماشین مجازی یک مشتری را از مشتری دیگر دور نگه میدارد KVM و یک زنجیره فایروال جداگانه برای هر ماشین مجازی روی bridge میزبان است، و هیچکدام به firmware مهمان وابسته نیست. ایمیج با هر دو بوت میشود، و یک flag روی میزبان UEFI را برمیگرداند.
کرنل بیصدا، و بدون initrd
ماشین مجازی یک جاب برای هر جاب یک بار بوت میشود، و هیچ کس کنسول serial آن را نمیخواند. quiet میانه را از 8.4 به 6.5 ثانیه رساند.
initrd برای بارگذاری درایورهایی است که filesystem ریشه را پیدا میکنند. کرنل generic در Ubuntu virtio-scsi و ext4 را داخل خودش دارد، و همه cloneها UUID پارتیشن ایمیج را شریکاند، پس کرنل / را مستقیم از root=PARTUUID=… مونت میکند. این 1.4 ثانیه دیگر بود.
دو محافظ جلوی خراب شدن بیصدای آن را میگیرند. GRUB در Ubuntu اگر بوتی بدون initrd به panic بخورد، دفعه بعد خودش با initrd بوت میکند (GRUB_FORCE_PARTUUID). آن بازگشت بیصدا 1.4 ثانیه را به هر جاب برمیگرداند، پس بیلد ایمیج یک clone آزمایشی را بوت میکند و اگر dmesg باز شدن یک initramfs را نشان دهد شکست میخورد.
دیسکی را که میتوانستید در اندازه درست بسازید resize نکنید
ایمیج روی یک دیسک کوچکتر ساخته شده بود، و هر clone در شروع به اندازه طرحش بزرگ میشد. بزرگ کردن برای هر جاب 1.9 ثانیه هزینه داشت: clone بهجای 0.1 ثانیه 1.5 ثانیه طول کشید، و اولین شروع بهجای 1.8 ثانیه 2.35 ثانیه. حالا ایمیج در اندازه دیسک کوچکترین طرح (۸۰ GB) ساخته میشود. volume از نوع thin است، پس ایمیج هنوز فقط چیزی را نگه میدارد که رویش نوشته شده. Incus نمیتواند یک clone را کوچک کند، پس ایمیج هرگز از کوچکترین طرح بزرگتر نیست؛ طرحهای بزرگتر در بوت بزرگ میشوند.
socket Docker کافی است
اسکریپت اجرا قبلاً پیش از شروع رانر منتظر docker.service میماند. dockerd 3.6 ثانیه بعد از guest agent بالا بود. ولی systemd از اوایل بوت روی socket Docker گوش میدهد، و کلاینتی که پیش از بالا آمدن dockerd وصل شود منتظرش میماند. پس اسکریپت فقط منتظر docker.socket و DNS میماند، با یک انتظار محدود، و dockerd همزمان با رانر راهاندازیاش را تمام میکند.
پرسیدن هر 100 میلیثانیه
پیکربندی رانر از طریق guest agent به داخل ماشین مجازی فرستاده میشود، که تا وقتی مهمان بوت نشده آنجا نیست. میزبان هر ثانیه یک بار دوباره تلاش میکرد، پس جاب بعد از بالا آمدن agent بهطور میانگین 0.5 ثانیه منتظر میماند. Incus وقتی agent پایین است یک push را در 20 میلیثانیه رد میکند، پس پرسیدن هر 100 میلیثانیه هزینهای ندارد. بعد از 30 ثانیه اول یک ماشین مجازی، میزبان به یک بار در ثانیه برمیگردد.
راه حل بوت نیست: fsync روی دیسکی که با جاب میمیرد
هنگام اندازهگیری معلوم شد کندترین چیز در ماشین مجازی بوت نیست. هر fsync در مهمان منتظر میماند تا ZFS میزبان intent log خود را commit کند. دیسک ماشین مجازی تازه یک جاب همراه با جاب حذف میشود، پس چیزی روی آن لازم نیست از قطع برق جان سالم به در ببرد. اسکریپت اجرا پیش از شروع رانر / را با nobarrier دوباره مونت میکند.
میانه 3، در یک ماشین مجازی با 4 vCPU و 8 GB:
| قبل | بعد | |
|---|---|---|
| نوشتنهای تصادفی 4k با fsync | 227 در ثانیه | 2,505 در ثانیه |
yarn install، 1 GB node_modules از کش آن | 12.92 ثانیه | 9.99 ثانیه (23٪ کمتر) |
docker pull node:22 | 19.12 ثانیه | 15.45 ثانیه (19٪ کمتر) |
| بیلد Docker برای redis | 92.89 ثانیه | 87.21 ثانیه |
make -j4، sysbench cpu | بدون تغییر | بدون تغییر |
فقط ماشینهای مجازی تازه این را میگیرند. ماشین اختصاصی شما کشهایتان را بین جابها نگه میدارد، و ext4 آن barrierهایش را نگه میدارد.
همین جستجو روی سرورهای ابری اجارهای
وقتی میزبانهای خود Skipbox پرند، جاب روی یک سرور ابری اجرا میشود که از یک ایمیج snapshot بوت شده. آن مسیر زمان ازدسترفته خودش را داشت، در جای دیگری. روی یک سرور اشتراکی Intel با 4 vCPU، اسکریپت جاب (user data سرور) 28.1 ثانیه بعد از کرنل شروع میشد. cloud-init اسکریپت را در 19.3 ثانیه داشت و Docker در 22.2 ثانیه بالا بود، ولی cloud-init user data را در آخرین مرحلهاش اجرا میکند، بعد از همه چیز.
حالا ایمیج یک unit کوچک systemd دارد که user data را به محض اینکه cloud-init آن را نوشت اجرا میکند. اسکریپت را از طریق یک file descriptor از فایلی میخواند که از قبل حذفش کرده، پس آخرین مرحله cloud-init چیزی برای اجرای دوباره پیدا نمیکند. ایمیج همچنین بهجای سه نوع کلید میزبان SSH یک نوع میسازد (2.0 ثانیه روی مسیری که همه چیز منتظرش است؛ هیچ کس وارد این سرورها نمیشود)، و دیگر snapd، apport، rsyslog یا دهها timer نگهداری را در بوت راه نمیاندازد.
با آن ایمیج، روی یک سرور اشتراکی AMD با 4 vCPU، اسکریپت جاب 8 تا 14 ثانیه بعد از کرنل شروع میشود.
vCPUهای pinشده ساعت هر میزبان را درست نگه میدارند
روی یک CPU هیبریدی (هستههای performance و efficiency، مثل Core Ultra 7 265F)، KVM ممکن است دیگر به TSC اعتماد نکند. در شبی پر از بیلد ایمیج، کرنل این را در لاگ نوشت:
tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm
KVM وقتی یک vCPU به CPU دیگری از میزبان منتقل میشود TSC را مقایسه میکند. روی هسته جدید، بین انواع هسته، مقدار کمتری خواند و TSC را ناپایدار علامت زد. کرنل از قبل HPET را در بوت غیرفعال کرده بود ("HPET dysfunctional in PC10")، پس تنها منبع ساعت باقیمانده acpi_pm بود، که روی این برد بهزحمت جلو میرفت: حدود 1 ثانیه uptime در 30 دقیقه.
Skipbox آن را در دو گام درست میکند:
- پشتیبانی که کار میکند. محدود کردن C-state پکیج به C8 در BIOS، HPET را زنده نگه میدارد. KVM باز هم TSC را کنار گذاشت، در دور 11 از یک حلقه 20 دوره که یک ماشین مجازی 8 vCPU را زیر بار راهاندازی و متوقف میکند، ولی ساعت به HPET رفت و زمان را درست نگه داشت.
- ثابت کردن. KVM آن بررسی را فقط وقتی اجرا میکند که یک vCPU جابهجا شود. با ثابت کردن هر vCPU روی یک CPU میزبان، همان حلقه 40 دور روی TSC اجرا شد، بدون هیچ خط تازهای در لاگ.
daemon میزبان هیچ جابی نمیگیرد مگر منبع ساعت tsc باشد و hpet در دسترس باشد، پس میزبانی که TSC خود را از دست بدهد خودش را خالی میکند و جابهایش به ماشینهای دیگر میروند. همه میزبانهای Skipbox vCPUهایشان را ثابت میکنند.
سریعترین بوت همانی است که رد میکنید
هفت ثانیه برای جابهایی است که ماشین مجازی تازه لازم دارند: کد افرادی که دسترسی نوشتن ندارند (مثل pull requestها از forkها)، جابی که وقتی ماشین شما مشغول است میرسد، و حسابهایی که برای هر جاب یک ماشین مجازی تمیز انتخاب میکنند. هر جاب دیگر چیزی بوت نمیکند. روی ماشین اختصاصی حساب شما اجرا میشود، با لایههای Docker، کش پکیجها و ابزارهای جاب قبلی که هنوز روی دیسکش هستند.
دقیقهها همانجاست. همان ورکفلوها روی ubuntu-latest در GitHub (2 vCPU، چیزی که یک مخزن خصوصی میگیرد) و روی یک Skipbox S گرم (4 vCPU)، میانه اجراهای گرم:
ubuntu-latest در GitHub | Skipbox S، گرم | ||
|---|---|---|---|
| excalidraw: نصب، بیلد و تستها | 613 ثانیه | 450 ثانیه | 27٪ کمتر |
| گامهای آمادهسازی (checkout، Node، بازگردانی کش) | 52 ثانیه | 7 ثانیه | |
| تستها | 484 ثانیه | 354 ثانیه | |
| umami: بیلد Docker چندمرحلهای | 263 ثانیه | 188 ثانیه | 29٪ کمتر |
گامهای آمادهسازی از 52 ثانیه به 7 ثانیه میرسند چون هیچ آرشیو کشی برای دانلود و باز کردن نیست: Node از قبل در کش ابزارهاست و کش yarn روی دیسک است. بیلد Docker از کش لایه خود daemon استفاده میکند، بدون هیچ export یا import. روی Skipbox ورکفلو اصلاً گام کش ندارد.
چرا قیمت ثابت میتواند یک ماشین را گرم نگه دارد
ماشین بیکار مثل هدر رفتن به نظر میرسد. با شیوهای که محاسبات حساب میشوند، انتخاب ارزانتر است، و همین است که قیمت ثابت را ممکن میکند.
سرور ابری اجارهای برای هر ساعتی که شروع میشود کامل حساب میشود. یک جاب 3 دقیقهای روی سرور خودش پول 60 دقیقه را میدهد. در یک روز از CI خودمان، 44 جاب با میانگین 2.5 دقیقه روی 44 سرور اجرا شدند و 44 سرور-ساعت حساب شدند. بازپخش همان روز با نگه داشتن هر سرور برای جاب بعدی همان حساب در همان ساعت 13 تا 14 سرور-ساعت میشود: حدود 70٪ کمتر. و یک ماه 730 ساعت دارد: حسابی که ماهانه بیش از 730 جاب کوتاه روی سرورهای جداگانه برای هر جاب اجرا کند، پول ساعتهای بیشتری از ماشینی که هرگز متوقف نمیشود میدهد.
پس ماشینی که برای شما سریعترین است (کشها روی دیسک، چیزی برای بوت نیست) همان ماشینی است که اجرایش کمترین هزینه را دارد. میزبانهایی که مال خود Skipbox هستند اول میآیند چون اصلاً صورتحساب ساعتی ندارند، و سرورهای اجارهای سرریز را میگیرند. برای همین Skipbox پول ماشین را میگیرد، نه دقیقه را:
| دقیقه در ماه (4 vCPU) | GitHub | Skipbox S | صرفهجویی هر ماه شما |
|---|---|---|---|
| 10,000 | $۱۰۲ | $۳۹ | $۶۳ |
| 20,000 | $۲۲۲ | $۳۹ | $۱۸۳ |
| 30,000 | $۳۴۲ | $۳۹ | $۳۰۳ |
| همیشه روشن | $۵۰۰٫۴۰ | $۳۹ | $۴۶۱٫۴۰ |
با استفاده کامل یعنی 1/۱۲ قیمت GitHub. ارقام GitHub صورتحساب پس از مصرف شاملشده GitHub Team است. دقیقههای خودتان را در ماشینحساب صفحه اصلی وارد کنید؛ ورود لازم ندارد.
انتقال یک خط است
jobs:
build:
runs-on: skipbox # was ubuntu-latest
- با GitHub وارد Skipbox شوید.
- اپ Skipbox در GitHub را نصب کنید و مخزنها را انتخاب کنید.
runs-onرا تغییر دهید و push کنید.
امتحانش کنید
دوره آزمایشی کارت نمیخواهد: ۷ روز یا ۳٬۰۰۰ دقیقه جاب، هر کدام زودتر برسد. کندترین ورکفلوی خود را به runs-on: skipbox بفرستید، دو بار اجرایش کنید و زمان گامهای اجرای دوم را مقایسه کنید.
پرسشهای متداول
یک ماشین مجازی تازه برای جاب GitHub Actions روی Skipbox چقدر طول میکشد تا راه بیفتد؟
روی میزبانهای خود Skipbox، 7.25 ثانیه از پذیرفتن جاب توسط میزبان تا شروع پروسه رانر، که از 22.9 ثانیه پایین آمده است. بیشتر جابها چیزی بوت نمیکنند: روی ماشین اختصاصی حساب شما اجرا میشوند که بین جابها نگه داشته میشود.
بوت کردن ماشینهای مجازی جاب CI با SeaBIOS بهجای UEFI secure boot امن است؟
برای ماشین مجازی یک جاب، بله. secure boot از جایگزین شدن زنجیره بوت مهمان محافظت میکند، و یک جاب CI از قبل در ماشین مجازی خودش root دارد، که بعد از جاب حذف میشود. روی Skipbox، ماشینهای مجازی با KVM و یک فایروال جداگانه برای هر ماشین مجازی روی میزبان از هم جدا نگه داشته میشوند، و هیچکدام به firmware مهمان وابسته نیست.
چرا fsync در یک ماشین مجازی روی ZFS کند است، و چطور برای CI درستش کنیم؟
هر fsync در مهمان منتظر میماند تا ZFS میزبان intent log خود را commit کند. دیسک ماشین مجازی تازه یک جاب همراه با جاب حذف میشود، پس Skipbox ext4 آن را بدون barrier مونت میکند: yarn install 23٪ و docker pull 19٪ سریعتر است. ماشینی که بین جابها نگه داشته میشود barrierهایش را نگه میدارد.
چرا KVM روی یک CPU هیبریدی TSC را ناپایدار علامت میزند؟
KVM وقتی یک vCPU به CPU دیگری از میزبان منتقل میشود TSC را مقایسه میکند، و بین هستههای performance و efficiency ممکن است مقدار کمتری بخواند. ثابت کردن هر vCPU روی یک CPU میزبان جلوی اجرای این بررسی را میگیرد: آن وقت حلقه شروع و توقف Skipbox برای 40 دور TSC را نگه داشت.
چطور جابهایم را روی Skipbox اجرا کنم؟
در یک ورکفلو runs-on را به skipbox تغییر دهید. دوره آزمایشی کارت نمیخواهد: ۷ روز یا ۳٬۰۰۰ دقیقه جاب، هر کدام زودتر برسد.
بهروزرسانی: ۲۵ آبان ۱۴۰۵