Skipbox

Куди поділися 23 секунди: запуск ВМ для завдання GitHub Actions за 7

Новій віртуальній машині для одного завдання GitHub Actions на хості Skipbox знадобилося 22,9 секунди, щоб дійти від «хост прийняв завдання» до «процес ранера стартує». Тепер це займає 7,25 секунди. Ця стаття — про те, де були інші 15 секунд і як виміряно кожну з них.

Skipbox — це ранер GitHub Actions за фіксовані $39 на місяць із хвилинами без обмежень. Ваші завдання працюють на виділеній машині вашого облікового запису, яка лишається між завданнями, а завдання, яким потрібна нова ВМ, отримують її за 7 секунд. Щоб перейти, змініть один рядок runs-on.

Що вимірюється і на чому

Хост Skipbox запускає віртуальні машини KVM через Incus на пулі ZFS. Образ ранера — це зупинена ВМ зі знімком. Завдання, якому потрібна нова ВМ, отримує ZFS-клон цього знімка, завантажує його, отримує just-in-time конфігурацію ранера через гостьового агента, виконує одне завдання і видаляється разом зі своїм диском.

Демон хоста логує кінець кожного кроку запуску в мілісекундах від моменту, коли він прийняв завдання (startMs: cloned, started, agent). Числа нижче — з хоста на 16-потоковому Intel i7-7820X і ВМ на 4 vCPU і 8 ГБ.

Куди вони пішли, кожна частина виміряна окремо:

Частини складаються в 14,6 с з 15,65 с наскрізної різниці.

Прошивка: 5,3 секунди до GRUB

Incus за замовчуванням завантажує ВМ з OVMF і secure boot. На цьому хості OVMF передавав керування GRUB за 5,3 с. SeaBIOS — за 0,5 с. Перемикають це два ключі інстансу: security.csm=true і security.secureboot=false.

Це найбільша окрема частина й єдина, що стосується безпеки, тож ось вона повністю. Із SeaBIOS підпис ланцюжка завантаження гостьової системи не перевіряється. Ця перевірка захищає від того, що хтось підмінить завантажувач чи ядро гостьової системи. У ВМ завдання CI цей «хтось» — саме завдання, а воно й так має root у власній ВМ: може виконати будь-що через sudo, а ВМ разом із диском видаляється, коли завдання закінчується. Те, що тримає ВМ одного клієнта подалі від ВМ іншого, — це KVM і окремий ланцюжок брандмауера для кожної ВМ на мосту хоста, і жодне з цього не залежить від прошивки гостьової системи. Образ завантажується під обома, а один прапорець на хості повертає UEFI.

Тихе ядро й жодного initrd

ВМ завдання завантажується раз на кожне завдання, і ніхто не читає її послідовну консоль. quiet знизив медіану з 8,4 до 6,5 с.

initrd існує, щоб завантажити драйвери, які знаходять кореневу файлову систему. Стандартне ядро Ubuntu має вбудовані virtio-scsi і ext4, а кожен клон ділить UUID розділу з образом, тож ядро монтує / напряму з root=PARTUUID=…. Це ще 1,4 с.

Два запобіжники не дають цьому тихо зламатися. GRUB в Ubuntu сам завантажує систему наступного разу з initrd, якщо завантаження без нього завершилося panic (GRUB_FORCE_PARTUUID). Такий відкат непомітно повернув би ці 1,4 с у кожне завдання, тож збирання образу завантажує тестовий клон і падає, якщо dmesg показує розпакування initramfs.

Не змінюйте розмір диска, який можна було одразу зібрати потрібного розміру

Образ збирався на меншому диску, і кожен клон збільшувався до розміру свого тарифу під час старту. Збільшення коштувало 1,9 с на завдання: клон займав 1,5 с замість 0,1 с, а перший старт — 2,35 с замість 1,8 с. Тепер образ збирається одразу з розміром диска найменшого тарифу (80 ГБ). Том тонкий, тож образ однаково містить лише те, що на нього записано. Incus не вміє зменшувати клон, тож образ ніколи не більший за найменший тариф; більші тарифи збільшуються під час завантаження.

Сокета Docker досить

Скрипт запуску раніше чекав на docker.service, перш ніж запустити ранер. dockerd піднімався через 3,6 с після гостьового агента. Але systemd слухає сокет Docker від самого початку завантаження, а клієнт, що підключається до старту dockerd, чекає на нього. Тож скрипт чекає лише на docker.socket і DNS, з обмеженим очікуванням, а dockerd завершує запуск, поки стартує ранер.

Опитування кожні 100 мс

Конфігурація ранера надсилається у ВМ через гостьового агента, якого немає, доки гостьова система не завантажилася. Хост повторював спробу раз на секунду, тож завдання в середньому чекало 0,5 с після того, як агент піднявся. Incus відхиляє надсилання за 20 мс, поки агент недоступний, тож запит кожні 100 мс нічого не коштує. Після перших 30 с ВМ хост повертається до опитування раз на секунду.

Не виправлення завантаження: fsync на диску, що зникає разом із завданням

Під час вимірювань з’ясувалося, що найповільніше у ВМ — не завантаження. Кожен fsync у гостьовій системі чекав, доки ZFS хоста зафіксує свій журнал намірів. Диск нової ВМ завдання видаляється разом із завданням, тож ніщо на ньому не мусить пережити відключення живлення. Скрипт запуску перемонтовує / з nobarrier, перш ніж запустити ранер.

Медіани з 3, у ВМ на 4 vCPU і 8 ГБ:

Це отримують лише нові ВМ. Ваша виділена машина зберігає ваші кеші між завданнями, і її ext4 зберігає свої бар’єри.

Те саме полювання на орендованих хмарних серверах

Коли власні хости Skipbox заповнені, завдання працює на хмарному сервері, завантаженому з образу-знімка. Цей шлях мав власний втрачений час, в іншому місці. На спільному сервері Intel з 4 vCPU скрипт завдання (user data сервера) стартував через 28,1 с після ядра. cloud-init мав скрипт уже на 19,3 с, а Docker піднявся на 22,2 с, але cloud-init виконує user data на своєму останньому етапі, після всього іншого.

Тепер образ має невеликий systemd-юніт, який запускає user data, щойно cloud-init його записав. Він читає скрипт через файловий дескриптор з файлу, який уже видалив, тож останній етап cloud-init не знаходить нічого, що можна було б запустити вдруге. Образ також створює один тип SSH-ключа хоста замість трьох (2,0 с на шляху, на який усе чекає; на ці сервери ніхто не входить) і більше не запускає під час завантаження snapd, apport, rsyslog і десяток таймерів обслуговування.

З цим образом на спільному сервері AMD з 4 vCPU скрипт завдання стартує через 8–14 с після ядра.

Закріплені vCPU тримають годинник кожного хоста точним

На гібридному CPU (продуктивні та енергоефективні ядра, як-от Core Ultra 7 265F) KVM може перестати довіряти TSC. Під час ночі збирань образів ядро залогувало:

tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm

KVM порівнює TSC, коли vCPU переходить на інший CPU хоста. Він прочитав менше значення на новому ядрі, між типами ядер, і позначив TSC як нестабільний. Ядро вже вимкнуло HPET під час завантаження («HPET dysfunctional in PC10»), тож єдиним джерелом часу лишився acpi_pm, який на цій платі ледве рухався: близько 1 секунди uptime за 30 хвилин.

Skipbox розв’язує це у два кроки:

  1. Запасний варіант, що працює. Обмеження C-стану пакета до C8 у BIOS зберігає HPET живим. KVM однаково скинув TSC у 11-му раунді 20-раундового циклу, що запускає й зупиняє ВМ на 8 vCPU під навантаженням, але годинник перейшов на HPET і далі тримав час.
  2. Прив’язка. KVM запускає ту перевірку, лише коли vCPU переходить між CPU. З кожним vCPU, прив’язаним до одного CPU хоста, той самий цикл пройшов 40 раундів на TSC без жодного нового рядка в лозі.

Демон хоста не бере завдань, якщо джерело часу не tsc і hpet недоступний, тож хост, що втратив свій TSC, сам звільняється від завдань, і вони йдуть на інші машини. Кожен хост Skipbox прив’язує свої vCPU.

Найшвидше завантаження — те, яке ви пропускаєте

Сім секунд — для завдань, яким потрібна нова ВМ: код від людей без права запису (наприклад, pull requests з форків), завдання, що надходить, поки ваша машина зайнята, і облікові записи, що вибрали чисту ВМ для кожного завдання. Кожне інше завдання нічого не завантажує. Воно працює на виділеній машині вашого облікового запису, де на диску досі лежать шари Docker, кеші пакетів та інструменти з попереднього завдання.

Саме там хвилини. Ті самі workflow на ubuntu-latest від GitHub (2 vCPU, те, що отримує приватний репозиторій) і на «теплому» Skipbox S (4 vCPU), медіани «теплих» запусків:

Кроки підготовки скорочуються з 52 с до 7 с, бо немає архіву кешу, який треба завантажити й розпакувати: Node уже в кеші інструментів, а кеш yarn — на диску. Збирання Docker використовує власний кеш шарів демона, нічого не експортуючи й не імпортуючи. На Skipbox у workflow взагалі немає кроку кешу.

Чому фіксована ціна може тримати машину «теплою»

Машина без діла виглядає як марнотратство. За тим, як оплачуються обчислення, це дешевший вибір, і саме завдяки цьому фіксована ціна працює.

Орендований хмарний сервер оплачується за кожну годину, яку він почав, повністю. 3-хвилинне завдання на власному сервері платить за 60 хвилин. За один день нашого власного CI 44 завдання в середньому по 2,5 хвилини працювали на 44 серверах, і рахунок склав 44 сервер-години. Якщо відтворити той самий день, зберігаючи кожен сервер для наступного завдання облікового запису в межах його години, виходить 13–14 сервер-годин: приблизно на 70% менше. А місяць має 730 годин: обліковий запис, що запускає понад 730 коротких завдань на місяць на серверах «по одному на завдання», платить за більше годин, ніж машина, яка ніколи не зупиняється.

Тож машина, найшвидша для вас (кеші на диску, нічого завантажувати), — це ще й та, яку найдешевше тримати. Хости, якими володіє Skipbox, ідуть першими, бо в них узагалі немає погодинного рахунку, а орендовані сервери беруть надлишок. Саме тому Skipbox бере плату за машину, а не за хвилину:

За повного використання це 1/12 ціни GitHub. Суми GitHub — це рахунок після включеного обсягу обчислень GitHub Team. Введіть власні хвилини в калькулятор на головній сторінці; входити не потрібно.

Перехід — це один рядок

jobs:
  build:
    runs-on: skipbox # was ubuntu-latest
  1. Увійдіть у Skipbox через GitHub.
  2. Встановіть GitHub-застосунок Skipbox і виберіть репозиторії.
  3. Змініть runs-on і зробіть push.

Спробуйте

Пробний період не потребує картки: 7 днів або 3 000 хв роботи завдань, залежно від того, що закінчиться раніше. Спрямуйте свій найповільніший workflow на runs-on: skipbox, запустіть його двічі й порівняйте час кроків другого запуску.

Запитання й відповіді

Скільки часу займає запуск нової ВМ для завдання GitHub Actions на Skipbox?

На власних хостах Skipbox — 7,25 секунди від моменту, коли хост прийняв завдання, до старту процесу ранера, замість 22,9 секунди. Більшість завдань нічого не завантажують: вони працюють на виділеній машині вашого облікового запису, яка лишається між завданнями.

Чи безпечно завантажувати ВМ для завдань CI через SeaBIOS замість UEFI secure boot?

Для ВМ завдання — так. Secure boot захищає ланцюжок завантаження гостьової системи від підміни, а завдання CI і так має root у власній ВМ, яку видаляють після завдання. На Skipbox ВМ відокремлені одна від одної KVM і окремим брандмауером для кожної ВМ на хості, і жодне з цього не залежить від прошивки гостьової системи.

Чому fsync повільний у ВМ на ZFS і як це виправити для CI?

Кожен fsync у гостьовій системі чекає, доки ZFS хоста зафіксує свій журнал намірів. Диск нової ВМ завдання видаляється разом із завданням, тож Skipbox монтує його ext4 без бар’єрів: yarn install стає на 23% швидшим, а docker pull — на 19%. Машина, що лишається між завданнями, зберігає свої бар’єри.

Чому KVM позначає TSC як нестабільний на гібридному CPU?

KVM порівнює TSC, коли vCPU переходить на інший CPU хоста, і між продуктивними та енергоефективними ядрами може прочитати менше значення. Прив’язка кожного vCPU до одного CPU хоста не дає цій перевірці запускатися: цикл запуску й зупинки в Skipbox після цього протримав TSC 40 раундів.

Як запускати мої завдання на Skipbox?

Змініть runs-on на skipbox у workflow. Пробний період не потребує картки: 7 днів або 3 000 хв роботи завдань, залежно від того, що закінчиться раніше.

Оновлено 19 листопада 2026 р.

Швидший CI/CD із завжди прогрітим кешем

Ваш прогрітий ранер за фіксовану ціну

Хостинг наш. Ви змінюєте один рядок. 1/12 вартості GitHub за повного навантаження. Ціна фіксована, тож запускайте хоч цілий день. Місця для кешу в 7× більше, ніж у GitHub.

  • Без картки
  • Вхід через GitHub
  • Скасування будь-коли