Къде отидоха 23 секунди: стартиране на VM за задача в GitHub Actions за 7
Нова виртуална машина за една задача в GitHub Actions отнемаше 22,9 секунди на хост на Skipbox, за да стигне от „хостът прие задачата“ до „процесът на рънъра стартира“. Сега отнема 7,25 секунди. Тази публикация е за това къде бяха другите 15 секунди и как беше измерена всяка от тях.
Skipbox е рънър за GitHub Actions на фиксирани $39 на месец с неограничени минути. Задачите ви се изпълняват на отделната машина на профила ви, която се пази между задачите, а задачите, на които им трябва нова VM, я получават за 7 секунди. Сменете един ред runs-on, за да преминете.
Какво се измерва и на какво
Хостът на Skipbox изпълнява KVM виртуални машини чрез Incus върху ZFS пул. Образът на рънъра е спряна VM със снимка. Задача, на която ѝ трябва нова VM, получава ZFS клонинг на тази снимка, стартира го, получава конфигурация на рънъра just-in-time чрез агента в госта, изпълнява една задача и се изтрива заедно с диска си.
Демонът на хоста записва края на всяка стъпка от стартирането в милисекунди от момента, в който приема задачата (startMs: cloned, started, agent). Цифрите по-долу са от хост с 16-нишков Intel i7-7820X и VM с 4 vCPU и 8 GB.
| От приемането до стартирането на рънъра, по 3 изпълнения | |
|---|---|
| Преди | 22,9 s (от 21,7 до 24,2) |
| След | 7,25 s (от 7,1 до 8,1) |
Къде отидоха, всяка част измерена поотделно:
| Промяна | Измерено | Спестено |
|---|---|---|
| SeaBIOS вместо OVMF | От стартирането на VM до първия отговор на агента, медиана от 3: 13,7 → 8,4 s | 5,3 s |
quiet в командния ред на ядрото | 8,4 → 6,5 s | 1,9 s |
| Без initrd | 6,5 → 5,1 s | 1,4 s |
| Образ, който вече е с размера на клонингите си | Клонинг 1,5 → 0,1 s, първо стартиране 2,35 → 1,8 s | 1,9 s |
| Чакане на сокета на Docker, не на dockerd | dockerd беше готов 3,6 s след агента | 3,6 s |
| Питане на агента в госта на всеки 100 ms, не на всяка секунда | Средно 0,5 s, до 1 s | 0,5 s |
Частите дават 14,6 s от общата разлика от 15,65 s.
Фърмуер: 5,3 секунди преди GRUB
Incus стартира VM с OVMF и secure boot по подразбиране. На този хост OVMF отнемаше 5,3 s, преди да предаде на GRUB. SeaBIOS отнема 0,5 s. Два ключа на инстанцията го превключват: security.csm=true и security.secureboot=false.
Това беше най-голямата отделна част и единствената, която засяга сигурността, затова ето я изцяло. Със SeaBIOS веригата за стартиране на госта не се проверява по подпис. Тази проверка пази от някой, който подменя bootloader-а или ядрото на госта. Във VM за CI задача този някой е самата задача, а задачата вече има root в собствената си VM: тя може да изпълни всичко със sudo, а VM и дискът ѝ се изтриват, когато задачата приключи. Това, което държи VM на един клиент далеч от тази на друг, е KVM и отделна верига на защитната стена за всяка VM на моста на хоста, и нито едното не зависи от фърмуера на госта. Образът стартира и при двата варианта, а един флаг на хоста връща UEFI.
Тихо ядро и без initrd
VM за задача стартира веднъж за всяка задача и никой не чете серийната ѝ конзола. quiet свали медианата от 8,4 на 6,5 s.
initrd съществува, за да зареди драйверите, които намират главната файлова система. Общото ядро на Ubuntu има вградени virtio-scsi и ext4, а всеки клонинг споделя UUID на дяла на образа, така че ядрото монтира / директно от root=PARTUUID=…. Това бяха още 1,4 s.
Две защити не позволяват това да се обърка незабелязано. GRUB на Ubuntu сам стартира следващия път с initrd, ако стартиране без него е завършило с panic (GRUB_FORCE_PARTUUID). Този резервен вариант тихо би върнал 1,4-те s към всяка задача, затова изграждането на образа стартира тестов клонинг и се проваля, ако dmesg покаже разархивиране на initramfs.
Не преоразмерявайте диск, който сте могли да изградите в правилния размер
Образът беше изграден на по-малък диск, а всеки клонинг се разширяваше до размера на плана си при стартиране. Разширяването струваше 1,9 s на задача: клонирането отнемаше 1,5 s вместо 0,1 s, а първото стартиране – 2,35 s вместо 1,8 s. Сега образът се изгражда в размера на диска на най-малкия план (80 GB). Томът е thin, така че образът пак съдържа само записаното в него. Incus не може да смали клонинг, затова образът никога не е по-голям от най-малкия план; по-големите планове се разширяват при стартиране.
Сокетът на Docker е достатъчен
Скриптът за стартиране чакаше docker.service, преди да стартира рънъра. dockerd беше готов 3,6 s след агента в госта. Но systemd слуша на сокета на Docker от ранния етап на стартирането, а клиент, който се свърже преди dockerd да е готов, го изчаква. Затова скриптът чака само docker.socket и DNS, с ограничено чакане, а dockerd довършва стартирането си, докато стартира рънърът.
Питане на 100 ms
Конфигурацията на рънъра се изпраща във VM чрез агента в госта, който го няма, докато гостът не стартира. Хостът опитваше отново веднъж в секунда, така че задачата чакаше средно 0,5 s, след като агентът се появи. Incus отказва изпращане за 20 ms, докато агентът не работи, така че питането на всеки 100 ms не струва нищо. След първите 30 s на VM хостът се връща към веднъж в секунда.
Не е поправка на стартирането: fsync на диск, който умира със задачата
Докато мерехме, се оказа, че най-бавното нещо във VM не е стартирането. Всеки fsync в госта чакаше ZFS на хоста да запише своя intent log. Дискът на нова VM за задача се изтрива заедно със задачата, така че нищо на него не трябва да оцелее при спиране на тока. Скриптът за стартиране монтира отново / с nobarrier, преди да стартира рънъра.
Медиани от 3, във VM с 4 vCPU и 8 GB:
| Преди | След | |
|---|---|---|
| 4k произволни записи с fsync | 227 в секунда | 2505 в секунда |
yarn install, 1 GB node_modules от кеша му | 12,92 s | 9,99 s (с 23% по-малко) |
docker pull node:22 | 19,12 s | 15,45 s (с 19% по-малко) |
| Docker компилация на redis | 92,89 s | 87,21 s |
make -j4, sysbench cpu | без промяна | без промяна |
Това важи само за новите VM. Отделната ви машина пази кешовете ви между задачите, а ext4 на нея запазва бариерите си.
Същото търсене на наети облачни сървъри
Когато собствените хостове на Skipbox са пълни, задачата се изпълнява на облачен сървър, стартиран от образ-снимка. Този път имаше собствено изгубено време, на друго място. На споделен Intel сървър с 4 vCPU скриптът на задачата (user data на сървъра) стартираше 28,1 s след ядрото. cloud-init имаше скрипта в 19,3 s, а Docker беше готов в 22,2 s, но cloud-init изпълнява user data в последния си етап, след всичко останало.
Сега образът има малък systemd unit, който изпълнява user data веднага щом cloud-init я е записал. Той чете скрипта през файлов дескриптор от файл, който вече е изтрил, така че последният етап на cloud-init не намира нищо за изпълнение втори път. Образът също така създава един вид SSH ключ на хоста вместо три (2,0 s по пътя, който всичко чака; никой не влиза в тези сървъри) и вече не стартира snapd, apport, rsyslog и дузина таймери за поддръжка при стартиране.
С този образ, на споделен AMD сървър с 4 vCPU, скриптът на задачата стартира от 8 до 14 s след ядрото.
Закрепените vCPU държат часовника на всеки хост точен
На хибриден процесор (ядра за производителност и ядра за ефективност, като Core Ultra 7 265F) KVM може да спре да вярва на TSC. По време на нощ с изграждане на образи ядрото записа:
tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm
KVM сравнява TSC, когато vCPU се премести на друг процесор на хоста. Той прочете по-ниска стойност на новото ядро, между различните видове ядра, и маркира TSC като нестабилен. Ядрото вече беше изключило HPET при стартиране („HPET dysfunctional in PC10“), така че единственият останал източник на време беше acpi_pm, който на тази платка едва напредваше: около 1 секунда uptime за 30 минути.
Skipbox го поправя на две стъпки:
- Работещ резервен вариант. Ограничаването на C-state на пакета до C8 в BIOS държи HPET жив. KVM пак свали TSC, в кръг 11 от цикъл от 20 кръга, който стартира и спира VM с 8 vCPU под натоварване, но часовникът премина на HPET и продължи да мери времето.
- Закрепване. KVM изпълнява тази проверка само когато vCPU се премести. С всеки vCPU, закрепен към един процесор на хоста, същият цикъл мина 40 кръга на TSC без нов ред в лога.
Демонът на хоста не приема задачи, освен ако източникът на време не е tsc и hpet е наличен, така че хост, който изгуби TSC, се изпразва сам, а задачите му отиват на други машини. Всеки хост на Skipbox закрепва своите vCPU.
Най-бързото стартиране е това, което прескачате
Седемте секунди са за задачите, на които им трябва нова VM: код от хора без права за запис (например pull request-и от форкове), задача, която пристига, докато машината ви е заета, и профили, които избират чиста VM за всяка задача. Всяка друга задача не стартира нищо. Тя се изпълнява на отделната машина на профила ви, с Docker слоевете, кешовете на пакетите и инструментите от последната задача, които още са на диска ѝ.
Там са минутите. Същите работни потоци на ubuntu-latest на GitHub (2 vCPU, каквото получава частно хранилище) и на затоплен Skipbox S (4 vCPU), медиани на затоплени изпълнения:
GitHub ubuntu-latest | Skipbox S, затоплен | ||
|---|---|---|---|
| excalidraw: инсталиране, компилация и тестове | 613 s | 450 s | с 27% по-малко |
| Стъпки за настройка (checkout, Node, възстановяване на кеша) | 52 s | 7 s | |
| Тестове | 484 s | 354 s | |
| umami: многоетапна Docker компилация | 263 s | 188 s | с 29% по-малко |
Стъпките за настройка падат от 52 s на 7 s, защото няма архив на кеша за изтегляне и разархивиране: Node вече е в кеша на инструменти, а кешът на yarn е на диска. Docker компилацията използва собствения кеш на слоевете на демона, без нищо изнесено или внесено. В Skipbox работният поток изобщо няма стъпка за кеша.
Защо фиксираната цена може да държи машина затоплена
Неактивната машина изглежда като разхищение. При начина, по който се таксуват изчислителните ресурси, тя е по-евтиният избор, и именно това прави фиксираната цена възможна.
Нает облачен сървър се таксува за всеки час, в който стартира, изцяло. Задача от 3 минути на собствен сървър плаща 60 минути. В един ден от собствения ни CI 44 задачи със средно 2,5 минути се изпълниха на 44 сървъра и бяха таксувани 44 сървърни часа. Повторението на същия ден, при което всеки сървър се пази за следващата задача на профила в рамките на своя час, дава от 13 до 14 сървърни часа: около 70% по-малко. А месецът има 730 часа: профил, който изпълнява повече от 730 кратки задачи на месец на сървъри за всяка задача, плаща повече часове от машина, която никога не спира.
Така машината, която е най-бърза за вас (кешове на диска, нищо за стартиране), е и тази, която струва най-малко за поддържане. Хостовете, които Skipbox притежава, са първи, защото изобщо нямат почасова сметка, а наетите сървъри поемат излишъка. Затова Skipbox таксува машината, не минутата:
| Минути на месец (4 vCPU) | GitHub | Skipbox S | Спестявате всеки месец |
|---|---|---|---|
| 10 000 | $102 | $39 | $63 |
| 20 000 | $222 | $39 | $183 |
| 30 000 | $342 | $39 | $303 |
| Постоянно включен | $500,40 | $39 | $461,40 |
При пълно използване това е 1/12 от цената на GitHub. Цифрите за GitHub са сметката след включения в GitHub Team изчислителен ресурс. Въведете собствените си минути в калкулатора на началната страница; не изисква вход.
Преминаването е един ред
jobs:
build:
runs-on: skipbox # was ubuntu-latest
- Влезте в Skipbox с GitHub.
- Инсталирайте приложението Skipbox в GitHub и изберете хранилищата.
- Сменете
runs-onи направете push.
Изпробвайте го
Пробният период не изисква карта: 7 дни или 3000 минути на задачи, което настъпи първо. Насочете най-бавния си работен поток към runs-on: skipbox, пуснете го два пъти и сравнете времената на стъпките при второто изпълнение.
Често задавани въпроси
Колко време отнема стартирането на нова VM за задача в GitHub Actions в Skipbox?
На собствените хостове на Skipbox – 7,25 секунди от приемането на задачата от хоста до стартирането на процеса на рънъра, при 22,9 секунди преди. Повечето задачи не стартират нищо: те се изпълняват на отделната машина на профила ви, която се пази между задачите.
Безопасно ли е VM за CI задачи да стартират със SeaBIOS вместо с UEFI secure boot?
Да, за VM на задача. Secure boot пази веригата за стартиране на госта от подмяна, а CI задачата вече има root в собствената си VM, която се изтрива след задачата. В Skipbox VM се държат отделно чрез KVM и защитна стена за всяка VM на хоста, и нито едното не зависи от фърмуера на госта.
Защо fsync е бавен във VM върху ZFS и как да се поправи за CI?
Всеки fsync в госта чака ZFS на хоста да запише своя intent log. Дискът на нова VM за задача се изтрива заедно със задачата, така че Skipbox монтира ext4 без бариери: yarn install е с 23% по-бърз, а docker pull – с 19%. Машина, която се пази между задачите, запазва бариерите си.
Защо KVM маркира TSC като нестабилен на хибриден процесор?
KVM сравнява TSC, когато vCPU се премести на друг процесор на хоста, а между ядрата за производителност и тези за ефективност може да прочете по-ниска стойност. Закрепването на всеки vCPU към един процесор на хоста спира изпълнението на проверката: цикълът на Skipbox за стартиране и спиране тогава задържа TSC за 40 кръга.
Как да изпълнявам задачите си в Skipbox?
Сменете runs-on на skipbox в работен поток. Пробният период не изисква карта: 7 дни или 3000 минути на задачи, което настъпи първо.
Обновено на 19 ноември 2026 г.