Skipbox

Куда ушли 23 секунды: запуск ВМ для задания GitHub Actions за 7

Новой виртуальной машине для одного задания GitHub Actions требовалось 22,9 секунды на хосте Skipbox, чтобы пройти путь от «хост принял задание» до «процесс раннера запущен». Теперь — 7,25 секунды. Этот пост о том, где были остальные 15 секунд и как измеряли каждую из них.

Skipbox — раннер GitHub Actions за фиксированные $39 в месяц без лимита минут. Ваши задания выполняются на выделенной машине вашего аккаунта, которая сохраняется между заданиями, а задания, которым нужна новая ВМ, получают её за 7 секунд. Чтобы перейти, поменяйте одну строку runs-on.

Что измеряется и на чём

Хост Skipbox запускает виртуальные машины KVM через Incus на пуле ZFS. Образ раннера — это остановленная ВМ со снимком. Задание, которому нужна новая ВМ, получает ZFS-клон этого снимка, загружает его, получает just-in-time конфигурацию раннера через гостевой агент, выполняет одно задание и удаляется вместе со своим диском.

Демон хоста записывает конец каждого шага запуска в миллисекундах от момента, когда он принял задание (startMs: cloned, started, agent). Цифры ниже — с хоста на 16 потоков Intel i7-7820X и ВМ на 4 vCPU и 8 ГБ.

Куда ушло время, каждая часть измерена отдельно:

Части дают в сумме 14,6 с из 15,65 с общей разницы.

Прошивка: 5,3 секунды до GRUB

Incus по умолчанию загружает ВМ с OVMF и secure boot. На этом хосте OVMF тратил 5,3 с, прежде чем передать управление GRUB. SeaBIOS тратит 0,5 с. Переключают его два ключа инстанса: security.csm=true и security.secureboot=false.

Это была самая большая отдельная часть и единственная, которая касается безопасности, поэтому вот она целиком. С SeaBIOS подпись цепочки загрузки гостевой системы не проверяется. Эта проверка защищает от того, что кто-то подменит загрузчик или ядро гостевой системы. В ВМ задания CI этот «кто-то» — само задание, а у задания и так есть root в своей ВМ: оно может выполнить через sudo что угодно, а ВМ и её диск удаляются, когда задание заканчивается. Одного клиента от другого отделяют KVM и отдельная цепочка файрвола для каждой ВМ на мосту хоста, и ни то ни другое не зависит от прошивки гостевой системы. Образ загружается с обеими, а один флаг на хосте возвращает UEFI.

Тихое ядро и никакого initrd

ВМ задания загружается один раз на каждое задание, и её последовательную консоль никто не читает. quiet снизил медиану с 8,4 до 6,5 с.

Initrd нужен, чтобы загрузить драйверы, которые находят корневую файловую систему. В generic-ядре Ubuntu virtio-scsi и ext4 встроены, а каждый клон делит UUID раздела с образом, поэтому ядро монтирует / напрямую из root=PARTUUID=…. Это ещё 1,4 с.

Две защиты не дают этому тихо сломаться. GRUB в Ubuntu сам загрузится в следующий раз с initrd, если загрузка без него упала в panic (GRUB_FORCE_PARTUUID). Такой откат тихо вернул бы 1,4 с каждому заданию, поэтому сборка образа загружает тестовый клон и падает, если dmesg показывает распаковку initramfs.

Не увеличивайте диск, который можно было сразу собрать нужного размера

Образ собирался на меньшем диске, и каждый клон при старте увеличивался до размера своего тарифа. Увеличение стоило 1,9 с на задание: клон занимал 1,5 с вместо 0,1 с, а первый старт — 2,35 с вместо 1,8 с. Теперь образ собирается с размером диска самого маленького тарифа (80 ГБ). Том тонкий, поэтому образ по-прежнему хранит только то, что в него записано. Incus не умеет уменьшать клон, поэтому образ никогда не больше самого маленького тарифа; тарифы побольше увеличиваются при загрузке.

Сокета Docker достаточно

Скрипт запуска раньше ждал docker.service, прежде чем запустить раннер. dockerd поднимался через 3,6 с после гостевого агента. Но systemd слушает сокет Docker с ранней загрузки, и клиент, который подключается до того, как поднялся dockerd, просто его ждёт. Поэтому скрипт ждёт только docker.socket и DNS, с ограниченным ожиданием, а dockerd заканчивает запуск, пока стартует раннер.

Опрос раз в 100 мс

Конфигурация раннера передаётся в ВМ через гостевой агент, которого нет, пока гостевая система не загрузилась. Хост повторял попытку раз в секунду, поэтому задание в среднем ждало 0,5 с после появления агента. Пока агента нет, Incus отклоняет передачу за 20 мс, поэтому опрос каждые 100 мс ничего не стоит. После первых 30 с жизни ВМ хост возвращается к опросу раз в секунду.

Не исправление загрузки: fsync на диске, который умирает вместе с заданием

Во время измерений самым медленным в ВМ оказалась вовсе не загрузка. Каждый fsync в гостевой системе ждал, пока ZFS хоста зафиксирует свой intent log. Диск новой ВМ задания удаляется вместе с заданием, поэтому ничему на нём не нужно переживать отключение питания. Скрипт запуска перемонтирует / с nobarrier, прежде чем запустить раннер.

Медианы из 3, в ВМ на 4 vCPU и 8 ГБ:

Это получают только новые ВМ. Ваша выделенная машина хранит ваши кэши между заданиями, и её ext4 сохраняет барьеры.

Та же охота на арендованных облачных серверах

Когда собственные хосты Skipbox заняты, задание выполняется на облачном сервере, загруженном из образа-снимка. У этого пути было своё потерянное время, в другом месте. На общем сервере Intel на 4 vCPU скрипт задания (user data сервера) стартовал через 28,1 с после ядра. У cloud-init скрипт был на 19,3 с, а Docker поднимался на 22,2 с, но cloud-init выполняет user data на своей последней стадии, после всего остального.

Теперь в образе есть маленький unit systemd, который запускает user data, как только cloud-init её записал. Он читает скрипт через файловый дескриптор из файла, который уже удалил, поэтому последняя стадия cloud-init не находит, что выполнить второй раз. Образ также создаёт один вид SSH-ключей хоста вместо трёх (2,0 с на пути, которого ждёт всё остальное; на эти серверы никто не входит) и больше не запускает при загрузке snapd, apport, rsyslog и десяток таймеров обслуживания.

С этим образом на общем сервере AMD на 4 vCPU скрипт задания стартует через 8–14 с после ядра.

Привязанные vCPU держат часы каждого хоста точными

На гибридном CPU (производительные и энергоэффективные ядра, как у Core Ultra 7 265F) KVM может перестать доверять TSC. За ночь сборок образов ядро записало:

tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm

KVM сравнивает TSC, когда vCPU переходит на другой CPU хоста. На новом ядре, другого типа, он прочитал меньшее значение и пометил TSC нестабильным. Ядро уже отключило HPET при загрузке («HPET dysfunctional in PC10»), поэтому единственным оставшимся источником времени был acpi_pm, который на этой плате почти не шёл: около 1 секунды uptime за 30 минут.

Skipbox решает это в два шага:

  1. Запасной вариант, который работает. Ограничение package C-state до C8 в BIOS сохраняет HPET живым. KVM всё равно сбросил TSC — в 11-м раунде из 20 в цикле, который запускает и останавливает ВМ на 8 vCPU под нагрузкой, — но часы перешли на HPET и продолжили идти верно.
  2. Привязка. KVM выполняет эту проверку, только когда vCPU переходит на другой CPU. Когда каждый vCPU привязан к одному CPU хоста, тот же цикл прошёл 40 раундов на TSC без единой новой строки в журнале.

Демон хоста не берёт задания, если источник времени не tsc и hpet недоступен, поэтому хост, потерявший TSC, сам себя разгружает, а его задания уходят на другие машины. Каждый хост Skipbox привязывает свои vCPU.

Самая быстрая загрузка — та, которую вы пропускаете

Семь секунд — для заданий, которым нужна новая ВМ: код от людей без прав на запись (например, pull request из форков), задание, пришедшее, пока ваша машина занята, и аккаунты, которые выбрали чистую ВМ для каждого задания. Все остальные задания ничего не загружают. Они выполняются на выделенной машине вашего аккаунта, где на диске всё ещё лежат слои Docker, кэши пакетов и инструменты прошлого задания.

Вот где минуты. Те же workflow на ubuntu-latest GitHub (2 vCPU — то, что получает приватный репозиторий) и на «тёплом» Skipbox S (4 vCPU), медианы «тёплых» запусков:

Шаги подготовки сокращаются с 52 с до 7 с, потому что нет архива кэша, который нужно скачать и распаковать: Node уже в кэше инструментов, а кэш yarn — на диске. Сборка Docker использует собственный кэш слоёв демона, ничего не экспортируя и не импортируя. В Skipbox у workflow вообще нет шага кэширования.

Почему фиксированная цена может держать машину «тёплой»

Простаивающая машина выглядит как расточительство. При том, как оплачиваются вычисления, это более дешёвый выбор, и именно поэтому работает фиксированная цена.

Арендованный облачный сервер оплачивается за каждый начатый час целиком. 3-минутное задание на собственном сервере платит за 60 минут. За один день нашего собственного CI 44 задания в среднем по 2,5 минуты выполнились на 44 серверах и были оплачены как 44 серверо-часа. Повтор того же дня, где каждый сервер сохраняется для следующего задания аккаунта в пределах своего часа, даёт 13–14 серверо-часов: примерно на 70% меньше. А в месяце 730 часов: аккаунт, который выполняет больше 730 коротких заданий в месяц на серверах «по одному на задание», платит за больше часов, чем машина, которая никогда не останавливается.

Поэтому машина, которая быстрее всего для вас (кэши на диске, ничего не нужно загружать), ещё и дешевле всего в работе. Хосты, которыми владеет Skipbox, идут первыми, потому что у них вообще нет почасового счёта, а арендованные серверы берут на себя избыток. Вот почему Skipbox берёт плату за машину, а не за минуту:

При полной загрузке это 1/12 цены GitHub. Суммы GitHub — это счёт после вычета вычислений, включённых в GitHub Team. Подставьте свои минуты в калькулятор на главной странице; вход не нужен.

Переход — это одна строка

jobs:
  build:
    runs-on: skipbox # was ubuntu-latest
  1. Войдите в Skipbox через GitHub.
  2. Установите GitHub App Skipbox и выберите репозитории.
  3. Измените runs-on и сделайте push.

Попробуйте

Для пробного периода карта не нужна: 7 дней или 3 000 мин работы заданий — что закончится раньше. Направьте самый медленный workflow на runs-on: skipbox, запустите его дважды и сравните время шагов второго запуска.

Вопросы и ответы

Сколько запускается новая ВМ для задания GitHub Actions в Skipbox?

На собственных хостах Skipbox — 7,25 секунды от момента, когда хост принял задание, до запуска процесса раннера, против прежних 22,9 секунды. Большинству заданий вообще ничего не нужно загружать: они выполняются на выделенной машине вашего аккаунта, которая сохраняется между заданиями.

Безопасно ли загружать ВМ для заданий CI с SeaBIOS вместо UEFI secure boot?

Для ВМ задания — да. Secure boot защищает цепочку загрузки гостевой системы от подмены, а у задания CI и так есть root в своей ВМ, которая удаляется после задания. В Skipbox ВМ отделены друг от друга KVM и отдельным файрволом для каждой ВМ на хосте, и ни то ни другое не зависит от прошивки гостевой системы.

Почему fsync медленный в ВМ на ZFS и как это исправить для CI?

Каждый fsync в гостевой системе ждёт, пока ZFS хоста зафиксирует свой intent log. Диск новой ВМ задания удаляется вместе с заданием, поэтому Skipbox монтирует её ext4 без барьеров: yarn install на 23% быстрее, docker pull на 19% быстрее. Машина, которая сохраняется между заданиями, свои барьеры оставляет.

Почему KVM помечает TSC нестабильным на гибридном CPU?

KVM сравнивает TSC, когда vCPU переходит на другой CPU хоста, и между производительными и энергоэффективными ядрами может прочитать меньшее значение. Привязка каждого vCPU к одному CPU хоста не даёт этой проверке запуститься: цикл запуска и остановки в Skipbox после этого удерживал TSC 40 раундов.

Как запускать мои задания в Skipbox?

Поменяйте runs-on на skipbox в workflow. Для пробного периода карта не нужна: 7 дней или 3 000 мин работы заданий, что закончится раньше.

Обновлено 19 ноября 2026 г.

Более быстрый CI/CD с всегда «тёплым» кэшем

Ваш «тёплый» раннер по фиксированной цене

Хостинг наш. Вы меняете одну строку. 1/12 стоимости GitHub при полной загрузке. Цена фиксированная — гоняйте CI хоть весь день. В 7× больше места под кэш, чем у GitHub.

  • Без карты
  • Вход через GitHub
  • Отмена в любой момент