23초는 어디로 갔나: GitHub Actions 작업 VM을 7초 만에 띄우기
GitHub Actions 작업 하나를 위한 새 가상 머신이 Skipbox 호스트에서 "호스트가 작업을 받음"부터 "실행기 프로세스가 시작됨"까지 22.9초가 걸렸어요. 이제는 7.25초예요. 이 글은 나머지 15초가 어디에 있었는지, 그리고 하나하나를 어떻게 쟀는지 적었어요.
Skipbox는 월 $39 정액, 실행 시간 무제한의 GitHub Actions 실행기예요. 작업은 작업 사이에도 유지되는 내 계정 전용 머신에서 돌고, 새 VM이 필요한 작업은 7초 만에 그것을 받아요. runs-on 한 줄만 바꾸면 옮겨져요.
무엇을, 어디에서 쟀나요
Skipbox 호스트는 ZFS 풀 위에서 Incus로 KVM 가상 머신을 돌려요. 실행기 이미지는 스냅숏을 가진 멈춘 VM이에요. 새 VM이 필요한 작업은 그 스냅숏의 ZFS 클론을 받아 부팅하고, 게스트 에이전트를 통해 JIT 실행기 설정을 받고, 작업 하나를 돌린 뒤, 디스크와 함께 지워져요.
호스트 데몬은 시작의 각 단계가 끝난 시각을, 작업을 받은 순간부터의 밀리초로 기록해요(startMs: cloned, started, agent). 아래 숫자는 16스레드 Intel i7-7820X 호스트와 4 vCPU, 8 GB의 VM에서 나왔어요.
| 작업 수락부터 실행기 시작까지, 각 3회 | |
|---|---|
| 전 | 22.9초(21.7~24.2) |
| 후 | 7.25초(7.1~8.1) |
어디로 갔는지, 하나씩 따로 쟀어요.
| 변경 | 측정 | 줄어든 시간 |
|---|---|---|
| OVMF 대신 SeaBIOS | VM 시작부터 에이전트의 첫 응답까지, 3회 중앙값: 13.7 → 8.4초 | 5.3초 |
커널 명령줄의 quiet | 8.4 → 6.5초 | 1.9초 |
| initrd 없음 | 6.5 → 5.1초 | 1.4초 |
| 클론과 같은 크기로 이미 만들어 둔 이미지 | 클론 1.5 → 0.1초, 첫 시작 2.35 → 1.8초 | 1.9초 |
| dockerd가 아니라 Docker 소켓을 기다리기 | dockerd는 에이전트보다 3.6초 늦게 떴어요 | 3.6초 |
| 게스트 에이전트에 1초가 아니라 100 ms마다 묻기 | 평균 0.5초, 최대 1초 | 0.5초 |
이것들을 더하면 처음부터 끝까지의 차이 15.65초 중 14.6초예요.
펌웨어: GRUB 전의 5.3초
Incus는 기본으로 OVMF와 보안 부팅으로 VM을 부팅해요. 이 호스트에서 OVMF는 GRUB에 넘기기까지 5.3초가 걸렸어요. SeaBIOS는 0.5초예요. 인스턴스 키 두 개로 바꿔요: security.csm=true와 security.secureboot=false.
가장 큰 한 조각이었고, 보안에 닿는 유일한 것이라 전부 적어요. SeaBIOS에서는 게스트의 부팅 체인이 서명 검사를 받지 않아요. 그 검사가 막는 건 누군가 게스트의 부트로더나 커널을 바꾸는 일이에요. CI 작업 VM에서 그 누군가는 작업 자신이고, 작업은 이미 자기 VM에서 root를 가지고 있어요. 무엇이든 sudo할 수 있고, VM과 그 디스크는 작업이 끝나면 지워져요. 한 고객의 VM을 다른 고객의 것과 떼어 놓는 건 KVM과 호스트 브리지의 VM별 방화벽 체인이고, 둘 다 게스트의 펌웨어에 의존하지 않아요. 이미지는 둘 다에서 부팅되고, 호스트의 플래그 하나로 UEFI를 되돌려요.
조용한 커널, 그리고 initrd 없이
작업 VM은 작업마다 한 번 부팅하고, 아무도 그 시리얼 콘솔을 읽지 않아요. quiet가 중앙값을 8.4초에서 6.5초로 줄였어요.
initrd는 루트 파일 시스템을 찾는 드라이버를 불러오려고 있어요. Ubuntu의 generic 커널에는 virtio-scsi와 ext4가 들어 있고, 모든 클론이 이미지의 파티션 UUID를 공유하므로, 커널이 root=PARTUUID=…에서 /를 바로 마운트해요. 그게 1.4초 더였어요.
조용히 잘못되지 않도록 지키는 장치가 둘 있어요. Ubuntu의 GRUB는 initrd 없는 부팅이 패닉하면 다음번에는 스스로 initrd와 함께 부팅해요(GRUB_FORCE_PARTUUID). 그 대비책은 모든 작업에 1.4초를 조용히 되돌려 놓을 테니, 이미지 빌드가 테스트 클론을 부팅해 보고 dmesg에 initramfs를 푸는 흔적이 있으면 실패해요.
처음부터 맞는 크기로 만들 수 있는 디스크는 키우지 마세요
이미지는 더 작은 디스크로 빌드됐고, 클론마다 시작할 때 요금제 크기로 키웠어요. 키우는 데 작업마다 1.9초가 들었어요. 클론이 0.1초 대신 1.5초, 첫 시작이 1.8초 대신 2.35초였어요. 이제 이미지는 가장 작은 요금제의 디스크 크기(80 GB)로 빌드돼요. 볼륨은 씬 볼륨이라, 이미지는 여전히 쓴 것만 담아요. Incus는 클론을 줄일 수 없으므로 이미지는 가장 작은 요금제보다 커지지 않고, 더 큰 요금제는 부팅할 때 키워요.
Docker 소켓이면 충분해요
실행 스크립트는 실행기를 시작하기 전에 docker.service를 기다렸어요. dockerd는 게스트 에이전트보다 3.6초 늦게 떴어요. 하지만 systemd는 부팅 초기부터 Docker의 소켓에서 대기하고, dockerd가 뜨기 전에 연결한 클라이언트는 그것을 기다려요. 그래서 스크립트는 제한 시간을 두고 docker.socket과 DNS만 기다리고, dockerd는 실행기가 시작하는 동안 마저 떠요.
100 ms 폴링
실행기의 설정은 게스트 에이전트를 통해 VM에 넣는데, 에이전트는 게스트가 부팅을 마쳐야 생겨요. 호스트는 1초마다 재시도했으므로, 에이전트가 뜬 뒤 작업이 평균 0.5초를 기다렸어요. 에이전트가 없는 동안 Incus는 20 ms 만에 넣기를 거부하므로, 100 ms마다 물어도 비용이 없어요. VM의 처음 30초가 지나면 호스트는 다시 1초마다로 돌아가요.
부팅 수정은 아니지만: 작업과 함께 사라지는 디스크의 fsync
재는 동안, VM에서 가장 느린 건 부팅이 아니었어요. 게스트의 fsync마다 호스트의 ZFS가 인텐트 로그를 커밋하기를 기다렸어요. 새 작업 VM의 디스크는 작업과 함께 지워지므로, 그 위의 어떤 것도 정전을 견딜 필요가 없어요. 실행 스크립트는 실행기를 시작하기 전에 /를 nobarrier로 다시 마운트해요.
4 vCPU, 8 GB의 VM에서 3회 중앙값:
| 전 | 후 | |
|---|---|---|
| fsync를 동반한 4k 무작위 쓰기 | 초당 227회 | 초당 2,505회 |
yarn install, 캐시에서 1 GB의 node_modules | 12.92초 | 9.99초(23% 감소) |
docker pull node:22 | 19.12초 | 15.45초(19% 감소) |
| redis의 Docker 빌드 | 92.89초 | 87.21초 |
make -j4, sysbench cpu | 변화 없음 | 변화 없음 |
이건 새 VM에만 해당해요. 내 전용 머신은 작업 사이에 캐시를 간직하고, 그 ext4는 배리어를 그대로 둬요.
빌린 클라우드 서버에서 같은 추적
Skipbox 자체 호스트가 가득 차면, 작업은 스냅숏 이미지에서 부팅한 클라우드 서버에서 돌아요. 그 경로에는 다른 곳에 따로 잃어버린 시간이 있었어요. 4 vCPU Intel 공유 서버에서 작업 스크립트(서버의 사용자 데이터)는 커널보다 28.1초 늦게 시작했어요. cloud-init은 19.3초에 스크립트를 받았고 Docker는 22.2초에 떴지만, cloud-init은 사용자 데이터를 마지막 단계, 다른 모든 것 뒤에 돌려요.
이제 이미지에는 cloud-init이 사용자 데이터를 써 두자마자 그것을 돌리는 작은 systemd 유닛이 있어요. 이미 지운 파일에서 파일 디스크립터로 스크립트를 읽으므로, cloud-init의 마지막 단계는 두 번 돌릴 것을 찾지 못해요. 이미지는 SSH 호스트 키도 세 종류가 아니라 한 종류만 만들고(모두가 기다리는 경로에서 2.0초. 이 서버들에는 아무도 로그인하지 않아요), 부팅할 때 snapd, apport, rsyslog, 십여 개의 유지 보수 타이머를 더는 시작하지 않아요.
그 이미지로, 4 vCPU AMD 공유 서버에서 작업 스크립트는 커널보다 8~14초 늦게 시작해요.
vCPU 고정으로 모든 호스트의 시계를 정확하게
성능 코어와 효율 코어가 섞인 하이브리드 CPU(Core Ultra 7 265F 등)에서는 KVM이 TSC를 믿지 않게 될 수 있어요. 밤새 이미지를 빌드하는 동안 커널이 이렇게 기록했어요.
tsc: Marking TSC unstable due to KVM discovered backwards TSC
clocksource: Switched to clocksource acpi_pm
KVM은 vCPU가 다른 호스트 CPU로 옮겨 갈 때 TSC를 비교해요. 코어 종류를 넘나들며 새 코어에서 더 낮은 값을 읽었고, TSC를 불안정하다고 표시했어요. 커널은 이미 부팅할 때 HPET를 꺼 두었으므로("HPET dysfunctional in PC10"), 남은 클록 소스는 acpi_pm뿐이었는데, 이 보드에서는 거의 움직이지 않았어요. 30분 동안 가동 시간이 약 1초.
Skipbox는 두 단계로 해결해요.
- 작동하는 대비책. BIOS에서 패키지 C-state를 C8로 제한하면 HPET가 살아 있어요. 부하 아래에서 8 vCPU VM을 시작하고 멈추는 20회 반복의 11회째에서 KVM은 여전히 TSC를 버렸지만, 시계는 HPET로 옮겨 가 시간을 지켰어요.
- 고정. KVM은 vCPU가 옮겨 갈 때만 그 검사를 돌려요. vCPU마다 호스트 CPU 하나에 고정하자, 같은 반복이 로그에 새 줄 없이 TSC로 40회를 돌았어요.
호스트 데몬은 클록 소스가 tsc이고 hpet을 쓸 수 있을 때만 작업을 받으므로, TSC를 버린 호스트는 스스로 비워지고 그 작업은 다른 머신으로 가요. 모든 Skipbox 호스트는 vCPU를 고정해요.
가장 빠른 부팅은 건너뛰는 부팅이에요
7초는 새 VM이 필요한 작업을 위한 거예요. 쓰기 권한이 없는 사람의 코드(포크에서 온 풀 리퀘스트 등), 내 머신이 바쁠 때 온 작업, 작업마다 깨끗한 VM을 고른 계정이에요. 그 밖의 작업은 아무것도 부팅하지 않아요. 지난 작업의 Docker 레이어, 패키지 캐시, 도구가 디스크에 그대로 있는 내 계정 전용 머신에서 돌아요.
실행 시간은 거기에 있어요. 같은 워크플로를 GitHub의 ubuntu-latest(2 vCPU, 프라이빗 리포지토리가 받는 것)와 데워진 Skipbox S(4 vCPU)에서 돌린, 데워진 실행의 중앙값이에요.
GitHub ubuntu-latest | Skipbox S, 데워진 상태 | ||
|---|---|---|---|
| excalidraw: 설치, 빌드, 테스트 | 613초 | 450초 | 27% 감소 |
| 준비 단계(체크아웃, Node, 캐시 복원) | 52초 | 7초 | |
| 테스트 | 484초 | 354초 | |
| umami: 멀티 스테이지 Docker 빌드 | 263초 | 188초 | 29% 감소 |
준비 단계가 52초에서 7초로 떨어지는 건 내려받아 풀 캐시 아카이브가 없어서예요. Node는 이미 도구 캐시에 있고 yarn의 캐시는 디스크에 있어요. Docker 빌드는 데몬 자체의 레이어 캐시를 쓰고, 내보내거나 불러오는 건 없어요. Skipbox에서 워크플로에는 캐시 단계가 아예 없어요.
정액이 머신을 데워 둘 수 있는 이유
놀고 있는 머신은 낭비처럼 보여요. 컴퓨팅이 청구되는 방식에서는 그쪽이 더 싼 선택이고, 그래서 정액이 성립해요.
빌린 클라우드 서버는 시작한 시간마다 한 시간 전체가 청구돼요. 자기 서버에서 도는 3분짜리 작업은 60분을 내요. 우리 CI의 어느 하루, 평균 2.5분짜리 작업 44개가 서버 44대에서 돌았고 서버 44시간이 청구됐어요. 같은 날을, 서버마다 그 시간 안에 계정의 다음 작업을 위해 남겨 두는 식으로 다시 돌리면 서버 13~14시간이에요. 약 70% 적어요. 그리고 한 달은 730시간이에요. 작업마다 서버를 쓰며 한 달에 짧은 작업을 730개 넘게 돌리는 계정은, 멈추지 않는 머신보다 많은 시간을 내요.
그래서 나에게 가장 빠른 머신(디스크에 캐시, 부팅할 것 없음)이 운영하기에도 가장 싼 머신이에요. Skipbox가 가진 호스트는 시간당 청구가 아예 없어서 먼저 쓰이고, 빌린 서버는 넘치는 몫을 받아요. 그래서 Skipbox는 분이 아니라 머신에 요금을 매겨요.
| 월 실행 시간(4 vCPU) | GitHub | Skipbox S | 매달 아끼는 금액 |
|---|---|---|---|
| 10,000분 | $102 | $39 | $63 |
| 20,000분 | $222 | $39 | $183 |
| 30,000분 | $342 | $39 | $303 |
| 늘 켜 둘 때 | $500.40 | $39 | $461.40 |
꽉 채워 쓰면 GitHub 가격의 12분의 1이에요. GitHub 쪽 금액은 GitHub Team에 포함된 컴퓨팅을 뺀 청구액이에요. 내 실행 시간은 홈 페이지의 계산기에 넣어 보세요. 로그인은 필요 없어요.
옮기는 건 한 줄이에요
jobs:
build:
runs-on: skipbox # was ubuntu-latest
- GitHub로 Skipbox에 로그인하세요.
- Skipbox GitHub App을 설치하고 리포지토리를 고르세요.
runs-on을 바꾸고 푸시하세요.
체험해 보세요
무료 체험은 카드가 필요 없어요. 7일 또는 작업 시간 3,000분 중 먼저 끝나는 쪽까지예요. 가장 느린 워크플로를 runs-on: skipbox로 향하게 하고, 두 번 돌린 뒤, 두 번째 실행의 단계별 시간을 비교해 보세요.
자주 묻는 질문
Skipbox에서 GitHub Actions 작업을 위한 새 VM은 시작하는 데 얼마나 걸리나요?
Skipbox 자체 호스트에서, 호스트가 작업을 받은 때부터 실행기 프로세스가 시작될 때까지 7.25초예요. 예전에는 22.9초였어요. 대부분의 작업은 아무것도 부팅하지 않아요. 작업 사이에도 유지되는 내 계정 전용 머신에서 돌아요.
CI 작업 VM을 UEFI 보안 부팅 대신 SeaBIOS로 부팅해도 안전한가요?
작업 VM이라면 안전해요. 보안 부팅은 게스트의 부팅 체인이 바뀌는 것을 막는데, CI 작업은 이미 자기 VM에서 root를 가지고 있고, 그 VM은 작업이 끝나면 지워져요. Skipbox에서 VM끼리는 KVM과 호스트의 VM별 방화벽으로 떼어 놓고, 둘 다 게스트의 펌웨어에 의존하지 않아요.
ZFS 위의 VM에서 fsync는 왜 느리고, CI에서는 어떻게 고치나요?
게스트의 fsync마다 호스트의 ZFS가 인텐트 로그를 커밋하기를 기다려요. 새 작업 VM의 디스크는 작업과 함께 지워지므로, Skipbox는 그 ext4를 배리어 없이 마운트해요. yarn install이 23%, docker pull이 19% 빨라졌어요. 작업 사이에 유지되는 머신은 배리어를 그대로 둬요.
하이브리드 CPU에서 KVM은 왜 TSC를 불안정하다고 표시하나요?
KVM은 vCPU가 다른 호스트 CPU로 옮겨 갈 때 TSC를 비교하는데, 성능 코어와 효율 코어 사이에서는 더 낮은 값을 읽을 수 있어요. vCPU마다 호스트 CPU 하나에 고정하면 그 검사가 돌지 않아요. 그러자 Skipbox의 시작과 정지 반복에서 TSC가 40회를 버텼어요.
Skipbox에서 작업을 돌리려면 어떻게 하나요?
워크플로에서 runs-on을 skipbox 레이블로 바꾸세요. 무료 체험은 카드가 필요 없어요. 7일 또는 작업 시간 3,000분 중 먼저 끝나는 쪽까지예요.
2026년 11월 16일 업데이트