볼케이노 1.16 공개, 네임스페이스 큐 추가
쿠버네티스 배치 스케줄러인 볼케이노(Volcano)가 1.16 버전을 내놓았습니다. CNCF 인큐베이팅 단계 프로젝트로, 10월 28일 CNCF 블로그를 통해 공식 발표됐습니다. AI 학습이나 HPC, 대규모 배치 작업처럼 기본 쿠버네티스 스케줄러로는 다루기 까다로운 워크로드를 위해 쓰는 도구라고 보면 됩니다. 이번 버전에서 눈에 띄는 변화는 NamespaceQueue, fairshare 플러그인, HyperNode 컨트롤러 분리입니다.
NamespaceQueue는 테넌트가 자기 네임스페이스 안에서 계층형 큐를 직접 구성할 수 있게 해줍니다. 관리자가 허용한 리소스 풀 범위 안에서 할당량과 큐 계층을 나눠 쓰는 방식이라, 기존 Queue에서 쓰던 capability, deserved, guarantee, reclaimable 같은 거버넌스 개념을 네임스페이스 단위로 그대로 적용할 수 있습니다. 그동안 클러스터 관리자가 중앙에서 큐를 다 잡아줘야 했던 작업이 팀 단위로 내려갑니다.
fairshare 플러그인은 슬럼(Slurm)에서 가져온 개념으로, 같은 큐를 공유하는 네임스페이스들 사이의 장기 공정성을 따집니다. 네임스페이스별 누적 리소스-초(resource-seconds)를 추적하되 기본 반감기 4시간의 지수 감소를 적용합니다. 최근에 자원을 많이 쓴 팀은 우선순위가 내려가고, 한동안 양보했던 팀이 다시 올라오는 구조라 특정 팀이 큐를 오래 독점하는 상황이 줄어듭니다.
그 외 변경도 운영에 바로 와닿는 쪽입니다. 다음은 주요 항목입니다.
- PodGroup 토폴로지 안티-어피니티로 워크로드 인스턴스를 HyperNode 도메인 전역에 분산해 장애 도메인 공유를 줄입니다.
- HyperNode 컨트롤러를 독립 배포할 수 있게 분리해, 다른 스케줄러도 볼케이노 전체를 돌리지 않고 토폴로지 발견과 슈퍼노드 관리를 재사용할 수 있습니다.
- Unschedulable Job Cache를 도입해 대기 작업이 많이 쌓였을 때 반복 검사를 줄이고 이벤트 기반으로 재시도합니다.
- 쿠버네티스 1.36 지원과 NUMA 리소스 회계 정확도 개선이 들어갔습니다.
이번 릴리스에는 65명이 기여했습니다. 볼케이노로 GPU 학습 잡이나 배치 파이프라인을 돌리는 팀이라면 멀티 테넌트 환경에서 큐 관리와 공정성 설정을 다시 손볼 여지가 생겼으니, 업그레이드 전 fairshare와 NamespaceQueue 설정 변화를 먼저 확인해 보면 됩니다.
로그인 후 답글을 남길 수 있습니다.