[뉴스] 구글 클라우드, 분산 ML 런타임 패스웨이 정식 출시

1. 개요. 구글 클라우드가 11월 10일 Cloud Pathways(Pathways on Cloud)를 GKE에서 정식 출시(GA)했습니다. 구글 딥마인드가 제미나이 같은 자사 프런티어 모델을 학습하고 서빙하려고 만든 분산 ML 런타임인데, 그동안 내부에서만 쓰던 물건을 외부 고객도 GKE 위에서 그대로 돌릴 수 있게 열어둔 겁니다. 발표에 따르면 지난 90일간 GKE에서 1억 3천만 TPU 칩아워 넘게 이걸로 처리했다고 합니다.

2. 뭐가 달라지나. 기존 TPU 대규모 학습은 멀티 컨트롤러 SPMD 방식이라, 슬라이스마다 돌아가는 프로세스를 따로 조율해야 해서 프로그래밍과 운영이 번거로웠습니다. 패스웨이는 이걸 단일 컨트롤러 구조로 바꿔서, 파이썬 클라이언트 하나가 수천 개 TPU 칩을 로컬에 붙은 것처럼 다룹니다. 오픈소스 IFRT(Interim Framework Runtime)를 통해 SPMD뿐 아니라 MPMD 워크로드도 지원해서, 멀티 슬라이스 사전학습이나 분리형 추론, 여러 프로그램이 도는 RL 루프를 한 클라이언트에서 돌릴 수 있습니다.

운영 쪽에서 눈에 띄는 건 탄력적 장애 복구입니다. 호스트 메모리 스냅샷을 떠 두고 슬라이스에 장애가 나면 전체를 죽이지 않고 N-1 슬라이스로 동적 리샤딩해서 학습을 이어갑니다. 데이터 로딩이나 체크포인트 같은 파이썬 작업은 TPU 호스트에 함께 올린 사이드카에서 돌려 공유 메모리를 쓰고요. 장시간 학습 중 노드 하나 빠졌다고 잡 전체를 다시 올리던 작업이 줄어드는 셈입니다.

3. 적용 범위와 실행. 지원 대상은 Cloud TPU v5e, v5p, Trillium(v6e), Ironwood(TPU 7x)이고, 이 TPU들을 지원하는 모든 리전에서 GA입니다. Cluster Director를 통한 Slurm 클러스터는 아직 프리뷰 단계입니다. 배포는 GKE용 Cluster Toolkit(gcluster)이나 gcloud CLI로 하고, JAX는 0.10.1 이상이 필요합니다. 프레임워크 쪽은 MaxText(학습)와 Tunix(RL)가 연동되고, 클라이언트에서는 pathwaysutils로 아래처럼 프록시 모드를 잡아 TPU 풀에 붙습니다.

4. 확인할 점. 이건 TPU와 JAX 생태계 전용입니다. GPU로 PyTorch를 돌리는 팀이라면 당장 해당되는 소식은 아니고, 수십에서 수천 칩 규모로 TPU 학습을 운영하거나 검토 중인 조직이 확인할 대상으로 보입니다. 내부에서 검증된 런타임이라고는 해도 실제 리전과 TPU 세대별로 동작과 비용을 각자 워크로드로 직접 재 봐야 하는 건 그대로입니다.

🔗 https://cloud.google.com/blog/topics/ai-infrastructure/cloud-pathways-a-distributed-ml-runtime-is-ga

🔗 https://www.unite.ai/google-cloud-makes-pathways-runtime-ga-for-large-scale-tpu-workloads/