[뉴스] 구글, 8세대 TPU에 8tx와 8i Max 추가
구글이 현지시간 11월 9일 자체 AI 가속기인 TPU의 8세대 라인업에 TPU 8tx와 TPU 8i Max 두 종을 추가했습니다. 올해 4월 학습용 8t와 추론용 8i를 먼저 내놓은 데 이어 같은 세대에서 네 가지 시스템 구성을 한 해에 선보인 것은 구글로서도 처음입니다. 에이전트가 학습부터 추론, 보안 처리까지 단계마다 성격이 다른 자원을 쓴다는 전제로 용도를 쪼갠 구성입니다.
TPU 8tx는 8t와 같은 실리콘을 쓰되 호스트 CPU를 5세대 AMD 에픽(EPYC)으로 바꾼 기밀 컴퓨팅용 구성입니다. 연산이 도는 동안에도 입력 데이터와 모델 가중치를 하드웨어 수준에서 격리해 보호한다는 점이 핵심이고, 구글은 8t 대비 지연시간을 최대 2배 낮추면서도 성능 손실은 거의 없다고 설명합니다. 자체 모델에 민감한 데이터를 물려야 하는 규제 산업군을 겨냥한 물건입니다.
TPU 8i Max는 8i 칩 두 개를 한 기판에 묶은 듀얼칩 패키지입니다. 연산 능력과 온칩 SRAM, HBM 대역폭을 모두 8i의 두 배로 올리면서 기존 랙 공간 안에 두 배의 실리콘을 담았습니다. 한국경제 보도 기준으로 HBM 용량은 33% 늘어난 384GB, 메모리 대역폭은 두 배인 초당 17.2TB입니다. 메모리 대역폭이 병목이 되던 대형 컨텍스트 추론 작업에서 같은 랙 밀도로 더 많은 처리량을 뽑으려는 구성입니다.
엔비디아 GPU에 쏠린 AI 인프라 시장에서 구글이 TPU 선택지를 공격적으로 넓히는 움직임으로 보입니다. 다만 정식 제공 시점과 리전별 가용성은 아직 공개되지 않아서, 당장 어느 환경에서 언제 쓸 수 있는지는 운영자가 추가 공지를 기다려야 합니다.
🔗 https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/
로그인 후 답글을 남길 수 있습니다.