[뉴스] IBM-투게더AI, 2억4천만 달러 규모 다년 계약 - IBM 클라우드에 개방형 모델 추론 전용 인프라
IBM이 AI 클라우드 사업자 투게더AI(Together AI)와 2억 4천만 달러 규모의 다년 계약을 맺었다고 8월 11일 발표했습니다. 핵심은 IBM 클라우드 위에 엔비디아 HGX B300(블랙웰) 시스템 기반의 대규모 클러스터를 구축하는 것으로, 엔비디아 스펙트럼-X 이더넷 네트워킹을 함께 쓴다고 밝혔습니다. 이 인프라는 2027년 초 IBM 클라우드에서 이용 가능할 예정입니다.
눈에 띄는 대목은 이 클러스터가 학습이 아니라 추론(inference) 전용으로 설계됐다는 점입니다. 투게더AI는 이 자원을 개방형(오픈소스) 모델의 추론 서비스에 사용할 계획이라고 합니다. IBM은 투게더AI 플랫폼이 현재 고객사 대상으로 월 약 400조 토큰을 처리하고 있다고 소개했습니다.
이 소식이 의미가 있는 이유는, 지난 몇 년간 화제가 GPU를 얼마나 확보해 얼마나 큰 모델을 학습하느냐에 쏠려 있었다면 이제는 실제 서비스 단계의 추론 비용으로 무게가 옮겨가고 있기 때문입니다. 기업이 에이전트나 생성형 기능을 실서비스에 붙이기 시작하면서, 학습 한 번보다 매일 발생하는 추론 트래픽의 단가가 운영비를 좌우하게 됐습니다.
투게더AI 쪽은 폐쇄형 프런티어 모델 수준의 성능을 폐쇄형 가격표 없이 쓰고 싶어하는 수요를 겨냥한다는 취지로 설명했고, IBM 클라우드 측은 기업들이 에이전트 AI를 대규모로 도입하려는 경쟁에 대응하는 것이라고 밝혔습니다. 개방형 모델을 저렴한 토큰 단가로 돌릴 수 있는 전용 인프라를 하이퍼스케일러 대안으로 내세우려는 포석으로 보입니다.
운영자 입장에서는 추론 인프라를 어디서 돌릴지 선택지가 하나 더 늘어나는 셈입니다. 실제 가용 시점과 단가가 공개되면 개방형 모델 서빙 비용을 비교해 볼 만한 후보가 될 것으로 보입니다.
로그인 후 답글을 남길 수 있습니다.