GPU 한 장에 모델을 올리고 나면 다음 벽은 거의 항상 KV 캐시다. 가중치는 다 올라갔는데 컨텍스트를 조금만 늘리거나 동시 요청을 몇 개 더 받으면 CUDA out of memory 가 뜬다. …