A100 한 장에 모델 두 개를 올려두고 요청이 올 때만 번갈아 쓰고 싶은데, 둘을 동시에 상주시키면 VRAM이 모자라는 상황을 자주 만난다. 그렇다고 요청마다 프로세스를 내렸다 올리면 가중치 로딩…