로컬에서 32B급 모델을 양자화해 돌리다 보면 토큰이 한 글자씩 느릿느릿 찍히는 걸 자주 본다. GPU 한 장으로는 메모리 대역폭이 생성 속도를 눌러버리는데, 여기서 모델을 더 키우지 않고 속도만 …