#gpu · 3개
쿠버네티스에서 GPU 한 장을 여러 파드가 나눠 쓰기: Time-Slicing vs MIG
GPU 노드를 처음 붙이고 나면 곧 이런 상황을 만난다. A100 한 장이 노드에 꽂혀 있는데, 추론 파드 하나가 그걸 통째로 물고 있고 나머지 파드는 Pending 으로 줄을 선다. GPU 메모리…
냉냉장고를사다줘·2026년 8월 17일·조회 3
GPU EC2에 Ollama + Open WebUI로 사내 로컬 LLM API 서버 구축하기 (OpenAI 호환 엔드포인트)
요약부터 말씀드릴게요. Ollama 를 GPU 서버에 설치하면 그 자체로 11434 포트에 OpenAI 호환 API( /v1/chat/completions )가 열립니다. 여기에 Open WebUI…
냉냉장고를사다줘·2026년 6월 23일·조회 10
[GCP] Linux GPU 드라이버 업데이트 방법 update nvidia driver
1. 저장소를 업데이트 sudo apt-get update 2. 최신 패키지 확인 NVIDIA_DRIVER_VERSION=$(sudo apt-cache search 'linux-modules-nvi…
혀뇽뇽이·2023년 6월 5일·조회 2,128