OrcaRouter(orcarouter.ai)는 OpenAI 호환 주소 하나로 200개가 넘는 AI 모델을 호출하게 해 주는 AI 게이트웨이입니다. 운영사는 Continuum AI로, 스스로를 연구 및 인프라 랩이라고 소개합니다. 소재지는 자료마다 달라서, 5월 보도자료는 샌프란시스코를 달았고 10월 한국 배포 자료는 싱가포르 법인(CONTINUUM AI PTE. LTD.)으로 적었습니다. 2026년 5월 8일 PR Newswire 보도자료로 호스팅 서비스 OrcaRouter와 오픈소스 OrcaRouter Lite를 함께 공개했습니다. 클라우드 보안 업체 Orca Security와는 관련이 없는 별개의 회사입니다.
이 글의 내용은 공식 사이트와 문서, 보도자료, 논문에서 가져왔습니다. 성능과 비용 수치는 대부분 회사가 직접 밝힌 값이라, 어느 것이 회사 주장인지 본문에서 구분해 적었습니다.
기본 구성과 오픈소스 버전
앱은 base_url만 OrcaRouter 주소로 바꾸면 기존 OpenAI, Anthropic, Google SDK 코드를 그대로 쓸 수 있다고 합니다. Chat Completions, Responses, 임베딩, 이미지, 오디오, 스트리밍을 지원하고, Claude Code, Codex, Cursor, LangChain, n8n, Vercel AI SDK 같은 도구와의 연동도 안내합니다. 요청이 어느 모델로 갔는지, 비용이 얼마였는지는 호출 단위 영수증과 요청 로그, 대시보드로 확인합니다. 에이전트 실행을 녹화해 다시 돌려 볼 수 있는 OrcaReplay도 있습니다.
OrcaRouter Lite는 MIT 라이선스로 공개된 자체 호스팅 버전입니다. 보도자료에 따르면 기본 저장소가 SQLite라서 Postgres, Redis, Kubernetes 없이 띄울 수 있습니다. 호스팅 버전과 같은 기능을 모두 갖춘 것은 아니고, 회사는 데이터 경로는 무료로 열어 두고 캐싱, 거버넌스, SSO, 감사, 정책 같은 제어 계층에서 돈을 번다는 입장을 밝혔습니다.
적응형 라우팅과 Routing DSL
핵심 기능은 프롬프트마다 난이도를 매겨 알맞은 모델로 보내는 적응형 라우팅입니다. 공식 사이트는 이 방식으로 추론 비용을 40% 이상 줄일 수 있고 라우팅 지연이 10ms 미만이라고 내세웁니다. 10ms는 라우팅 자체의 지연이고, 같은 사이트의 FAQ는 전체 추가 지연을 50ms 미만으로 따로 적습니다. 라우팅 정확도 99%는 상위 모델로 승격하는 조건을 포함한 값이고, 75.5%는 아래 논문의 공개 리더보드 정확도라서 측정 조건이 서로 다릅니다. 모두 회사가 밝힌 수치이며 독립적으로 검증된 것은 아닙니다.
방식은 논문에 비교적 자세히 나와 있습니다. 2026년 5월 29일 arXiv에 올라온 논문(arXiv:2605.30736)은 LinUCB 문맥 밴딧에 단어 특징과 문장 임베딩을 쓰고, 오프라인 평가로 만든 보상 행렬로 모델마다 릿지 회귀를 학습한 뒤 운영 중에도 피드백으로 계속 배우게 하는 구조를 설명합니다. 논문에 따르면 OrcaRouter-Adaptive는 제출 시점인 5월 20일 공개 RouterArena 리더보드에서 2위였고, 점수는 72.08, 정확도는 75.54%, 비용은 1,000쿼리당 1달러였습니다. 저자 명단에 이 회사 보도자료의 연락 담당자와 같은 이름이 있어서, 완전히 제3자의 평가는 아닙니다.
규칙을 직접 짜고 싶을 때는 Routing DSL을 씁니다. 문서에 따르면 YAML로 규칙을 쓰고 조건은 CEL(Common Expression Language)로 적습니다. 요청의 토큰 수, 작업 종류(코드, 에이전트, 비전 등), 0에서 1 사이의 난이도, 에이전트 세션 상태(직전 테스트 실패 여부 등)를 조건으로 쓸 수 있고, 규칙은 위에서부터 평가해 처음 맞는 것을 적용합니다. 문서의 예시는 다음과 같습니다.
- id: hard_code
when: task_class == "code" && difficulty > 0.6
use:
model: "anthropic/claude-opus-4.8"
새 규칙은 먼저 섀도 모드로 평가만 하고, 이어서 트래픽 일부에 카나리로 적용하다가 비율을 0으로 돌려 되돌리는 순서로 배포한다고 합니다. 여러 모델에 동시에 보내 답을 고르게 하는 병렬 호출은 호출마다 따로 과금됩니다. Routing DSL의 공개 시기는 신디케이트 기사마다 6월 15일부터 22일까지 달라서 확정하지 못했습니다.
가드레일, 에이전트 방화벽, 데이터 처리
보안 쪽은 크게 세 가지입니다. 가드레일은 개인정보, 비밀값, 탈옥, 프롬프트 인젝션을 입출력에서 거릅니다. 에이전트 방화벽은 에이전트가 부르는 도구와 MCP 호출을 허용, 검토, 차단으로 나눕니다. 그 밖에 범위가 제한된 API 키, 예산, 역할 기반 권한, 감사 기록이 있습니다.
데이터 처리에 대해서는 프롬프트로 모델을 학습하지 않고, 로그는 기본으로 꺼 두는 제로 데이터 보존을 지원한다고 밝힙니다. 공식 사이트는 SOC 2와 ISO 27001은 요청하면 사본을 주고, GDPR은 DPA, HIPAA는 BAA로 다룬다고 밝힙니다. 이것도 회사의 설명이어서, 인증을 근거로 도입을 검토한다면 보고서를 직접 받아 범위와 기간을 확인해야 합니다. 신뢰 센터 페이지의 세부 내용은 이번에 열어 보지 못했습니다. 문서는 보안이 공유 책임이라고 명시하며, 게이트웨이가 보는 트래픽만 통제할 수 있고 에이전트 프로세스 내부에서만 실행되는 도구는 시야 밖이라고 설명합니다.
보안 전용 Cyber 모델 등급
OrcaRouter에서 눈에 띄는 부분이 일반 카탈로그와 분리된 Cyber 등급입니다. 문서는 악성코드 분석이나 승인된 점검을 위한 개념 증명 코드처럼 범용 모델이 거절하기 쉬운 보안 작업에 맞춘 모델이라고 설명합니다. OrcaCyber Zero는 심각도가 높은 취약점과 제로데이를 오탐 적게 찾는 용도, OrcaCyber Ultra는 100만 토큰 문맥으로 보안 코드 스캔을 하는 용도입니다. 공식 사이트 첫 화면은 Zero가 CyberGym 평가에서 98% 이상의 성공률을 냈다고 적었지만, Cyber 모델 문서에는 벤치마크 결과가 없어서 이 수치도 확인하지 못했습니다.
접근은 제한적입니다. 워크스페이스가 Security Research 등급을 받아야 하고, 그 전에는 호출하면 403이 돌아옵니다. 회사 도메인 이메일, 사용자별 패스키, 선불카드가 아닌 결제 카드(0달러 확인용)가 필요하고, 보안 허용 사용 정책에 동의한 뒤 심사를 받습니다. 경우에 따라 신분 확인이나 도메인 DNS 기록이 추가됩니다. 공격적 작업은 실제로 승인된 계약 범위 안에서만 허용되며, 고객의 서면 승인을 요청 시 제시할 수 있어야 한다고 합니다. 아동 성착취물과 화생방핵 관련 내용을 거르는 필터는 끌 수 없고, 거절을 완화하지만 모든 제한을 없애지는 않는다고 문서가 못 박고 있습니다.
Orca Connect로 로컬 모델 공유
10월 말(한국 뉴스와이어는 10월 26일 발표, 28일 게재로 표기)에는 Orca Connect가 공개되었습니다. 내 노트북이나 서버에서 돌리는 모델을 OrcaRouter 키 하나로 다른 기기와 팀이 부르게 하는 기능입니다. Ollama, vLLM, LM Studio, llama.cpp, SGLang, MLX, TensorRT-LLM을 지원합니다. 장비 쪽에서 바깥으로 연결을 하나 여는 방식이라 포트 포워딩이나 방화벽 설정이 필요 없고, 공유 모델은 카탈로그에 local/장비이름/모델이름 형태로 나타납니다. 내 하드웨어가 처리한 요청은 과금하지 않으며, 장비가 꺼졌거나 바쁠 때 호스팅 모델로 넘기는 스필오버는 기본으로 꺼져 있습니다.
주의할 점은 로컬 전용 키를 써도 프롬프트가 OrcaRouter 게이트웨이를 거친다는 것입니다. 보도 내용에 따르면 프롬프트와 응답은 기본으로 저장하지 않지만, 외부로 나가면 안 되는 데이터에는 별도의 종단 간 암호화 경로(Tailscale, WireGuard)를 권장합니다.
가격과 사업 모델
공식 사이트는 토큰에 마진을 붙이지 않는다고 강조합니다. 모델 제공자 요금표가 그대로 보이고, 직접 발급받은 키를 쓰는 BYOK 트래픽은 마크업이 0이라고 합니다. 보도자료는 경쟁 서비스인 OpenRouter가 토큰에 5%를 얹는다고 주장하는데, 이는 회사 측 표현이며 확인된 사실이 아닙니다. 요금제는 Hacker(무료, API 키 10개), Team(월 499달러, 최대 10석, 키 무제한, 규정 준수 보고서), Enterprise(협의, 99.99% 가동률 SLA 등)로 나뉩니다. Cyber 모델은 일반 카탈로그와 별도 가격이며, 접근 권한이 생긴 뒤에야 가격이 보입니다.
도입 전에 확인할 점
이름 있는 고객 사례는 사이트와 보도자료 어디에도 없었고, 창업자나 설립 시기 같은 회사 정보도 찾지 못했습니다. 보도의 대부분이 보도자료를 그대로 옮긴 신디케이트 기사라서 독립적인 사용 후기나 비교 검증은 거의 보이지 않습니다. 모델 수도 보도자료 안에서 도입부는 200개 이상, 제목과 이후 본문은 100개 이상으로 엇갈리고 사이트는 200개 이상이라고 적습니다. OWASP 후원사 목록에 이름이 올라 있다는 점이 그나마 외부에서 확인되는 사실입니다.
도입을 고민한다면 무료 등급으로 자기 트래픽을 몇 주 흘려 보고, 라우팅이 실제로 비용을 얼마나 줄이는지와 품질 저하가 없는지를 직접 재 보는 방법이 가장 확실합니다. 게이트웨이는 모든 프롬프트가 지나가는 지점이므로 데이터 보존 설정과 장애 시 우회 경로도 먼저 점검해야 합니다.