OrcaRouter, 다중 홉 RAG 추론을 색인 시점으로 옮긴 IndexRAG 논문 공개

노형석 기자

작성일 2026-10-12 08:04

컨티뉴엄 AI(CONTINUUM AI)가 개발한 OpenAI 호환 LLM 게이트웨이인 OrcaRouter가 다중 홉 검색증강생성(RAG)의 문서 간 추론을 질의 시점에서 색인 시점으로 옮기는 연구인 IndexRAG를 공개했다고 밝혔다. 해당 논문은 AACL-IJCNLP 2026 Findings에 채택되었으며, 코드는 Apache-2.0 라이선스로 공개되었다.

기존의 그래프 기반 및 반복형 RAG 시스템은 질문에 답하기 위해 엔티티 추출, 그래프 순회, 검색 및 생성 과정을 여러 번 반복해야 했다. 이러한 과정은 질문할 때마다 반복되어 상당한 비용과 시간을 소모했다. IndexRAG는 이러한 작업을 색인을 만드는 동안 한 번만 수행하고, 그 결과를 '브리징 팩트'로 저장한다. 브리징 팩트는 문서 간 연결을 미리 담고 있어 독립적으로 검색 가능한 단위가 된다. 따라서 질문이 들어오면 별도의 복잡한 과정 없이, 납작한 벡터 색인 위에서 검색 한 번과 LLM 호출 한 번으로 답변을 생성할 수 있다.

IndexRAG의 오프라인 단계는 두 가지로 구성된다. 첫째, 원자적 지식 단위(AKU)를 추출하고, 둘째, 문서 간 브리징 팩트를 생성한다. 이 과정은 임베딩 모델이나 LLM을 미세 조정하지 않는 학습 없는(training-free) 방식으로 진행된다.

세 가지 벤치마크에서 평균 F1 점수를 측정한 결과, IndexRAG는 질의 시점에 LLM 호출을 늘리지 않으면서도 Naive RAG보다 평균 4.6점 높은 51.7점을 기록했다. 특히 HotpotQA와 MuSiQue 벤치마크에서는 가장 높은 성능을 보였다. 다만, 2WikiMultiHopQA 벤치마크에서는 FastGraphRAG가 57.4점으로 IndexRAG보다 앞섰다.

논문은 질의 시점에 더 많은 연산을 사용하는 HippoRAG2와 같은 방법론도 제시하며, 이 경우 평균 F1 점수가 54.1점으로 IndexRAG보다 높다고 밝혔다. 그러나 IndexRAG는 질의 시점의 비용 절감에 초점을 맞추고 있으며, HippoRAG2와 비교했을 때 검색 속도는 6.6~10.4배 빠르고, 색인 크기는 17~20배 작으며, 색인 구축 비용은 30~50% 낮다고 설명했다. 브리징 팩트는 이러한 방법들과 경쟁하기보다는 결합될 수 있는 방식으로 제시되었다.

실험에는 `gpt-4o-mini` LLM과 `text-embedding-3-small` 임베딩 모델이 사용되었으며, FAISS 평탄 색인과 코사인 유사도 기반 검색이 적용되었다. 코드는 Apache-2.0 라이선스로 공개되었으며, 사용된 벤치마크 데이터셋의 라이선스는 각각 다르다.

OrcaRouter는 단일 API 키와 엔드포인트로 OpenAI GPT-6.1 Sol, Anthropic Claude Sonnet 5.5 등 200개 이상의 모델을 제공하며, 약 40%의 비용 절감과 1밀리초 미만의 라우팅 오버헤드를 제공한다.