AI 에이전트의 '과잉 거부' 막고 '판단 능력' 강화… OrcaRouter, OIAS 데이터셋 공개

노형석 기자

작성일 2026-10-09 08:03

싱가포르--(뉴스와이어)--컨티뉴엄 AI(CONTINUUM AI)가 개발한 OrcaRouter가 실제 AI 에이전트의 실패 사례를 의사결정 지점으로 재구성한 공개 데이터셋 OIAS(Orca Incident Alignment)를 공개했다고 8일 밝혔다. 이번 데이터셋은 AI 에이전트가 무조건적인 거부 대신 상황에 맞는 판단을 내릴 수 있도록 돕는 것을 목표로 한다.

OIAS는 AI 에이전트가 수행할 수 있는 후보 행동에 대해 ALLOW(그대로 실행), CONFIRM(사용자 확인), VERIFY(검증), ESCALATE(상위 판단 위임), BLOCK(실행 금지)의 다섯 가지 판정을 부여한다. 이는 '위험해 보이는 것은 전부 거부한다'는 기존의 소극적인 안전 정책에서 벗어나, 정상적인 작업까지 차단하는 부작용을 줄이고자 하는 시도다.

데이터셋에 따르면, 전체 358개 레코드 중 'REFUSE'(거부)를 기대하는 항목은 5%에 불과하며, 나머지 대부분은 'CONTINUE_SAFELY'(안전하게 계속 진행)와 같이 조건을 붙여 진행하는 방식이다. 이는 AI 에이전트가 멈춰야 하는 순간은 소수이며, 대부분의 상황에서는 추가적인 확인, 검증, 보고, 되돌림 등의 과정을 통해 안전하게 작업을 이어갈 수 있음을 시사한다.

컨티뉴엄 AI 측은 '거부만 하는 정책은 종합 점수에서 0점 아래로 떨어진다'고 지적하며, 항상 거부하는 정책이 위험한 행동은 막을 수 있지만 모든 정당한 작업을 방해하여 AI의 효용성을 떨어뜨린다고 설명했다. 반면, OIAS는 AI 에이전트에게 공포가 아닌 '판단 능력'을 길러주는 데 초점을 맞추고 있다.

이번 데이터셋은 실제 AI 에이전트의 실패 사례에서 추출한 55건의 판단 지점을 기반으로 구성되었으며, 반사실 변형 303건이 포함되어 있다. 또한, 데이터의 신뢰도를 높이기 위해 독립적인 모델 리뷰와 웹 팩트체크를 거쳤다고 밝혔다. 다만, 모든 레코드가 사람이 직접 검증한 것은 아니며, 일부 반사실 계획에 대한 인간 검증이 추가로 필요하다고 덧붙였다.

OIAS 데이터셋은 Hugging Face에서 확인할 수 있으며, AI 에이전트의 안전성과 효율성을 동시에 높이는 데 기여할 것으로 기대된다.