Decision Model 8종을 세 가지 과제로 비교해, 정확도·지연 시간·비용·질문 표현 민감도에서 어떤 차이가 있는지 살펴봤습니다.
글: 짐 베넷(Jim Bennett) · 2026년 10월
2026년 9월 15일 TypeSafe가 Jev를 출시한 이후, 불과 몇 주 만에 10곳 안팎의 기업이 비슷한 방식으로 작동하는 Decision Model을 잇따라 내놓았습니다. OpenAI, Liquid AI, Cloudflare, AWS, PostHog 등 여러 기업이 새로운 모델을 선보였고, Hugging Face에는 Jev를 재현한 오픈 모델인 Kev도 공개됐습니다.
이처럼 선택지가 빠르게 늘어나면서, AI 에이전트를 개발하거나 LLM 평가 시스템을 구축하는 엔지니어에게 새로운 고민이 생겼습니다. 어떤 Decision Model을 선택해야 할까요?
Decision Model은 질문 하나와 정해진 선택지 목록을 입력받아, 각 선택지에 대한 확률을 반환하는 모델입니다. 텍스트를 생성하지 않으므로 출력 토큰 비용도, 출력을 기다리는 시간도 없습니다. 그래서 AI 엔지니어에게 중요한 두 가지 작업을 저렴하고 빠르게 처리합니다. 하나는 에이전트 안에서 단일 결정을 내리는 일(어떤 도구나 스킬을 쓸지, 작업을 멈출지 계속할지)이 고, 다른 하나는 Arize AX에서 트레이스를 채점하는 판정 모델(judge) 역할입니다(LLM-as-a-Judge 가이드도 참고하세요).
Jev를 판정 모델로 활용하는 방법은 이전에도 다뤘습니다. Arize 개발자 관계(DevRel) 총괄 로리 보스(Laurie Voss)가 Jev와 LLM 판정을 비교하는 벤치마크를 진행했고, Arize Phoenix 팀의 엘리자베스 허튼(Elizabeth Hutton)은 Jev의 확률값이 무엇을 알려 주는지 분석했으며, Jev를 프로덕션 가드레일에 적용해 보기도 했습니다. 하지만 이 글들은 모두 Jev를 LLM과 비교했을 뿐, 새로 나온 Decision Model끼리 같은 데이터로 비교하지는 않았습니다.
그래서 이번에는 주요 Decision Model 8종을 선정해, 환각 탐지, LLM 평가, 에이전트 라우팅이라는 세 가지 과제에서 직접 성능을 비교했습니다. 결과를 표 하나로만 나열하면 흐름을 따라가기 어려워서, 단계마다 두 모델씩 비교해 다음 단계로 올라갈 모델을 정하는 토너먼트 방식으로 진행했습니다.
이번 테스트에서 상위권 모델들은 정확도가 거의 비슷했습니다. 차이는 지연 시간, 비용, 배포 방식, 그리고 질문 표현에 대한 민감도에서 드러났습니다.
벤치마크 대상: Decision Model 8종
비교 대상은 다음 8개 모델입니다. 출시 배경과 특징은 모델마다 다릅니다.
모델
개발사
특징
크기와 라이선스
실행 환경
정가
TypeSafe
이 분야를 연 첫 모델. 호스팅 API, 32k 컨텍스트
비공개
입력 토큰 100만 개당 $0.042, 출력 무료
Liquid AI
Hugging Face Decision Index에서 처음으로 Jev를 앞선 모델(58.9 대 57.9)
비공개
100만 개당 $0.04
OpenAI Decisions (gpt-6-luna)
OpenAI
프런티어 연구소 중 처음 출시. 현재 공개 베타
비공개
100만 개당 $0.10
Cloudflare
오픈 웨이트, Jev 호환 API, 이미지 입력 지원
27B, Apache 2.0
100만 개당 $0.24
재러드 파머(Jared Palmer)
Jev를 재현한 오픈 모델. 세 가지 크기를 학습한 첫 학습에 임대 GPU 비용 약 $95 소요
9B, 오픈
로컬
별도 API 사용료 없음(셀프 호스팅)
PostHog
결정 전에 추론 단계를 거침
9B, 오픈
로컬
별도 API 사용료 없음(셀프 호스팅)
AWS
비교 대상 중 가장 작은 모델. 학습 레시피 공개
2B, 오픈
로컬
별도 API 사용료 없음(셀프 호스팅)
Convai Innovations
LLM이 아닌 BERT 계열 인코더. 8,192토큰 컨텍스트
322M, Apache 2.0
로컬
별도 API 사용료 없음(셀프 호스팅)
가격은 입력 토큰 100만 개당 정가입니다. 결과에서는 각 모델이 실제로 사용한 토큰을 바탕으로 결정 1,000건당 비용으로 환산했습니다.
8개 중 7개 모델이 Jev의 /v1/systemone 요청 형 식을 지원합니다. 출시 3주 만에 이 API가 Decision Model을 호출하는 사실상의 표준이 된 셈입니다. 많은 LLM 벤더가 OpenAI API 형식을 지원하는 것과 비슷한 흐름입니다.
예외는 OpenAI입니다. 다른 API는 컨텍스트, 응답 같은 항목을 개별 필드로 받지만, OpenAI의 Decisions API는 하나의 텍스트 블록과 질문 목록을 받습니다. 그래서 각 케이스를 필드별로 레이블을 붙인 텍스트 섹션으로 바꾸고, 다른 모델과 같은 순서로 배치했습니다. 이 배치 방식은 저희가 정한 것이므로, 다른 방식을 쓰면 점수가 달라질 수 있습니다. OpenAI의 수치는 공개 베타 단계의 첫 평가 결과로 봐 주시기 바랍니다. 프롬프트 구성을 개선하면 점수가 더 오를 수도 있습니다.
벤치마크 환경과 평가 방법
호스팅 API로 제공되는 모델과 노트북에서 직접 실행하는 모델은 실행 환경이 달라 속도를 단순 비교하기 어렵습니다. 따라서 모델을 두 그룹으로 나누어 평가했습니다.
클라우드 그룹에는 네트워크로 호출하는 호스팅 API 모델을 넣었습니다.
로컬 그룹에는 MacBook Pro(Apple M4 Max, 메모리 36GB)에서 실행하는 오픈 모델을 넣었습니다.
각 그룹에서 가장 좋은 성능을 보인 모델을 하나씩 선정한 뒤, 최종 단계에서 두 모델을 비교했습니다.
평가는 세 단계로 진행했고, 단계마다 과제가 다릅니다.
첫 번째 평가는 환각 탐지입니다. RAGTruth 데이터 2,675행을 사용했고, Arize 벤치마크 코드로 구성했습니다.
두 번째 평가는 LLM 응답 품질 평가입니다. Phoenix 평가기(evaluator) 스위트 13개 전체를 사용했으며, 환각·유해성·도구 사용 등을 다루는 레이블이 달린 케이스 655개로 구성됩니다.
세 번째 평가는 에이전트 라우팅입니다. 에이전트가 어떤 도구나 스킬을 써야 하는지 모델이 고르는 라우팅 결정 52건입니다.
평가 지표는 정확도, 지연 시간, 결정 1,000건당 비용 세 가지이며, 세 지표 중 두 개에서 앞선 모델이 다음 단계로 올라갑니다. 정확도는 95% 신뢰구간이 겹치지 않을 때만 우위로 인정했습니다. 신뢰구간이 겹치면 이번 평가에서 통계적으로 유의한 차이를 확인하지 못한 것으로 보고, 해당 지표는 무승부로 처리했습니다. 동점이면 정확도로, 두 번째 평가에서는 보정(calibration)으로 승부를 가렸습니다. 그래도 가려지지 않으면 무승부로 기록했습니다. 최종 비교에서는 지연 시간을 제외했습니다. 노트북과 API의 속도는 여전히 직접 비교할 수 없기 때문입니다.
공정한 비교를 위해 모델마다 예/아니오를 가르는 임계값(cutoff)을 따로 정했습니다. 데이터의 절반으로 임계값을 조정하고, 나머지 절반으로 점수를 측정했습니다. 이전 벤치마크와 같은 절차와 랜덤 시드를 사용했습니다.
첫 번째 평가: RAG 환각 탐지
첫 번째 과제는 가장 널리 쓰이는 평가 중 하나인 환각 탐지입니다. 컨텍스트와 응답이 주어졌을 때, 응답의 모든 주장이 컨텍스트로 뒷받침되는지 판단합니다. RAGTruth는 질의응답, 요약, 데이터-텍스트 변환 과제로 구성되어 있고, 응답의 약 3분의 1에 환각이 포함되어 있습니다.
Jev 대 OpenAI. OpenAI는 첫 단계부터 가장 유력한 후보인 Jev와 맞붙었습니다. 균형 정확도(balanced accuracy)는 OpenAI 81.5%, Jev 85.5%였습니다. 차이가 커 보이지만 두 신뢰구간이 0.1포인트 차이로 맞닿아 있어, 정확도는 무승부로 처리했습니다. 나머지 두 지표에서는 차이가 뚜렷했습니다. 지연 시간은 결정당 Jev 0.08초, OpenAI 0.16초였고, 비용은 1,000건당 $0.045 대 $0.090이었습니다. Jev가 2대0으로 다음 단계에 올랐고, OpenAI는 첫 단계에서 탈락했습니다. 다만 OpenAI는 뒤에서 다룰 질문 표현 테스트에서 눈에 띄는 결과를 보였습니다.
Liquid d1 대 Clef 27B. 가장 접전이었던 비교입니다. 정확도는 Clef 27B 85.2%, Liquid 84.8%로 서로의 신뢰구간 안에 충분히 들어갔습니다. 결국 나머지 두 지표에서 결과가 갈렸고, Liquid가 둘 다 앞섰습니다. 지연 시간은 0.20초 대 0.50초, 비용은 1,000건당 $0.034 대 $0.223이었습니다. 이 단계에서 Clef 27B가 탈락했습니다.
Kev 대 Laya. Laya는 결정당 0.04초로 전체 모델 중 가장 빨랐고, 크기도 1GB 미만입니다. 하지만 정확도는 59.8%로 Kev의 76.8%에 크게 못 미쳤습니다. 노트북에서는 두 모델의 비용이 같으므로 정확도로 결정했고, Kev가 다음 단계에 올랐습니다.
Jeeves 대 Strands. Jeeves는 답하기 전에 추론 단계를 거치는데, 환각 탐지에서는 이 방식이 효과가 있었습니다. 정확도 80.3%로 Strands의 69.0%를 앞섰습니다. Strands가 중앙값 기준으로 약 50배 빨랐지만, 비용이 같은 상황에서 속도만으로는 앞설 수 없습니다. 속도는 느리지만 Jeeves가 다음 단계에 올랐습니다.
LLM 판정과 비교하면 어떨까요? 이전 벤치마크에서 Opus 5는 판정 1,000건당 $14.30의 비용으로 균형 정확도 86.6%를 기록했습니다. Jev, Liquid, Clef 27B는 모두 오차 범위 안에서 이와 비슷한 정확도를 내면서도, 비용은 훨씬 적었습니다. Opus 5 대비 비용은 Jev 0.3%, Liquid 0.2%, Clef 27B 1.6%입니다. OpenAI는 정확도가 몇 포인트 낮았고, 비용은 0.6%였습니다.
두 번째 평가: LLM 응답 품질 평가
이번 평가는 많은 독자가 가장 궁금해할 질문을 다룹니다. 이 모델에게 평가 파이프라인의 판정 역할을 맡길 수 있을까요? Phoenix 스위트 13개는 충실성(faithfulness)과 간결성부터 에이전트가 도구 응답을 제대로 처리했는지까지, 실제 프로덕션에서 쓰는 평가기를 그대로 테스트합니다.
이 단계에서는 동점을 가르는 추가 평가 지표로 보정을 사용합니다. 보정이 잘 된 모델은 99% 확신한다고 답할 때 실제로 99% 맞고, 70% 확신한다고 답할 때 70% 맞습니다. 판정 모델에게 보정은 정확도만큼 중요합니다. 어떤 판정은 그대로 믿어도 되고, 어떤 판정은 사람이나 더 큰 모델에게 넘겨야 하는지 알려 주기 때문입니다.
보정은 보정 오차로 측정했습니다. 모델이 밝힌 확신도와 실제 정답률 사이의 평균 차이로, 값이 낮을수록 좋습니다. 이전 Jev 벤치마크와 같은 보정 코드를 사용했고, 모든 모델의 확신도를 같은 척도로 맞췄습니다.
클라우드 그룹: Jev 대 Liquid. 정확도는 Jev 91.1%, Liquid 87.6%였지만 신뢰구간이 겹쳐 무승부로 처리했습니다. 속도는 Jev가, 비용은 Liquid가 앞섰습니다. 1승 1패이므로 보정으로 비교했습니다. 보정 오차는 Jev 0.023, Liquid 0.051이었습니다. 평균적으로 Jev의 확신도는 실제 정답률과 2포인트 이내, Liquid는 5포인트 이내로 차이가 났다는 뜻입니다. 두 모델 모두 뛰어난 수준이며, 케이스가 655개라 신뢰 구간이 겹칩니다. 따라서 클라우드 그룹 비교는 무승부로 판정했습니다.
굳이 하나를 고르자면 Jev가 근소하게 앞섭니다. Jev의 확신도가 자기 실수를 조금 더 잘 드러냈습니다. 맞힌 케이스 하나와 틀린 케이스 하나를 뽑아 비교했을 때, 맞힌 쪽에 더 높은 확신을 보인 비율이 Jev는 85%, Liquid는 81%였습니다. Jev는 99% 이상 확신한다고 답한 케이스(전체의 14%)를 모두 맞혔습니다. Liquid는 전체 케이스의 3분의 1에서 99% 확신을 보였고 그중 99.1%를 맞혔는데, 이 역시 매우 좋은 결과입니다. 이 근소한 차이로 Jev가 최종 비교에 올랐습니다.
이 결과는 호스팅 API 모델들이 최상위권에서는 서로 바꿔 써도 될 만큼 비슷하다는 점을 보여 줍니다.
로컬 그룹: Kev 대 Jeeves. 정확도는 Kev 88.7%, Jeeves 87.1%로 무승부였고, 비용도 같았습니다. 하지만 지연 시간은 Kev 0.19초, Jeeves 4.3초로 Jeeves가 20배 넘게 느렸습니다. 이 과제에서는 추론 단계가 정확도 향상으로 이어지지 않았습니다. Kev는 보정까지 비교할 필요가 없었지만, 참고로 보정 오차는 Kev 0.055, Jeeves 0.043으로 오차 범위 안에서 비슷했습니다. 클라우드 그룹과 같은 방식으로 확신도가 자기 실수를 얼마나 잘 드러내는지 비교하면 Kev 84%, Jeeves 79%였습니다. 로컬 그룹에서는 Kev가 최종 비교에 올랐습니다.
세 번째 평가: 에이전트 도구 및 스킬 선택
마지막 과제는 판정이 아니라 에이전트 내부의 결정을 다룹니다. 각 케이스는 사용자 메시지와 도구 또는 스킬 목록으로 구성되며, 모델은 "해당 없음"을 포함한 선택지 중 올바른 하나를 골라야 합니다. 20건은 도구 호출 평가 글의 여행 어시스턴트에서, 32건은 Phoenix 인앱 어시스턴트의 레이블이 달린 라우팅 테스트에서 가져왔습니다.
Jev는 52건 중 49건, Kev는 48건을 맞혔습니다. 케이스가 52건뿐이라 한 문제가 약 2퍼센트포인트에 해당하므로, 한 문제 차이는 통계적으로 의미 있는 차이로 보기 어렵습니다. 정확도는 무승부로 처리했습니다.
비용으로도 공정하게 비교하기 어렵습니다. Jev는 라우팅 결정 1,000건당 $0.022입니다. Kev는 이미 하드웨어가 있다면 추가 비용이 들지 않지만, 실행하기 위해 GPU를 빌려야 한다면 상 당한 비용이 듭니다.
따라서 최종 비교는 무승부입니다. 호출만 하면 되는 API를 원한다면 Jev가 최고의 Decision Model입니다. 셀프 호스팅을 원한다면 Kev가 최선입니다. 점수로는 두 모델을 가를 수 없으므로, 어떤 환경에서 실행할지가 선택 기준이 됩니다.
질문 표현만 바꿨는데 평가 결과가 뒤집혔다
이번 벤치마크에서 가장 흥미로운 결과는 모델 간 정확도 차이가 아니라, 질문을 어떻게 표현하느냐에 따라 평가 결과가 크게 달라졌다는 점입니다.
본 실험에 앞서 환각 탐지 질문의 표현을 몇 가지로 바꿔 시험해 봤습니다. 원래 RAG 테스트 프롬프트는 응답에 뒷받침되지 않는 주장이 있는지 묻고, 최종 질문은 모든 주장이 뒷받침되는지 묻습니다. 긍정과 부정만 바뀌었을 뿐 같은 의미이므로, 질문을 제대로 이해하는 모델이라면 두 경우 점수가 거의 같아야 합니다.
그래서 같은 테스트 데이터 1,338행에 대해, 모든 모델을 "뒷받침되지 않는 주장이 있는가?" 표현으로 한 번 더 실행했습니다. 아래 표는 ROC AUC입니다. 0.5는 무작위로 찍는 수준이고, 0.5보다 낮으면 모델이 질문과 반대 방향으로 답하고 있다는 뜻입니다.
모델
"모든 주장이 뒷받침되는가?"
"뒷받침되지 않는 주장이 있는가?"
Jev 1.13
0.93
0.93
Clef 27B
0.92
0.91
OpenAI Decisions
0.90
0.89
Kev 9B
0.85
0.54
Laya multilingual
0.64
0.36
Strands Decider 2B
0.75
0.26
Jeeves 9B
0.85
0.25
Liquid d1
0.92
0.17
질문 표현이 바뀌어도 성능을 유지한 모델은 Jev, Clef 27B, OpenAI Decisions뿐이었습니다. OpenAI는 첫 번째 평가에서 탈락했지만, 두 표현을 모두 제대로 이해한 세 모델 중 하나입니다. Kev는 무작위 수준으로 떨어졌습니다. Liquid d1, Jeeves, Strands는 결과가 뒤집혔습니다. "뒷받침되지 않는 주장이 있는가?"라고 물었는데, "이 응답은 근거가 있는가?"라는 질문에 답하듯 높은 확신으로 반대 판단을 내린 것입니다. 특히 Liquid d1은 ROC AUC가 0.92에서 0.17로 떨어졌습니다. 모델이 질문의 의미를 제대로 반영하지 못하고 반대 방향으로 판단했을 가능성을 보여 줍니다.
Laya는 일상적인 표현에서도 같은 약점을 보였습니다. Phoenix 스위트에서 "이 텍스트에 유해한 내용이 없는가?"로 물으면 0.11이었지만, "이 텍스트에 유해한 내용이 있는가?"로 바꾸면 0.87로 올라갔습니다. Laya의 모델 카드에도 답이 질문 내용보다 선택지 레이블에 영향을 받을 수 있다는 경고가 있습니다.
Decision Model의 점수는 모델만으로 정해지지 않고, 모델과 질문의 조합에 따라 달라집니다. 질문 문구는 그대로 둔 채 판정 모델만 새 모델로 교체하면, 모르는 사이에 평가 결과가 뒤집힐 수 있습니다. 대응 방법은 간단합니다. 새 모델을 도입하기 전에, 질문을 긍정과 부정 두 가지 표현으로 모두 테스트해 보세요.
전체 벤치마크 결과 비교
토너먼트 방식에서는 실력이 좋아도 일찍 탈락하는 모델이 생깁니다. 이번에는 Clef 27B가 그런 경우였습니다.
모델
환각(RAGTruth)
평가기(Phoenix 스위트)
라우팅
보정 오차
지연 시간(p50, RAGTruth)
1,000건당 비용(RAGTruth)
Jev 1.13
85.5%
91.1%
49/52
0.023
0.08초
$0.045
Clef 27B
85.2%
91.5%
50/52
0.062
0.50초
$0.223
Liquid d1
84.8%
87.6%
48/52
0.051
0.20초
$0.034
OpenAI Decisions
81.5%
90.0%
48/52
0.042
0.16초
$0.090
Jeeves 9B
80.3%
87.1%
48/52
0.043
16.8초
API 사용료 없음(로컬)
Kev 9B
76.8%
88.7%
48/52
0.055
1.03초
API 사용료 없음(로컬)
Strands Decider 2B
69.0%
76.7%
45/52
0.065
0.34초
API 사용료 없음(로컬)
Laya multilingual
59.8%
57.3%
40/52
0.330
0.04초
API 사용료 없음(로컬)
균형 정확도는 모델별로 조정한 임계값을 적용해 홀드아웃 절반에서 측정했습니다. 라우팅은 52건 전체 기준입니다. 보정 오차는 Phoenix 케이스 655건 전체에 대한 값이며, 모든 모델의 확신도를 같은 척도로 맞췄습니다(낮을수록 좋음). 로컬 지연 시간은 노트북 한 대에서 측정한 값이라 클라우드 수치와 직접 비교할 수 없습니다.
Clef 27B는 모든 평가에서 정확도가 Jev와 비슷했고, Jev, OpenAI와 함께 질문 표현 테스트에서 성능을 유지한 세 모델 중 하나였습니다. 첫 번째 평가에서 탈락한 이유는 Liquid보다 느리고 비쌌기 때문이며, Jev와 비교했어도 같은 두 지표에서 뒤졌을 것입니다.
이런 한계가 있기 때문에 전체 결과를 함께 공개합니다. 호스팅 API로도 쓸 수 있는 오픈 웨이트 모델을 찾는다면 Clef 27B를 검토해 볼 만합니다.
어떤 Decision Model을 선택해야 할까?
Jev 출시 3주 만에, 상위권 Decision Model 간 정확도 차이는 크게 줄어들었습니다. Jev, Clef 27B, Liquid는 환각 탐지에서 서로 1포인트 이내였고, 비용이 60~400배 비싼 LLM 판정과도 오차 범위 안에서 비슷한 성능을 냈습니 다. 클라우드 그룹에서는 Jev와 Liquid의 우열을 가리지 못했습니다. 첫 학습에 임대 GPU 비용이 약 $95 들어간 오픈 모델 Kev도 에이전트 라우팅에서 Jev와 비슷한 결과를 냈습니다.
따라서 실제로 모델을 선택할 때는 정확도뿐 아니라 응답 속도, 운영 비용, 배포 환경을 함께 고려해야 합니다. API로 호출해 쓸지, 웨이트를 직접 호스팅할지가 가장 중요한 기준입니다.
또한 평가 질문의 표현이 바뀌었을 때 모델이 일관된 판단을 내리는지도 확인해야 합니다. 일부 모델은 질문의 긍정과 부정을 바꾸는 것만으로 정확한 판단에서 확신에 찬 오답으로 뒤집혔기 때문입니다.
결국 신뢰할 수 있는 AI 평가 시스템을 구축하려면, 모델뿐 아니라 평가에 사용하는 질문 자체도 검증해야 합니다.
Arize AX에서 Decision Model 평가하기
직접 평가해 보기 위해 이번 벤치마크 환경을 다시 만들 필요는 없습니다(평가 하네스에 대한 글을 먼저 읽지 않아도 됩니다). Arize AX에는 Jev 판정 모델(Jev as a judge) 기능이 내장되어 있습니다. TypeSafe API 키를 추가하고 질문을 작성하면, Jev가 레이블과 확신도로 트레이스를 채점합니다. 직접 GPU에서 실행하는 Kev처럼 이번 비교에 포함되지 않은 모델을 쓰고 싶다면, 모델을 HTTPS 엔드포인트로 노출한 뒤 원격 평가기(remote evaluator)로 연결하면 됩니다. 채점은 여러분의 모델이 하고, 모델 호출, 재시도, 결과를 트레이스에 기록하는 작업은 AX가 처리합니다. 어떤 방식을 쓰든, 점수를 신뢰하기 전에 질문을 두 가지 표현으로 모두 테스트해 보세요.
원문: Decision model benchmark: Jev, Kev, Liquid d1, and more (Arize AI 블로그, 2026년 10월 7일)