결정 모델 Jev 와 Laya, 장단점과 고르는 법
결정 모델(decision model)은 글을 쓰지 않는다. 정해 둔 선택지 중 하나를 골라 확률과 함께 돌려줄 뿐이다. 선택지가 많고 API 로 바로 쓰려면 TypeSafe AI 의 Jev, 데이터를 밖에 내보내기 어렵고 미세 조정(fine-tuning)할 데이터가 있으면 Convai Innovations 의 Laya 가 맞다.
01 결정 모델은 텍스트 대신 확률을 준다
TypeSafe AI 는 2026년 9월 15일 Jev 를 내놓으며 이 부류를 "System One 모델"이라 불렀다. 빠르고 구조화된 판단을 내려 소프트웨어가 바로 쓰게 하는 모델이라는 뜻이다. 질문은 세 가지다. choice 는 선택지 중 하나를 고르고, score 는 순서 있는 등급에 점수를 매기며, noul 은 '예'일 확률을 낸다.
덕분에 응답을 파싱할 일 없이 확률을 문턱값과 비교해 바로 분기하면 된다. 다만 "환각이 없다"는 홍보 문구는 좁게 읽어야 한다. Runware 의 분석대로, 답이 정해진 집합 밖으로 못 나갈 뿐 그 안에서 틀린 답을 자신 있게 고를 수는 있다.
02 요청 모양은 같고 운영 방식이 다르다
Laya 는 Apache 2.0 오픈 가중치 모델이고, HTTP 서버가 Jev 와 같은 /v1/systemone 요청·응답 형식을 따른다. 그래서 기존 Jev 클라이언트는 기본 주소만 바꿔 Laya 로 옮길 수 있다. 남는 차이는 비용을 내는 방식과 한계다.
| 항목 | Jev | Laya |
|---|---|---|
| 비용 | 입력 100만 토큰당 0.042달러, 출력 무료 | 토큰 요금 없음(직접 호스팅) |
| 지연 | 네트워크 포함 70–500ms | T4 GPU 추론 32.8–39.5ms |
| 입력 길이 | 32,000토큰(Cloudflare 문서) | 기본 512–1,024토큰 |
| 선택지 수 | 최대 255개 | 선택지 설명이 한 토큰 예산을 나눠 씀 |
지연은 표 그대로 비교하면 안 된다. Jev 쪽 숫자에는 클라우드 왕복이 들어 있고, Laya 쪽은 GPU 추론 시간만 잰 값이다. 서버는 모델 카드대로 이렇게 띄운다.
pip install "laya[serve]"
LAYA_DEVICE=cuda LAYA_PRELOAD=1 laya-serve03 장단점은 벤치마크 조건에 숨어 있다
Laya 모델 카드에 따르면 typed-decisions 벤치마크에서 Laya 가 0.766, Jev 가 0.727 을 기록했다. 다만 이는 그 작업에 맞춰 미세 조정한 체크포인트의 점수다. 기본 체크포인트를 제로샷(zero-shot, 추가 학습 없이 바로 쓰기)으로 돌리면 0.362 에 그치는데, 무작위로 찍은 기준선이 0.318 이다.
선택지가 많으면 판도가 뒤집힌다. 라벨이 70개를 넘는 Banking77 에서는 Jev 가 Laya 의 두 배 가까운 정확도를 냈다(평가한 라벨 수는 조금 다르다). Laya 는 선택지 설명이 한 토큰 예산을 나눠 쓰는 구조라, 라벨이 많으면 라벨당 3–4토큰밖에 남지 않는다. 모델 카드는 score 도 가장 약한 질문 유형으로 꼽는다. Jev 는 이런 한계가 덜한 대신 비공개 모델이라 내부를 들여다볼 수 없다.
04 LLM 앞뒤에 두는 '똑똑한 if 문'으로 쓴다
TypeSafe 문서는 독립된 질문 여러 개를 던지고 그 답을 코드의 결정적 검사로 분기하라고 권한다. 신뢰도가 낮은 건만 사람이나 추론 모델로 넘기는 식이다. 출처들이 꼽는 자리는 이렇다.
- 에이전트가 부를 도구나 모델을 고르는 라우팅
- 고객 문의 분류와 에스컬레이션 판단
- LLM 출력이 규칙을 어겼는지 보는 가드레일
- 답이 루브릭을 통과했는지 매기는 평가 채점
Langfuse 는 Jev 를 평가 채점기로 붙이며 질문 하나에 판단 하나만 담으라고 당부한다. 결정 모델에 맡기지 않을 것도 있다. 권한이나 가격 상한처럼 반드시 지킬 규칙은 코드에 남기라는 것이 Runware 의 조언이고, 이유를 설명해야 하는 판단은 여전히 LLM 몫이다.
05 우리 상황에 적용: 초고 검수 앞단의 분류부터 맡긴다
이 블로그는 AI 가 초고를 쓰고 사람이 검수해 공개한다. 그 사이에 결정 모델을 두면 태그 고르기는 choice 로, "실명이 들어갔나" 같은 의심 표시는 noul 로 옮길 수 있다. IP 주소나 버전 번호처럼 패턴으로 잡히는 규칙은 코드 검사에 맡긴다.
공개 전 초고를 밖에 보내기 꺼려지면 Laya 가 맞지만, 제로샷 성능이 낮아 지난 검수 기록으로 미세 조정부터 해야 한다. 어느 쪽이든 지난 초고에 같은 질문을 먼저 돌려, 확률이 사람의 판정과 얼마나 맞는지 본다. 문턱값은 그 결과로 정하고, 그 아래만 사람에게 넘기는 데서 시작한다.