홈강좌LAYA 결정 모델 24편 중 1편째
LAYA 결정 모델이란 — 글을 쓰지 않고 고르기만 하는 모델
결정 모델(decision model)은 글을 쓰지 않는다. 정해 둔 선택지 가운데 하나를 확률과 함께 고를 뿐이다. 이 시리즈는 오픈 결정 모델 LAYA 를 맥북에 설치해 판단을 시험해 보고, 내 데이터로 학습시키고, 운영에서 모은 정답으로 계속 고쳐 가며, 서비스로 배포하는 과정을 직접 돌려 보며 따라간다.
LAYA 와 JEV 를 처음 소개한 글은 JEV·LAYA 결정 모델 안내에 있다. 이 편은 그 가운데 실습에 필요한 것만 다시 정리한다.
01 LLM 과 무엇이 다른가
고객 문의를 담당 팀에 나누는 일을 생각해 보자. LLM 에게 맡기면 "결제팀으로 보내는 게 좋겠습니다. 왜냐하면…" 같은 글이 돌아오고, 그 글에서 팀 이름을 뽑아내야 한다. 가끔 목록에 없는 팀 이름을 지어내기도 한다.
결정 모델은 처음부터 고르기만 한다.
| LLM | 결정 모델(LAYA) | |
|---|---|---|
| 돌려주는 것 | 글 | 선택지와 확률(예: billing 0.92, delivery 0.03 …) |
| 목록 밖 답 | 나올 수 있다 | 나올 수 없다 |
| 결과 읽기 | 글을 해석해야 한다 | 그대로 쓴다 |
| 속도 | 글자 수만큼 걸린다 | 한 번 계산하면 끝(공식 수치로 T4 GPU 에서 약 33~40ms) |
| 크기 | 수십억 개 이상의 매개변수 | 3억~4억 개(이 크기라 맥북에서도 학습된다) |
그래서 결정 모델은 LLM 을 대신한다기보다, LLM 이나 사람 앞뒤에서 빠르게 나누고 거르는 자리에 놓인다. 문의 분류, 요청을 어느 모델로 보낼지 정하기, 위험한 입력 걸러내기, 답변 채점 같은 일이다.
02 LAYA 와 JEV
- JEV 는 TypeSafe AI 가 2026년 9월에 내놓은 결정 모델로, API 로만 쓴다.
- LAYA 는 Convai Innovations 가 공개한 오픈 가중치 결정 모델이다. 라이선스는 Apache 2.0 이라 내 서버에서 돌리고, 학습시키고, 상업 서비스에 쓸 수 있다. 같이 들어 있는 HTTP 서버는 JEV 와 같은 요청 모양(
/v1/systemone)을 받아서, JEV 를 쓰던 코드가 주소만 바꿔 옮겨 올 수 있다.
LAYA 에는 체크포인트가 셋 있다.
| 체크포인트 | 바탕 모델 | 매개변수 | 잘하는 것 |
|---|---|---|---|
laya (기본) | ModernBERT-large | 421M | 영어 |
laya-multilingual | mmBERT-base | 322M | 한국어를 포함한 100개 넘는 언어 |
laya-typed-decisions | ModernBERT-large | 421M | 공개 벤치마크의 네 가지 업무 |
이 시리즈는 한국어 문의를 다루니 multilingual 을 바탕으로 쓴다.
03 질문은 세 종류다
LAYA 에 묻는 질문은 모양이 정해져 있다.
- choice — 여럿 중 하나 고르기. "이 문의는 결제·배송·계정·기술 중 어느 팀?" 선택지마다 확률이 나온다.
- score — 순서 있는 단계에 점수 매기기. "얼마나 급한가: 여유·오늘 안에·지금 당장" 단계 사이의 값이 나온다.
- noul — 예/아니오. "고객이 화가 났는가?" 예일 확률이 나온다.
질문 여럿을 한 번에 물어도 계산은 한 번이다. 문장 하나에 팀·급한 정도·화남 여부를 같이 묻는 식이다.
04 확률을 믿을 수 있어야 쓸 수 있다
결정 모델의 값어치는 확률에 있다. "결제팀 0.98" 이면 자동으로 보내고, "결제팀 0.55" 면 사람에게 넘기는 식으로 쓰기 때문이다. 그러려면 0.9 라고 말한 답이 실제로 열에 아홉은 맞아야 한다. 이것을 보정(calibration) 이라 한다. 공식 모델 카드는 배포된 체크포인트가 지나치게 확신하는 편이니 내 데이터로 다시 보정하라고 적고 있다. 이 시리즈에서도 학습 전후로 이 값을 계속 잰다.
05 이 시리즈에서 할 일
- 설치·테스트(1~5편) — 맥북에 설치하고, 질문을 설계하고, 학습 없는 기본 모델이 내 일에서 몇 점인지 잰다.
- 내 모델 만들기(6~8편) — 학습 데이터를 만들고, 맥북의 GPU 로 미세조정하고, 결과를 읽는다. 잘 될 때와 안 될 때를 모두 실제로 돌려 본다.
- 지속 학습(9~11편) — 운영에서 사람이 고친 판단을 모아 다시 학습하고, 새 판이 정말 나은지 판정해서 올린다.
- 배포(12~15편) — 로컬 서버, 배포 방법 비교, Docker 이미지, 새 판 교체와 되돌리기까지.
- 돌아보기(16편) — 첫 사례의 판을 한자리에서 다시 재고, 지속 학습이 정답률을 올렸는지와 권장 순서를 정리한다.
- 사례 둘 — 쇼핑 검색(17~23편) — 쇼핑몰 검색어를 필터(가격·분류·품목·겨울옷·성별·색)로 바꾸는 일로 같은 과정을 한 번 더 하고, 사전·정규식·LLM 과 나란히 재서 LAYA 가 맞는 일인지 따진다.
- LAYA 답게(24편) — 두 사례에서 얻은 기준과 가장 LAYA 다운 쓰임 다섯 가지.
실습 예제는 쇼핑몰 고객 문의를 네 팀(결제·배송·계정·기술)으로 나누는 일이다. "결제창 오류는 결제팀이 아니라 기술팀" 처럼 우리 회사만의 규칙이 들어 있어서, 기본 모델은 잘 모르고 학습해야 맞히게 된다. 다음 편에서 설치부터 한다.