LAYA 쇼핑 검색 7 — 서술형 검색어 전처리는 무엇으로 하나: 질문 둘과 상용 AI 검색

17~22편을 검수하던 운영자가 두 가지를 물었다. 이 편은 그 질문과 답이다.

학습을 더 하려면 결국 동의어에 대한 학습도 필요한 것 같다. LAYA 로 검색엔진 앞에서 문장형 질의를 필터로 바꾸는 것은 규칙 파서보다 못하다는 결과로 보인다. 이렇게 읽은 게 맞나? 그렇다면 서술형 검색 질의를 검색엔진에 보내기 위한 전처리는 무엇으로 하면 좋나?

01 질문 1 — 동의어 학습이 필요한가

맞다. 다만 그 일은 사전이 더 싸고 정확하다.

LAYA 는 학습에서 본 단어와 값의 짝("푸퍼 → 패딩")을 배웠다. 처음 보는 동의어("다운 점퍼", "밤색")는 v2 에서도 완전 일치 0.057 이었다(21편). 정확도를 올리려면 그 동의어가 든 검색어에 정답을 붙여 학습 데이터에 넣어야 한다. 그런데 그것은 동의어 사전에 "다운 점퍼 → 패딩" 한 줄을 적는 일과 같다. 사전은 그 단어를 늘 맞히고, 검색어 하나에 0.02ms 다(LAYA 89ms).

그 한 줄을 사람이 다 찾아 적기 어렵다는 것이 진짜 문제다. 22편에서 이것을 LLM 에 맡겼다. 하루치 로그에서 사전이 모르는 말을 골라 보내자 동의어 후보 62개가 왔고 61개가 맞았다. 동의어는 모델에 학습시키기보다 사전을 키우는 쪽이 맞고, 사전을 키우는 일에 LLM 이 잘 맞는다.

02 질문 2 — 검색엔진 앞의 LAYA 는 규칙보다 못한가

혼자 쓰면 그렇다. 섞으면 이야기가 달라진다.

• 필터 칸 대부분은 단어 하나가 값을 가리킨다. 표를 찾는 일이고, 표는 모델보다 정확하고 빠르다. 그래서 LAYA 를 필터 파서로 혼자 세우는 것은 규칙보다 못하다. 읽으신 대로다.
• 21편에서 규칙에 LAYA 를 더한 몫은 +0.033 이었다. 모델 서버와 학습 파이프라인을 운영할 값어치로는 작았다.
• 22편에서 사전이 커지자 달라졌다. 사전이 아는 단어를 다 읽고 나면 남는 칸은 "예산 25만"·"오십만 원 이하" 같은 가격 표현, 사전에 아직 없는 표현이다. 그 빈칸을 LAYA 가 메우니 0.700 이 0.857 이 됐다. LAYA 가 메운 칸은 거의 전부 가격(56칸, 79% 맞음)이었다. 사전이 넓을수록 LAYA 가 맡는 칸은 좁아지고, 그 좁은 칸에서는 LAYA 가 꽤 잘한다.

한 가지 주의가 있다. 이 숫자는 단어 표로 만든 합성 데이터에서 나왔다. 실제 검색 로그는 더 지저분하고 값도 많다. 비교의 방향은 믿되 숫자는 내 로그로 다시 잰다.

03 질문 3 — 전처리는 무엇으로 하나

조회는 사전·정규식으로, 판단이 필요한 빈칸은 작은 모델로, 사전을 키우는 일은 오프라인 LLM 으로 나눈다. 층으로 쌓으면 이렇다.

그리고 이것들을 잰다. 결과 0건 비율, 사용자가 필터 칩을 고친 비율, 클릭률이다. 칩을 고친 기록은 7층의 재료이자 5층 모델의 학습 데이터다(20편).

검색어마다 LLM 을 부르는 방식도 22편에서 함께 쟀다. 작은 모델(Haiku)이 학습 없이 완전 일치 0.848 로, 처음 보는 단어에서는 가장 높았다(0.757). 그러나 검색어 하나에 중앙값 2.2초가 걸리고, 비용이 들고, 검색어가 밖으로 나간다. 같은 정확도(0.857)를 사전 + LAYA 는 98ms 에 낸다. 실시간 LLM 을 쓴다면 인기 검색어는 결과를 저장해 두고, 사전과 LAYA 가 모두 자신 없는 드문 검색어만 보내는 정도가 현실적이다.

04 상용 AI 검색은 어떻게 하나

공개 문서와 기사로 확인한 범위만 적는다.

• Algolia — "규칙(Rules)" 으로 검색어의 단어가 필터 값과 맞으면 그 단어를 검색어에서 지우고 필터를 건다. "red shorts" 는 색 = red 필터 안에서 "shorts" 만 찾는다. "cheap toaster" 처럼 가격을 거는 것도 규칙 두 개로 한다. 그리고 자동으로 건 필터를 화면에 칩으로 보여 주라고 권한다. 사용자가 모르게 걸린 필터는 당황스럽기 때문이다. 이 강좌의 규칙 파서와 같은 방식이다.
• Google Vertex AI Search(상거래용) — 문서에 나온 질의 기능은 결과가 적을 때 넓히는 쿼리 확장, 정밀도와 재현율 사이를 고르는 관련성 문턱, 검색어에 맞춰 보여 줄 패싯을 고르는 동적 패싯, 행동 기반 개인화다. 동적 패싯은 보여 줄 필터를 고를 뿐 자동으로 걸지는 않는다.
• Amazon Rufus — 공식 기술 문서가 아니라 외부 분석 기준이다. 질의 계획 모델이 의도를 나누고 무엇을 찾을지 정한 뒤, 카탈로그·리뷰·질문답변에서 찾아(RAG) 쇼핑 전용 LLM 이 답을 쓴다고 한다. 모호한 질의를 상품 속성에 잇는 지식 그래프(COSMO)가 있다는 분석도 있다. 필터 칸을 채우기보다 대화형 도우미라는 별도 입구다.
• 네이버 — 2026년 네이버플러스 스토어에 "쇼핑 AI 에이전트" 를 냈다. 상품 요약·비교·리뷰 분석에 초점을 두고, 가격·배송·상품 속성·사용자 선호를 학습한 커머스 특화 LLM 을 쓴다고 밝혔다. 기존 검색 순위는 GBDT 기반 학습 순위(Learning to Rank)로, 검색어가 상품명·카테고리·브랜드·속성 중 어디와 맞는지를 본다고 공개했다.
• 쿠팡 — 상품 이미지·설명·속성 데이터를 AI 가 읽기 좋게 정비한다는 보도가 있다. 질의 이해 방식을 설명한 공개 자료는 찾지 못했다.

공통점을 추리면 이렇다.

1. 단어 → 필터는 여전히 규칙·사전 층이 한다. 화면에 칩으로 보여 주고, 사용자가 고칠 수 있게 한다.
2. 표현 차이는 벡터 검색이 흡수한다. 필터로 바꾸지 못한 말은 의미 검색으로 넘긴다.
3. LLM 은 별도 입구다. 비교·요약·추천을 해 주는 대화형 도우미로 붙고, 검색창의 매 검색어를 실시간으로 필터로 바꾸는 데 쓰지는 않는다.
4. 순위는 행동 데이터로 학습한다. 클릭·장바구니·구매가 정답이다.

05 LAYA 의 자리는 입구

LAYA 공식 문서의 첫 사용 사례는 "Smart Ingress Gateway" 다. 요청의 종류와 난이도를 먼저 고르고, 간단하고 확신 높은 것은 로컬에서 끝내고, 나머지만 LLM 에 보낸다. 쇼핑 검색에 대입하면 이 질문이다.

• 이 검색어는 키워드 검색으로 충분한가("갈색 패딩")
• 비교·추천이 필요한 질문인가("신혼집 소파 추천해줘, 강아지 있어") — 대화형 도우미로
• 상품 검색이 아니라 주문·배송 문의인가("어제 시킨 거 언제 와요") — 고객센터로

이것은 답이 단어가 아니라 문장 전체에 있고, 선택지가 셋뿐이며, 검색마다 빨리 답해야 한다. 이 강좌에서 LAYA 가 잘한 일(문의 분류)과 같은 모양이다. 이 질문은 이 강좌에서 재지 않았으니, 해 본다면 학습 전 모델로 먼저 재는 것부터다(5편).

06 실습

1. 내 쇼핑몰의 상품 속성값(색·소재·브랜드)을 내보내 3층의 사전을 자동으로 만들어 본다. 몇 개의 단어가 나오는지, 검색 로그 상위 100개 중 몇 개를 덮는지 본다.
2. 결과 0건 검색어를 한 주 모아 7층처럼 LLM 에 동의어 후보를 물어 본다(22편의 candidates.py).
3. 입구 고르기 질문 하나(키워드 · 도우미 · 주문 문의)를 choice 로 설계해, 검색 로그 50건으로 학습 전 LAYA 를 재 본다.