LAYA 서비스 운영 — 그림자 비교, 판 교체, 되돌리기, 재학습 주기

#!/bin/sh
# 지금 판(v1)과 새 판(v2)을 한 서버에 같이 올리고, 다음 주 문의 150건을 둘 다에 물어 비교한다(그림자 비교).
: "${LAYA_API_KEY:=$(python -c 'import secrets; print(secrets.token_hex(16))')}"  # 밖에서 주지 않으면 이번 실행용 키를 만든다
export LAYA_API_KEY
export LAYA_HOST=127.0.0.1 LAYA_PORT=8000
export LAYA_EXTRA_MODELS='{"tickets": "checkpoints/v1", "tickets-next": "checkpoints/v2"}'
laya-serve > server.log 2>&1 &
SERVER=$!
for i in $(seq 1 90); do curl -s -o /dev/null localhost:8000/health && break; sleep 1; done
python shadow.py
kill $SERVER
wait $SERVER 2>/dev/null || true

"""같은 문의를 서비스 중인 판(tickets)과 새 판(tickets-next)에 보내 답을 비교한다.

고객에게는 tickets 의 답만 쓰고, tickets-next 의 답은 기록만 한다 — 그래서 새 판이 틀려도 손해가 없다.
"""
import json
import os
import urllib.request

URL = "http://127.0.0.1:8000/v1/systemone"
HEADERS = {"content-type": "application/json", "authorization": f"Bearer {os.environ['LAYA_API_KEY']}"}


def ask(model, case):
    body = json.dumps({"model": model, "state": case["state"], "questions": case["questions"]}).encode()
    req = urllib.request.Request(URL, data=body, headers=HEADERS)
    with urllib.request.urlopen(req) as res:
        return json.load(res)["answers"]["team"]["choice"]


cases = [json.loads(line) for line in open("next-week-150.jsonl", encoding="utf-8")]
served_ok = next_ok = differ = 0
examples = []
for case in cases:
    served, nxt = ask("tickets", case), ask("tickets-next", case)
    gold = case["expected"]["team"]
    served_ok += served == gold
    next_ok += nxt == gold
    if served != nxt:
        differ += 1
        if len(examples) < 4:
            examples.append(f"  {case['state']}  served={served} next={nxt} gold={gold}")

n = len(cases)
print(f"cases: {n}, answers differ: {differ} ({differ / n:.0%})")
print(f"served (v1) correct: {served_ok / n:.3f}")
print(f"next   (v2) correct: {next_ok / n:.3f}")
print("where they differ:")
print("\n".join(examples))

#!/bin/sh
: "${LAYA_API_KEY:=$(python -c 'import secrets; print(secrets.token_hex(16))')}"  # 밖에서 주지 않으면 이번 실행용 키를 만든다
export LAYA_API_KEY
# 판 교체와 되돌리기 — 같은 포트에 v2 이미지를 띄웠다가, 문제가 생긴 셈 치고 v1 이미지로 되돌린다.
answer() {
  curl -s localhost:8001/v1/systemone -H 'content-type: application/json' \
    -H "authorization: Bearer $LAYA_API_KEY" -d @request.json |
    python -c 'import json,sys; t=json.load(sys.stdin)["answers"]["team"]; print("  team", t["choice"], t["probabilities"])'
}
start() {
  docker run -d --rm --name laya-tickets -p 127.0.0.1:8001:8000 -e LAYA_API_KEY laya-tickets:$1 > /dev/null
  for i in $(seq 1 120); do curl -s -o /dev/null localhost:8001/health && break; sleep 1; done
  echo "serving laya-tickets:$1"
}
stop() { docker stop laya-tickets > /dev/null; }

docker image ls laya-tickets --format '{{.Repository}}:{{.Tag}} {{.Size}}' | sort
start v2; answer; stop
echo "rollback"
start v1; answer; stop

# 1) 운영: 서비스 판이 판단하고, 확신이 낮은 것과 표본을 사람이 본다 (9편)
python collect.py 0.99 0.30 data/feedback.jsonl
# 2) 데이터 쌓기: 이전 학습 데이터 + 새 정답 (10편)
cat data/train-v2.jsonl data/feedback.jsonl > data/train-v3.jsonl
# 3) 학습: 바탕 모델에서 누적 데이터로 처음부터 (10편)
laya-train --data data/train-v3.jsonl --base multilingual --out checkpoints/v3
# 4) 판정: 고정 평가 데이터로 지금 판과 비교, 기준을 넘을 때만 (11편)
python promote.py checkpoints/v2 checkpoints/v3
# 5) 이미지: 통과한 판만 (14편)
sh build.sh v3
# 6) 그림자 비교 → 교체 → 문제 있으면 v2 로 되돌리기 (이 편)