Nemotron 3.5 Transcribe 한국어 전사·화자 구분, 녹음 파일 전용 공개 모델의 조건

공개 모델로 화자별 회의록을 만들 때는 전사 모델과 화자 분리 모델을 짝지어 쓰는 구성이 흔했다. NVIDIA 가 이번에 내놓은 비교에서 2위에 오른 시스템도 Multitalker Parakeet 에 Nemotron 3 Diarization 을 붙인 조합이다. 2026년 10월 28일 공개된 Nemotron 3.5 Transcribe 는 전사·화자 태그·한영 번역을 체크포인트 하나에서 프롬프트만 바꿔 처리한다. 모델 카드는 한국어를 최상위 등급에 넣고, 이 세 작업을 모두 지원한다고 표시했다. 다만 1시간 이하 녹음 파일만 받는 오프라인 모델이다. 공개된 한국어 전사 수치도 FLEURS CER 2.78% 하나뿐이니, 쌓인 녹취를 한꺼번에 처리하는 팀이 자기 녹음으로 먼저 재 볼 후보로 보는 편이 맞다.

01 화자 정보를 후처리로 맞추지 않고 생성하면서 붙이는 음성 LLM 이다

NVIDIA 는 이 모델을 SALM(speech-augmented language model, 언어 모델 앞에 음성 인코더를 붙인 구조)으로 분류한다. 바탕 언어 모델은 Mamba-2 와 Transformer 를 섞은 MoE 구조의 Nemotron 3.5 Lightning 30B-A3B 다. 그 앞에 Transformer 음성 인코더와, 학습 중에 고정해 둔 Nemotron 3 Diarization 모델이 붙는다. HF 블로그는 Sortformer 가 뽑은 화자 단서가 음향 특징과 함께 언어 모델에 들어가고, 모델이 글을 생성하면서 발화마다 화자 태그를 쓴다고 설명한다. 화자 배정을 전사가 끝난 뒤의 별도 단계에만 맡기지 않는다는 뜻이다. 단어 단위 시각은 생성이 끝난 뒤 따로 맞추는데, 이 과정은 아래 절에서 다룬다.

크기는 문서마다 다르게 적혀 있다. 모델 카드 기준으로 음성 인코더까지 합친 전체 크기는 34B 이고, 토큰마다 쓰는 활성 파라미터는 약 4.3B 다. 활성분 가운데 언어 모델 몫이 약 3.5B, 음성 인코더 몫이 약 0.8B 다. HF 블로그와 저장소 이름(30B-A4B)에는 약 30B·활성 약 4B 로 나오고, AI타임스가 쓴 340억·43억은 모델 카드 값과 같다.

모델은 같은 날 Hugging Face·NGC·build.nvidia.com·GitHub 에 올라왔다. 라이선스는 Linux Foundation 과 PyTorch Foundation 이 2025년에 처음 내놓은 OpenMDW 의 1.1판이다. 가중치는 BF16 기준판과 FP8·NVFP4 판이 있고, 추측 디코딩(speculative decoding, 작은 초안 모델이 토큰을 먼저 내고 본 모델이 검증하는 방식)용 초안 모델 DFlash2 가 따로 있다. 이 글은 이 모델을 한국어 녹취 처리에 쓸 때의 조건만 다룬다. 함께 공개된 학습 데이터셋 Granary v2 와 의료 미세조정 사례는 판단에 필요한 만큼만 짚는다.

02 한국어는 최상위 등급이지만 회의·통화 조건의 한국어 수치는 없다

모델 카드는 언어마다 등급을 매겼다. Leading 은 따로 조정하지 않아도 최고 수준이거나 그에 가까운 단계이고, Production-ready 는 서비스에 쓸 품질, Supported 는 지원하지만 미세조정이 필요할 수 있는 단계다. 한국어는 영어·독일어·힌디어 등과 함께 13개 Leading 언어에 들어 있다. 작업별로 나누면 아래와 같다(2026년 10월 모델 카드 기준).

한국어 수치가 모두 FLEURS 에서 나왔다는 점부터 봐야 한다. FLEURS 는 기계 번역 평가 세트 FLoRes-101 의 문장을 바탕으로 만든 102개 언어 병렬 음성 데이터셋이고, 언어마다 약 12시간 분량이다. 정해진 문장을 읽어 담은 세트라서, 여러 사람이 말을 끊고 들어오는 회의나 상담 통화와는 조건이 다르다. 모델 카드도 긴 녹음·겹치는 발화·잡음·고유명사·코드 스위칭은 쓰임에 맞춰 따로 시험하라고 적었다.

헤드라인 수치도 한국어와는 거리가 있다. 영어 Open ASR Leaderboard 성적부터 문서마다 다르다. 모델 카드와 연구 페이지는 9개 공개 데이터셋의 평균으로 WER 4.71% 를 적었고, 모델 카드는 이것이 균등 가중 평균이라고 밝혔다. HF 블로그와 The Decoder 는 같은 리더보드의 평균을 5.33% 로 적었는데, 블로그는 API 모델을 뺐다는 것 말고는 집계 기준을 밝히지 않았다. 두 쪽 모두 공개 가중치 모델 가운데 1위라는 설명은 같고, AI타임스는 앞의 값을 썼다.

7개 언어 다국어 리더보드 평균 4.62% 는 네덜란드어·프랑스어·독일어·힌디어·이탈리아어·포르투갈어·스페인어로 낸 값이라 한국어가 빠져 있다. 제3자 평가인 Artificial Analysis 에서는 AA-WER 2.8% 로 공개 가중치 모델 공동 1위였다고 HF 블로그가 밝혔다. The Decoder 가 옮긴 값은 2.81% 로, Voxtral Small 의 2.77% 와 거의 붙어 있다. 이번에 연 자료에는 이 평가의 언어별 내역이 없었으니, 리더보드 수치만 보고 한국어 회의 녹음 품질을 짐작하기는 어렵다.

03 프롬프트가 작업을 고르고, 단어 시각은 생성이 끝난 뒤 맞춘다

모델 카드와 연구 페이지 설명을 합치면, 요청 하나는 다음 순서로 처리된다.

1. 오디오는 16kHz 단일 채널 float32 PCM 으로 디코딩되고, 입력 형식은 wav·flac·mp3·ogg 를 받는다.
2. 약 600M 크기의 ASR 인코더와 약 99M 크기의 화자 인코더가 나란히 특징을 뽑아 투영 층을 거쳐 언어 모델에 넘긴다.
3. 언어 모델은 텍스트 프롬프트에 따라 전사·번역·언어 식별 결과를 만들면서 <spk:N> 형태의 화자 태그를 함께 쓴다.
4. 디코딩이 끝나면 가벼운 CTC 어댑터가 생성된 글을 오디오에 정렬해, 화자가 붙은 단어 타임스탬프를 만든다.

인코더는 내부적으로 30초 단위로 끊어 처리하지만, 모델 카드는 이것이 녹음 길이 제한이 아니라고 적었다. 길이를 정하는 쪽은 컨텍스트다. 오디오 토큰 하나는 약 80ms 분량이라 1시간 녹음은 입력만 약 45,000토큰이 된다. 모델 카드는 말이 빽빽한 1시간 대화라면 출력도 약 20,000토큰까지 갈 수 있다고 적었으니, 둘을 더하면 65,536토큰 컨텍스트가 거의 찬다. 학습도 1시간까지의 녹음으로 했고, 그보다 긴 입력에서의 성능은 보장하지 않는다.

작업은 텍스트 프롬프트로 고른다. 모델 카드의 예시는 영어이고, 전사·번역에서는 시스템 프롬프트를 비워 두라고 한다. 아래는 모델 카드에 실린 문구다.

# 화자 태그 전사
Transcribe this audio with punctuation and capitalization. Include all spoken words and verbal fillers. Write numbers in their standard written form. Put speaker tags <spk:0> <spk:1> <spk:2> <spk:3> on the transcription.

# 용어 힌트를 준 전사
Transcribe with punctuation and capitalization. Context terms: <names and terms>.

# 번역
Please translate the given speech to <target language>.

권장 설정은 temperature 0, 추론(reasoning) 끔, max_tokens 16,384 다. 긴 녹음에서는 전사가 잘리지 않게 이 상한을 올리거나 없애라고 모델 카드가 따로 적었다. vLLM 의 OpenAI 호환 /v1/chat/completions 로 보낼 때 오디오는 audio_url 항목에 base64 data URL 로 싣는다. skip_special_tokens 를 False 로 둬야 화자 태그가 지워지지 않고, 단어 타임스탬프는 mm_processor_kwargs 의 capture_ctc_timestamps 로 켠다.

용어 힌트는 득과 위험이 함께 온다. NVIDIA 는 ContextASR-Bench 에서 기대하는 개체 목록을 주면 고유명사 오류가 6분의 1 수준으로 준다고 밝혔는데, 이는 NVIDIA 자체 발표 수치다. HF 블로그의 예시는 용어 후보를 주면서 오디오가 뒷받침할 때만 쓰라고 함께 지시하고, 모델 카드는 잘못된 문맥을 준 경우를 따로 시험하라고 적었다.

드물게 생성이 멈추지 않고 같은 구절을 되풀이하는 문제도 있다. 모델 카드는 최종 텍스트에 한 번 거는 cleanup_generation_loops 함수를 함께 실었고, 공개한 전사·번역 성적도 이 함수를 건 값이다. 화자 태그는 한 녹음 안에서 사람을 가를 뿐 그 사람이 누구인지는 정하지 않으며, 모델 카드는 발언이 늘 맞는 사람에게 붙지는 않는다고도 적었다.

04 API 로 먼저 재고, 직접 띄우려면 80GB GPU 와 vLLM 이 기준이다

같은 모델이라도 어디서 돌리느냐에 따라 되는 기능이 다르다.

BF16 기준판은 A100 80GB·H100·H200 에서 돈다. FP8 은 H100·H200·L40S 에서, NVFP4 는 RTX 5090 에서 쓸 수 있고, Blackwell 계열(B200·GB200·RTX PRO 6000 등)은 세 정밀도를 모두 지원한다. 필요한 GPU 메모리 양은 모델 카드에 숫자로 나오지 않는다. HF 블로그는 NVFP4 판을 공개 예정이라고 적었지만, 10월 30일 Hugging Face 검색에는 nvidia 계정의 FP8·NVFP4 저장소가 이미 올라와 있다.

vLLM 으로 띄울 때 모델 카드가 요구하는 환경 변수는 아래 넷이다.

export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600
export VLLM_MAX_AUDIO_CLIP_FILESIZE_MB=180
export VLLM_USE_V2_MODEL_RUNNER=0

vLLM 은 기본으로 오디오 길이를 600초, 압축된 오디오 파일 크기를 25MB 로 막는다. 둘째·셋째 줄로 두 한도를 올리지 않으면 1시간 녹음이 들어가지 않는다. 마지막 줄은 단어 타임스탬프에 필요한 V1 모델 러너를 고르는 설정이다. DFlash2 추측 디코딩은 V2 러너에서만 돌기 때문에, 쓰려면 이 줄을 빼야 하고 그러면 단어 타임스탬프를 받을 수 없다. DFlash2 와 MTP 도 둘 가운데 하나만 고른다. vllm serve 전체 명령은 모델 카드에 있다. NeMo Speech 는 main 브랜치 최신을 쓰라고 안내하므로, 직접 띄운다면 설치한 커밋을 고정해 두는 편이 낫다.

처리량 숫자는 조건을 같이 읽어야 한다. 모델 카드 표에서 H100 한 장·BF16·영어 일괄 처리 기준 RTFx(1초에 처리하는 오디오 초)는 설정에 따라 약 260~410 이다. 기사들이 인용한 2,238 RTFx 는 RTX PRO 6000 에서 NVFP4 와 DFlash2 를 쓴 값이고, 연구 페이지는 이를 Nemotron Transcribe NIM 으로 서빙한 결과라고 밝혔다. 모델 카드는 이 서빙 최적화가 아직 오픈소스 공개판에 들어 있지 않다고 적었다. HF 블로그의 '100시간 분량을 3분 안에' 도 30초 클립을 높은 동시성으로 넣은 조건에서 나왔다.

05 녹취를 쌓아 두고 처리하는 국내 팀이라면 시험해 볼 만하다

녹화된 회의를 회의록으로 바꾸는 일, 상담 녹취를 모아 분석하는 일, 녹화 영상에 자막을 다는 일에 맞는다. 셋 다 파일이 먼저 있고 결과를 조금 늦게 받아도 된다. 라이브 방송 자막이나 통화 중 실시간 응대처럼 말하는 동안 글자가 나와야 하는 일은 대상이 아니다. NVIDIA 는 HF 블로그에서 이 모델이 "built for recorded audio, not live streaming" 이라고 적었고, 모델 카드도 내부 30초 분할이 실시간 처리를 뜻하지 않는다고 밝혔다.

작은 팀이라면 호스팅 API 로 품질부터 재는 편이 낫다. 맞지 않으면 바로 끊으면 되니 되돌리기가 쉽고, 위 가격표로 계산하면 1시간 녹음이 약 0.12달러라 수십 시간을 돌려도 시험비가 크지 않다. 직접 호스팅을 고르면 80GB급 GPU 에 vLLM·NeMo 버전 고정과 플러그인 설정까지 떠안게 된다. 처리하는 녹취 양이 그 운영 부담을 넘어설 때 고르면 된다. 이번에 연 자료에는 원화 요금이나 국내 리전 정보가 없었다.

고객 통화와 회의 녹음에는 개인정보가 담긴다. DeepInfra 모델 페이지는 데이터를 보존하지 않는다고 적었지만 처리 지역은 이번에 확인하지 못했다. 외부 API 로 녹취를 보내는 일이 사내 개인정보 처리 기준에 맞는지 먼저 따지고, 기준이 막는다면 가중치를 받아 내부 GPU 에 띄우는 길이 남는다. 모델 카드는 지시 학습을 거친 모델이라 프롬프트 인젝션에 더 취약하다고 밝혔다. 전사 결과를 다른 LLM 에이전트에 그대로 넘기는 구조라면, 녹음 속 말도 믿을 수 없는 입력으로 다루는 편이 안전하다.

라이선스는 걸림이 적다. OpenMDW-1.1 원문은 모델 자료를 제한 없이 다룰 권리를 주고, 모델로 만든 출력물에는 제한이나 의무를 두지 않는다. 모델 자료를 배포할 때는 라이선스 사본과 고지를 함께 넣어야 하고, 모델 자료가 특허나 저작권을 침해한다며 먼저 소송을 걸면 권리가 끝난다. 모델 카드는 상업·비상업 이용을 모두 허용한다고 적으면서, 함께 들어간 제3자 구성 요소의 라이선스도 따로 지키라고 덧붙였다.

결정은 이렇게 갈린다. 이미 상용 STT API 로 녹음 파일을 처리하고 있다면 자기 녹취로 CER 과 화자 태그 품질을 나란히 재 볼 만하다. 실시간 자막이 목적이라면 이번 공개로 지금 바꿀 것은 없다.

06 도입 전에 확인할 것

• 실제 녹취에 사람이 고친 정답을 붙인 클립을 100개 이상 모은다. NVIDIA 가 자기 도메인에 맞출 때 체크포인트를 고르는 데 쓰라고 권한 최소 규모다.
• 한국어 품질은 모델 카드처럼 CER 로 재고, 화자 태그는 사람이 바뀌는 지점이 맞는지 따로 본다.
• 모델이 16kHz 단일 채널로 디코딩하므로, 상담원과 고객을 채널로 나눠 녹음한 파일은 합칠지 채널마다 돌릴지 정한다.
• 긴 파일은 나눠 넣되, 모델 카드 장문 평가의 분할(55분 조각, 5초 겹침)은 권장값이 아니라 평가 설정으로 본다.
• vLLM 이라면 오디오 길이·파일 크기 한도와 max_tokens 를 1시간 녹음에 맞게 올리고, 단어 타임스탬프와 DFlash2 가운데 무엇을 쓸지 정한다.
• 결과에는 반복 생성 정리 함수를 걸고, <spk:N> 을 실제 이름에 잇는 단계는 따로 만든다.
• 사내 고유명사 목록을 넣은 결과와 뺀 결과를 같은 평가 세트에서 비교하고, 처리량은 서버 예열이 끝난 뒤에 잰다.

07 자주 묻는 질문

통화 상담에는 전혀 못 쓰나

통화 중 실시간 응대에는 못 쓴다. 통화가 끝난 뒤 녹취 파일을 넘겨 전사·요약·분석하는 흐름에는 쓸 수 있다.

몇 명까지 화자를 가르나

HF 블로그와 The Decoder 는 최대 8명이라고 적었다. 모델 카드는 추론 때의 상한을 따로 밝히지 않았고, 학습에 쓴 합성 대화가 최대 8명이었다고만 적었다. 예시 프롬프트에는 태그가 넷(<spk:0>~<spk:3>)만 나와 있으니, 참석자가 많은 회의 녹음으로 따로 시험해 보는 편이 낫다.

한국어 회의 녹음 정확도는 얼마인가

공개된 값이 없다. 한국어 공개 수치는 FLEURS 의 전사 CER 2.78%·번역 BLEU·언어 식별 정확도뿐이고, 화자 태그 전사의 한국어 성적은 모델 카드에 없다.

상업 서비스에 넣어도 되나

된다. 전사 텍스트 같은 출력물에는 라이선스 의무가 붙지 않는다. 의무는 미세조정한 가중치처럼 모델 자료를 남에게 배포할 때 생기며, 이때 라이선스 사본과 고지를 함께 넣어야 한다.