본문으로 건너뛰기

검사기가 거꾸로 일하고 있었다 — LLM 품질 게이트를 의심하는 법

박재민
개발 프로젝트AILLM

도입

안녕하세요, 개발자 박재민이에요. 2편까지는 구조를 바꿀 때마다 ‘게이트 통과 여부’와 지표를 기준으로 결과를 판단했어요. 이번 편에서는 그 게이트 자체가 틀렸던 사례를 모았어요. 발행 전에 기사를 자동으로 검사하는 게이트가 무엇을 보고 있었는지, 그리고 무엇을 놓쳤는지 정리해볼게요.

여기서 게이트는 축자율, 커버리지, 환각 등을 검사하는 자동 품질 검사기를 말해요. 축자율은 원문 표현을 얼마나 그대로 가져왔는지, 커버리지는 원문의 사실을 얼마나 보존했는지, 환각은 원문에 없는 수치·발언·인명 등이 들어갔는지를 보는 지표예요.

모범 답안을 넣었더니 떨어졌어요

먼저 사람이 직접 쓴 모범 재구성 기사, 즉 골든을 기준으로 게이트를 시험했어요. 같은 사실 세 건을 골든 문체와 직역 문체로 각각 작성해 검사기에 넣었어요. 골든 문체는 커버리지 0.33으로 FAIL을 받았고 원문을 거의 직역한 글은 1.00으로 PASS를 받았어요.

커버리지 게이트는 원문이 아니라 추출된 사실 목록인 팩트 테이블과 부분 문자열로 대조하고 있었어요. 사람이 ‘40%’를 ‘열에 넷꼴’로 바꿔 쓰면, 게이트는 같은 사실을 표현만 바꾼 것으로 보지 않고 누락으로 셌어요. 결과적으로 게이트는 원문 표현을 되살리라고 요구한 셈이에요. 그러면 축자율이 나빠져요. 두 게이트가 서로 반대 방향으로 당기고 있었던 거예요.

골든을 그대로 목표로 삼을 수도 없었어요. ‘40%’를 ‘열에 넷꼴’로 바꾸는 건 사람이 반올림해도 안전한지 판단해서 한 거예요. 자동 파이프라인이 그대로 따라 하면 사실 무결성이 위험해져요.

그래서 기여도를 나눠서 확인했어요. 표현을 그대로 두면 원문과 다섯 글자 단위로 겹치는 비율(뒤에 나오는 축자율과는 다른 지표예요)이 80.4%였고 표현만 다시 쓰면 27.4%였어요. 여기에 비율 수치까지 고유어로 바꾸면 15.9%가 됐어요. 이 지표의 기준인 30% 아래로 내려가는 데는 표현 재작성만으로 충분했어요. 위험한 숫자 바꿔 쓰기는 필요하지 않았어요.

길이도 결과를 흔들었어요. 골든은 평균 626자였는데 우리 산출물은 1,046자였어요. ‘1,000자당 귀속 표현 수’처럼 밀도로 계산하는 지표는 긴 글이 사실을 더 많이 담으면 문체 차이가 없어도 올라가요. 귀속 표현은 ‘(회사명)에 따르면’처럼 출처를 밝히는 표현이에요.

같은 길이로 잘라 다시 측정하자 골든 대비 ‘귀속 표현 12.6배’는 약 3~5배로 줄었어요. 12.6배는 과장이었던 거예요. 분석 문서 초판은 귀속 표현을 가장 먼저 고칠 격차로 봤는데, 정규화하지 않은 수치에 기댄 판단이었던 셈이에요. 같은 정규화에서 나온 ‘피동·숫자는 약 6배’라는 값도 기사 한 건에서 나온 결과였어요. 골든 다섯 세트로 다시 측정하자 피동은 3.0배, 숫자는 1.7배였고 재현되지 않았어요. 숫자 밀도는 문체 지시로 움직이지 않았어요. 골든의 낮은 숫자 밀도는 문체가 아니라 어떤 사실을 선택했는지의 차이였어요. 한 번 고친 결론도 표본을 넓히면 다시 바뀌었어요. 그래서 두 기록을 모두 남겨뒀어요.

일본어 실험에서도 같은 문제가 나왔어요. 원문 2,294자를 589자로 줄인 글이 커버리지 1.00을 받았어요. 팩트 테이블에 있는 사실만 담으면 만점이 나오는 구조였기 때문이에요. 2편의 ‘-196℃’ 사례도 같았어요. 핵심 스펙 수치가 통째로 빠졌는데도 커버리지는 1.000이었어요. 그 수치가 팩트 테이블에 없었거든요.

검사기를 만들었다면 정답을 아는 입력으로 검사기부터 시험해야 해요. 모범 답안뿐 아니라 일부러 망친 답안도 넣어야 해요. 지표를 비교하기 전에는 길이처럼 결과를 흔드는 변수도 정규화해야 해요.

덜 담을수록 깨끗해 보이는 환각 검사

커버리지에서 기준이 불완전했던 것처럼, 환각 검사에서도 기준이 문제였어요. 한국어 기사 한 건으로 원문을 보고 쓰는 경로와 원문 없이 쓰는 경로를 한 번씩 비교했는데 환각 게이트의 대조 기준 역시 팩트 테이블이었어요.

원문을 정확히 옮긴 경로는 팩트 테이블에 없지만 원문에는 있는 세부 정보까지 담았고 그 결과 수치 여섯 건이 검출됐어요. 반면 원문을 보지 않은 경로는 0건이었어요. 정확하게 쓸수록 벌을 받고 덜 담을수록 깨끗해 보이는 구조였어요.

이후 설계를 두 가지로 바꿨어요. 원문을 보는 재구성 경로에서는 검증기가 원문에서 되찾은 사실에 수치·날짜·기관·인물 중 하나의 유형을 붙여 커버리지 분모에 넣었어요. 커버리지는 이 네 유형만 분모로 세기 때문에, 모든 사실을 ‘사건’ 유형으로 넣으면 분모에서 빠져서 사실을 되찾아도 게이트가 영원히 확인하지 못해요.

일본어 재구성 경로에서는 환각 수치 검사의 대조 기준에 원문을 합치는 설정을 소스 단위로 켰어요. 9/16에 반영한 설정이에요. 원문에 있는 연도를 창작으로 기록한 라이브 사례가 계기였어요. 같은 구조의 문제가 한 달 반 뒤 다른 언어에서 다시 나타난 셈이에요.

검사 기준이 무엇인지 먼저 확인해야 해요. 기준이 불완전하면 그 불완전함이 벌점으로도, 면죄부로도 바뀔 수 있어요.

단위를 버리는 수치 검사

환각 검사의 수치 축 코드를 단순화하면 다음과 같아요.

_ARABIC = re.compile(r"[0-9]+(?=단위)")   # 단위는 lookahead라 캡처되지 않는다
probes = _ARABIC.findall(body)            # 프로브 = 숫자만
if probe in pool: continue                # pool = 팩트를 공백으로 이어 붙인 평문

lookahead는 뒤에 무엇이 오는지 확인만 하고 결과에는 넣지 않는 정규식 문법이에요. 그래서 숫자 뒤의 단위는 버려져요. 기사에 ‘2倍(2배)’가 있으면 실제로 묻는 질문은 ‘팩트 어딘가에 숫자 2가 있나?’였어요. ‘2배라는 주장이 팩트에 있나?’가 아니었어요. 팩트에는 숫자가 흔하게 들어가요. 제품명에 ‘2.0’만 있어도 통과할 수 있어서 0부터 9까지 대부분이 사실상 화이트리스트처럼 동작했어요.

저장된 기사 17건을 다시 채점했더니 수치 검출은 0건이었어요. 같은 채점에서 기관명은 2건, 인용은 14건이 검출됐어요. 검사 자체는 실행되고 있었지만 수치 축은 단위를 버린 채 비교하고 있었어요.

검사가 창작을 통과시킨다는 사실은 일부러 만든 입력으로 재현해 확인했어요. 따라서 0건을 ‘창작이 없다’고 읽을 수는 없었어요. 0은 부재의 증거가 아니었어요.

수리 전에 기각 조건, 즉 어떤 결과가 나오면 이 수리를 버릴지부터 정했어요. LLM을 부르지 않아 비용은 들지 않았지만, 관리할 대상은 돈이 아니라 ‘결과를 보고 기준을 고치는 것’이었어요.

수리 후에도 저장된 17건의 새 검출은 0건이었어요. 이번에는 검사가 죽어서 0건이 나온 게 아닌지 확인하려고 실제로 대조한 숫자 수도 함께 셌어요. 아라비아 숫자 107개와 한자 숫자 3개, 모두 110개를 대조했고 전부 팩트로 설명됐어요.

결함은 실제로 있었지만 이 17건에서는 아직 문제를 일으키지 않았어요. 입력량이 늘어날 때 발동하는 결함이었던 셈이에요. 같은 0건이라도 수리 전과 수리 후의 의미가 달랐고 차이는 실제로 몇 개를 검사했는지 함께 셌느냐에 있었어요.

검사가 항상 0을 낸다면 먼저 일부러 틀린 입력을 넣어봐야 해요. 특히 정규식의 lookahead처럼 보는 것과 가져오는 것이 다른 문법도 주의해야 해요.

재생성할수록 나빠지는 루프

게이트에서 떨어지면 기사를 다시 생성하는 루프도 문제가 있었어요. 루프가 재생성할 때마다 DB를 덮어써서 항상 마지막 시도가 저장됐어요. 재생성 결과가 더 나빠져도 마지막 결과가 채택되는 구조였어요.

기존 기록인 기사 17건과 게이트 실행 47행을 다시 계산했어요. 여러 번 시도한 15건 중 6건은 다른 시도가 더 나았고 그중 4건은 첫 시도가 최선이었어요.

가장 심각한 사례에서는 첫 시도가 환각 검출 0건이었는데 루프가 그 결과를 버리고 발언을 창작한 초안을 저장했어요. 점수가 조금 나빠지는 정도의 문제가 아니라, 발언 창작이라는 종류가 다른 문제였어요.

이 기록에서는 시도가 모두 FAIL이라 통과 여부만으로는 고를 수 없었어요. 그래서 각 축을 자기 임계값을 기준으로 정규화한 초과분으로 줄 세웠어요.

key = (환각 있음?, 축별 초과율의 최댓값, 초과율 합, -시도 번호)   # 작을수록 좋다

첫 시도가 최선이라면 제목·본문·참고 링크를 포함한 초안 전체를 되돌려야 해요. 첫 시도는 이미 저장됐으니 복원할 필요가 없다고 생각하기 쉽지만 실제로는 나중 시도가 이미 덮어썼어요.

반대 방향의 근거도 있었어요. 15건 중 9건은 마지막 시도가 최선이었어요. 따라서 무조건 첫 시도로 되돌리는 것도 답은 아니에요. 일본어 경로에서는 문제가 더 극단적으로 나타났고 그 이야기는 다음 편에서 다룰 예정이에요.

재시도 루프는 마지막 결과가 아니라 가장 좋은 결과를 남겨야 해요. 그리고 무엇이 좋은 결과인지 코드로 명시해야 해요.

측정 도구의 침묵

프롬프트 비교 실험 1회차는 통째로 무효가 됐어요. 커버리지 판정은 코드 1차와 LLM 2차로 나뉘어 있었는데 오프라인 재채점을 위해 분리한 2차 함수를 측정 스크립트가 호출하지 않았어요.

2차 결과가 늘 비어 있으니 스크립트는 코드 1차 값을 대신 썼어요(폴백). 그런데 임계값은 2차 판정이 실행된다는 전제로 만들어져 있었고 비교한 프롬프트가 모두 FAIL로 나왔어요.

유일한 단서는 출력에 찍힌 ‘0.438→0.438’처럼 화살표 앞뒤 값, 즉 코드 1차 값과 2차 판정 뒤 값이 12번 연속 똑같았다는 점이었어요. 판정 결과가 안정적인 게 아니라, 2차 판정이 침묵하고 있었던 거예요.

이후에는 생성 본문을 저장해 두고, 채점 방식만 바뀌었을 때는 기사를 다시 생성하지 않고 재채점할 수 있게 바꿨어요.

산포, 즉 같은 조건으로 돌릴 때마다 결과가 흩어지는 정도도 차이를 가렸어요. 모델을 고르려고 후보 모델 세 개로 같은 원문·프롬프트의 팩트 추출을 모델마다 다섯 번씩 반복했더니, 한 모델은 결과가 7건에서 46건까지, 6.6배로 갈렸어요. 그중 두 모델은 평균 차이보다 회차 간 차이가 커서 어느 모델이 더 낫다고 말할 수 없었어요.

반대로 산포가 가장 작은 모델은 원문에 없는 연도를 다섯 번 모두 지어냈어요. 안정적으로 적게 추출하면서 안정적으로 지어낸 셈이에요. 산포가 작다고 좋은 모델은 아니었어요.

측정 도구도 코드예요. 값이 지나치게 일정한 것도 경고로 봐야 해요. 두 후보를 비교하기 전에 각 후보의 산포부터 확인해야 해요.

임계값과 실제 판정의 불일치

2편에서는 축자율 0.20을 받아들였어요. 그런데 게이트의 축자율 임계값은 0.145였어요. 그렇다면 발행 기사는 어떻게 통과하고 있었을까요?

첫 발행부터 약 한 달 동안 발행된 한국어 기사 1,600여 건의 분포를 확인했어요. 전체 재구성과 짧은 요약형을 모두 포함한 수치예요.

  • 축자율 중앙값은 0.1985였어요. 2편에서 받아들인 0.20이 라이브 환경에서도 그대로 재현된 셈이에요.
  • 임계값 0.145를 넘은 기사는 72.6%였어요.
  • 그런데 게이트 기록상 통과하지 못한 기사는 단 한 건뿐이었어요.

원인은 한국 시장 전체에 적용되는 설정 파일에서 이 축의 강제 스위치가 꺼져 있었기 때문이에요. 축자율 검사가 기록 전용으로 내려가 있어서 로그만 남기고 발행을 막지는 않았어요. 하지만 문서에는 ‘통과분만 발행된다’고 적혀 있었어요.

사람 검수만 하던 8월에도 87%가 임계값을 넘었어요. 모델 비교에서도 축자율 0.41인 모델은 게이트를 5번 모두 통과했고, 0.20인 다른 모델은 5번 중 2번만 통과했어요. 이 0.20은 2편에서 받아들인 구성과는 다른 모델의 값이에요. 임계값과 실제 위험이 맞지 않았어요.

임계값의 문면은 유지하되, 더는 이를 ‘방어선’이라고 부르지 않기로 문서를 고쳤어요. 재도출은 소스(산출 형태)별로 해야 한다는 결론도 남겼어요. 소스별 평균이 요약형 0.077, 재구성 0.22로 두 봉우리처럼 나뉘었기 때문이에요. 앞의 중앙값 0.1985는 이 둘을 합친 값이에요.

설정 파일·문서·실제 동작이 같은지 라이브 데이터로 확인해야 해요. 기록 전용 검사가 실제로 차단하는 검사처럼 문서화돼 있지는 않은지도 살펴봐야 해요.

규칙과 맥락의 불일치

791자 기사에 ‘(회사명)에 따르면’이 9번 들어갔어요. ‘관계자에 따르면’까지 합치면 10번이었어요.

‘모든 사실에 출처를 붙인다’는 귀속 규칙은 여러 매체를 교차 확인하는 기사를 전제로 만들었어요. 그런데 출처가 하나뿐인 재구성 기사에 그대로 적용하자 문장마다 같은 귀속 표현이 붙었어요.

같은 사건을 원문을 보고 쓴 경로에서는 귀속 표현이 0회였어요. 원문의 귀속 구조를 그대로 따랐기 때문이에요.

그래서 단일 출처 재구성에서는 ‘주체별 첫 등장 1회 + 하단 출처 블록’ 방식으로 바꿨어요. 규칙에는 전제가 있어요. 새 입력 유형에 기존 규칙을 적용할 때는 그 전제가 여전히 맞는지 확인해야 해요.

마무리

게이트를 고치면서 검사기는 단순히 통과와 실패를 내는 기계가 아니라는 걸 배웠어요. 검사기에는 우리가 무엇을 중요하게 보는지가 코드로 들어가고 그 코드 역시 틀릴 수 있어요.

다음 편에서는 일본어 재구성을 다뤄볼게요. 한 곳을 고치자 결함이 옆자리로 옮겨 갔고 결국 사람에게 넘기는 선택을 했어요. 그리고 그 판단의 근거였던 실험이 사실은….

연재 목차

공개된 편부터 링크를 걸어 둘게요.

  1. "베끼지 마"는 프롬프트로 막을 수 없었다
  2. 쪼개고, 묶고, 다시 나누기 — 콜은 65% 줄었는데 비용은 왜 20%만 줄었을까
  3. 검사기가 거꾸로 일하고 있었다 — LLM 품질 게이트를 의심하는 법 (지금 읽는 글)
  4. 고친 자리 옆에 결함이 다시 생긴다 — 일본어 재구성과 “사람에게 넘기기”
  5. 1 billion은 100억이 아니다 — 숫자 번역을 LLM에게 맡기지 않는 이유
  6. 모델이 "다 했어요"라고 할 때 — 잘린 번역, 섞인 한글, 정규식 한 글자
  7. 검사기를 운영한다는 것 — 오탐 48%, 묻힌 기사, 그리고 자동 발행