본문으로 건너뛰기

고친 자리 옆에 결함이 다시 생긴다 — 일본어 재구성과 “사람에게 넘기기”

박재민
개발 프로젝트AILLM

들어가며

안녕하세요, 개발자 박재민이에요. 일본 IT 매체의 일본어 기사를 새로운 일본어 기사로 재구성하는 작업을 여섯 회차 동안 점검했어요. 한국어 기사에서 사용하던 방식이 일본어에서도 그대로 통할지, 결함을 고치는 과정에서 무엇이 달라졌는지 정리해볼게요.

일본어 기사를 재구성하는 작업은 한국어 기사보다 어려웠어요. 일본 IT 매체의 기사는 다른 회사의 발표를 전달하는 문체가 기본이기 때문이에요. 한 기사 안에서도 전달, 인용, 기자의 논평, 추측이 문장마다 달라져요. 〜と説明されています처럼 누가 한 말인지 밝히는 표현도 자주 쓰여요.

한국어 보도자료 기사는 대부분 단정문이라, 원문을 보지 않고 두 번에 나눠 처리하는 블라인드 2콜 구조가 통했어요. 하지만 일본어 장문에서는 사실 자체만큼 누가 말했는지와 얼마나 확실한지가 중요했어요.

회차 1에서 발견한 일본어 고유 결함

한국어 경로 코드는 건드리지 않고 언어팩만 바꿔서 실행했어요. 표본 6건을 모두 처리했고 문단 수도 6건 모두 일치했어요. 한글 혼입은 없었고 です・ます 문체도 유지됐어요. 축자율은 0.148~0.219로 한국어와 같은 대역이었어요. LLM 호출은 153회였어요.

그런데 새 결함이 두 가지 생겼어요.

첫 번째는 귀속 평탄화예요. LLM 검증에서 지적된 38건 가운데 20건이 〜と説明されています를 단정문으로 바꾼 문제였어요. 원문에서 'A사가 그렇게 설명했다'고 쓴 문장이, 재구성된 기사에서는 '그렇다'는 사실처럼 바뀐 거예요.

두 번째는 표기 변환이에요. 원문의 가타카나 고유명사를 라틴 문자로 바꿔 썼어요. 예를 들어 マイクロソフト가 Microsoft가 됐어요. 생성된 제목의 인명도 바뀌었는데 제목은 검사 대상에 포함되지 않았어요.

회차 2~4에서 결함의 위치를 추적하기

첫 회차에서 발견한 결함을 고치자, 다른 결함이 나타났어요. 회차별 변경과 결과는 다음과 같아요.

회차고친 것없어진 결함새로 생긴 결함
1초안—귀속 평탄화 20건 · 가타카나의 라틴 문자 변환
2프롬프트 4곳 수정 · 전처리 추가트윗 영문 탈락축자율 상승 · 검사기 과민 반응
3코드 3건 추가: 귀속 스키마 · 표기 검사 · 강도 어휘 대조표기 변환 종료 · 귀속 평탄화 해결귀속 창작 · 행위를 발화로 변환 · 추측을 전망으로 강화 · 택일 관계 분해
4귀속 범위 한정 · 양태 중립화 · 택일 보존 · 소제목 표지 추가귀속 창작 4건 → 1건 · 검사기 재생성 낭비 40% 감소や/など를 または로 변환 · とされています 범람 · 과거를 예정으로 변환 · 소제목의 본문 편입 · 수치 소실 재발

회차별 LLM 호출은 2회차 239회, 3회차 221회, 4회차 155회였어요.

뜻이 달라지는 사례도 있었어요. 예를 들어 国内にも海外にも는 '국내에도 해외에도'라는 뜻이라 둘 다 포함해요. 그런데 이것이 国内または海外로 바뀌면 '국내 또는 해외'가 되어 둘 중 하나만 가리키게 돼요. 같은 유형을 설명하기 위한 가상 예시지만 실제로 이런 의미 변화가 문제였어요.

회차 3에서 추가한 표기 검사 덕분에 그 회차 표본 8건 중 7건은 표기가 그대로 지켜졌어요. 문자열처럼 셀 수 있는 축은 코드로 처리할 수 있었어요. 반면 귀속, 양태, 열거 관계처럼 세기 어려운 축은 네 회차 동안 결함의 자리만 바뀌었어요.

프롬프트로 결함을 하나씩 누를 때마다 다른 결함이 튀어나오는 '두더지 잡기'처럼 보인다면, 프롬프트를 계속 고치기보다 결함이 어느 층에서 생기는지 먼저 봐야 해요.

회차 5·6에서 잘못 세운 가설

회차 5에서는 구조를 바꿨다고 생각했어요. 원문을 보지 않는 블라인드 2콜 대신, 원문을 보면서 문단을 다시 쓰는 1콜로 전환했어요.

그런데 결과는 회차 3·4와 같았어요. 결함의 종류도, 결함이 나타난 자리도 똑같았어요. 그래서 두 가지 가설을 세웠어요.

첫 번째는 프롬프트 프라이밍이었어요. 금지하려고 넣은 예시 문자열인 または와 とされています를 모델이 오히려 가져다 쓴다는 가설이었어요. 두 번째는 모델의 일본어 재작성 성향이라는 가설이었어요.

회차 6에서는 첫 번째 가설을 시험했어요. 프롬프트에서 금지 예시 문자열을 전부 빼고 긍정형 규칙과 가공한 정답 예시 한 쌍만 남겼어요.

  • とされています: 원문 2건 → 회차 5 47건 → 회차 6 52건
  • または: 원문 0건 → 회차 5 10건 → 회차 6 18건

금지 예시를 없앴는데도 문제 표현은 같거나 더 많이 생겼어요. 그래서 첫 번째 가설은 기각하고 두 번째 가설인 '모델 성향'으로 결론 내렸어요.

당시에는 일본어 재구성은 AI 초안을 사람이 원문 전체와 대조하는 검수로 운영해야 한다고 판정했어요. 여섯 회차와 LLM 1,090회의 결론이었어요.

반전과 잘못된 실험 조건

그런데 개통 직후 이틀 동안 라이브 일본어 기사에서 や…など가 または로 바뀌는 문제가 한 기사에서 7번 연쇄된 사례가 나왔어요. 원인을 추적해 보니 라이브 일본어 경로가 여전히 블라인드 2콜로 실행되고 있었어요.

원인은 두 가지였어요. 먼저 블라인드 분기를 켜는 환경변수에 언어 조건이 없었어요. 한국어 축자 대책으로 운영 환경에 켜 둔 =1이 일본어에도 적용되고 있었어요.

또 하나는 플래그 함수가 값이 아니라 환경변수의 존재 여부만 확인한다는 점이었어요.

# 단순화한 의사코드

def flag(name):
    raw = os.environ.get(ENV_NAMES[name])
    return bool(raw)   # "0"도 "false"도 True — 빈 문자열만 False

실험 하네스에서 블라인드를 끄려고 넣은 "0"도 실제로는 켜짐으로 처리됐어요. 원문을 보면서 다시 쓰는 1콜이라고 생각했던 회차 5·6도, 실제로는 블라인드 경로였던 거예요.

증거는 이미 있었어요. LLM 호출 수가 회차 4·5·6에서 각각 155회, 161회, 161회로 거의 같았어요. 블라인드 경로는 묶음마다 추출과 작성에 두 번 호출하고 재생성도 두 배로 진행해요. 진짜 1콜 경로였다면 호출 수가 확연히 줄었어야 해요. 호출 수가 같았다는 건 같은 경로가 실행됐다는 뜻이었어요.

블라인드 기사에서 나타난 택일화, 명사로 끊기는 전보체, 원문에 없는 괄호 소제목도 단서였어요. 이 문제들은 원문을 보지 못하는 콜B가 아니라, 사실을 압축하는 콜A의 출력에 이미 들어 있었어요. 원문을 못 보는 콜B는 그 내용을 복원할 수 없었어요.

처음 측정한 진짜 1콜 경로

회차 7에서 처음으로 진짜 1콜 경로를 측정했어요. 같은 기사 3건을 대상으로 151회 호출했고 분포를 말하기에는 표본이 작아요.

경로축자율(ngram8)LLM 의미 지적とされていますまたは 증가
1콜, 원문을 보며 다시 쓰기0.44~0.510 / 0 / 000
블라인드 2콜0.20~0.277 / 5 / 125 / 1 / 7있음

이 표본에서는 1콜이 뜻은 지키지만 원문을 많이 베꼈고 블라인드 2콜은 원문을 덜 베끼지만 뜻을 깎았어요. 두 조건을 모두 만족하는 경로는 없었어요. 기술 선택만으로 끝나는 문제가 아니라, 무엇을 우선할지 판단해야 하는 상황이었어요.

프롬프트에 '재구성보다 의미 보존을 우선한다'는 규칙을 넣은 실험도 했어요. 의미 지적 수는 같았고 축자율만 0.47~0.60으로 올랐어요. 모델이 '더 많이 베껴도 된다'고 해석한 것으로 보고 이 방식은 기각했어요.

따라서 '모델 성향'이라는 결론은 블라인드 경로 위에서 내린 결론이었어요. 사람 검수라는 최종 판정은 그대로였지만 그 근거의 일부는 다시 써야 했어요.

고친 내용은 간단했어요. 언어팩마다 블라인드 경로를 끌 수 있게 바꾸고, 일본어 언어팩에서는 꺼 뒀어요.

덤으로 1콜 경로의 축자 재생성이 두 번 모두 실패해서 들여다보니, 공용 검사의 재생성 피드백이 한국어 문구인 채 일본어 프롬프트에 들어가고 있었어요. 같은 날 일본어 문구로 고쳐 다시 재 봤지만 축자율은 내려가지 않았어요. 원문을 보면서 쓰는 경로에서는 피드백만으로 베끼기를 줄일 수 없었어요.

이번 일에서 두 가지를 확인했어요.

  • 조건을 바꿨는데 결과가 같다면, 결론을 내리기 전에 조건이 정말 바뀌었는지 확인해야 해요. 호출 수와 소요 시간 같은 부수 신호도 경로를 확인하는 증거가 될 수 있어요.
  • 환경변수 플래그는 존재 여부가 아니라 값을 파싱해야 해요. 분기에는 언어처럼 적용 범위도 명시해야 해요.

결과를 바꾸지 못하는 재시도

개통 첫 사이클에서는 비용이 평소보다 몇 배 높아졌어요. 개통 당일 하루치를 측정해 보니, 기사 한 건을 만드는 비용이 일본어는 한국어의 약 3배였고 영어 번역의 약 50배였어요. 원문 길이는 약 1,900자로 같았어요.

차이는 재구성과 검증 루프에서 생겼어요. 일본어 게이트는 54회 중 한 번도 통과하지 못했어요. 일본 시장 설정 층에 재구성용 게이트 설정이 없어서 원문을 보지 않는 일반 작성 경로의 임계값으로 검사하고 있었기 때문이에요. 구조적으로 통과할 수 없는 게이트였어요.

각 기사는 최대 세 번까지 재생성됐어요. 514개의 호출을 지불했지만 채택된 결과는 174개로 34%뿐이었어요. 재생성 결과가 오히려 나빠져 이전 초안을 다시 채택한 기사도 15건 중 6건이었어요.

그런데 일본어 기사는 어차피 전부 사람이 검수하고 있었어요. 게이트의 통과 여부가 기사 상태를 바꾸지 않았어요. 그렇다면 재생성은 통과 가능성이 0인 작업을 반복하는 셈이었어요.

그래서 일본어 경로의 기사 단위 재생성 횟수를 0으로 내렸어요. 배포 일주일 뒤 측정한 결과, 생성 이벤트당 비용은 74% 줄었고 신규 기사 평균 비용은 같은 기간의 한국어와 비슷해졌어요. 차이는 약 7%였어요. 다만 같은 날 앞에서 말한 블라인드 경로 수정도 함께 배포돼서, 74%를 모두 재생성을 끈 효과로 볼 수는 없어요. 재생성만 껐을 때는 약 61% 줄 것으로 미리 추정했었어요.

재시도와 재생성은 결과를 바꿀 수 있을 때만 의미가 있어요. 결과에 영향을 주지 못하는 재시도는 끄는 편이 맞았어요.

사람에게 넘기고 도구를 쥐여 주기

일본어 기사를 전부 사람이 검수하기로 했다면, 검수 화면도 그에 맞게 바꿔야 했어요. 화면에는 두 가지를 추가했어요.

  • '원문 대조 필수' 표지를 표시했어요.
  • 표기, 강도 어휘, 문단 수, 축자율, 사실 토큰 손실을 코드로 찾아 목록으로 보여 줬어요.

LLM 검사기의 지적은 오탐률이 46~52%였어요. 그래서 판정이 아니라 참고 정보로만 표시했어요.

사람도 모든 결함을 찾아내지는 못했어요. 한국어 사례에서 같은 다섯 어절이 한 기사에 두 번 반복되는 구절 반복 문제가 있었어요. 재구성 경로 표본에서는 26~30%가 잡혔는데 이는 사람 이름처럼 정당한 반복도 포함한 스크리너 수치라 상한선이에요. 짧은 요약 경로에서는 0%였어요. 사람이 승인해 발행한 표본 3건 중 2건에도 이 문제가 있었어요. 표본은 작지만 사람이 보면 반드시 잡힌다고 가정할 수는 없었어요.

조사가 빠진 전보체도 있었어요. 점유율 확대해처럼 목적격 조사가 빠진 문장이에요. 이 예시는 가상 문장이에요. 발행된 한국어 기사 839건을 전수 조사한 결과 원인 구간이 문단 묶음 재구성 경로로 좁혀졌어요. 요약 경로에서는 이런 문제가 없었어요. 블라인드 콜B의 입력이 명사형 사실 목록이라 그 문체가 결과에 스며든 것으로 봤고 프롬프트로 대응했어요.

스크리너는 판정기가 아니었어요. 정규식으로 만든 판은 명사를 오탐했고 정상적인 열거에도 높은 점수를 줬어요. 형태소 분석을 사용한 판은 형태소를 다시 이어 붙인 발표하었다 같은 가짜 원문을 판정 LLM에 보여 줘서 판단을 오염시켰어요. 세 가지 판을 버린 끝에, 원문 일부를 그대로 보여 주는 방식으로 정착했어요.

사람 검수는 만능 그물이 아니에요. 반복이나 문법 패턴처럼 사람의 눈이 미끄러지기 쉬운 축은 기계가 목록으로 짚어 주고 의미 판단은 사람이 맡는 방식이 현실적이었어요.

마무리와 다음 편

이번 재구성 네 편에서 공통으로 확인한 흐름은 이랬어요. 프롬프트로 시작했지만 측정 결과를 의심하게 됐고 셀 수 있는 문제는 코드로 옮겼어요. 코드로 닫을 수 없는 문제는 사람에게 넘겼어요.

다음 편부터는 번역을 다뤄볼 예정이에요. 첫 주제는 숫자예요. 1 billion은 100억이 아니에요.

연재 목차

공개된 편부터 링크를 걸어 둘게요.

  1. "베끼지 마"는 프롬프트로 막을 수 없었다
  2. 쪼개고, 묶고, 다시 나누기 — 콜은 65% 줄었는데 비용은 왜 20%만 줄었을까
  3. 검사기가 거꾸로 일하고 있었다 — LLM 품질 게이트를 의심하는 법
  4. 고친 자리 옆에 결함이 다시 생긴다 — 일본어 재구성과 “사람에게 넘기기” (지금 읽는 글)
  5. 1 billion은 100억이 아니다 — 숫자 번역을 LLM에게 맡기지 않는 이유
  6. 모델이 "다 했어요"라고 할 때 — 잘린 번역, 섞인 한글, 정규식 한 글자
  7. 검사기를 운영한다는 것 — 오탐 48%, 묻힌 기사, 그리고 자동 발행