이 글은 이메일로 굴러가던 물류 운영을, 데이터로 바꿨다 — 메일함 AI 인제스천 파이프라인 전 과정 시리즈의 일부입니다.
AI 분류기를 만들면서 학습 루프를 함께 설계했다. 구조는 이랬다.
- AI가 메일을 분류해 라벨을 단다.
- 사람이 틀린 라벨을 발견하면 고친다.
- 시스템이 “아, 이건 교정됐구나”를 감지해 기록한다.
- 사람이 그 교정 사례를 보고 분류 기준(지식 문서)에 규칙으로 반영한다.
이렇게 돌면 시간이 갈수록 분류가 똑똑해진다. 그럴 계획이었다. 이 글은 그 루프의 지표(교정 0건)를 하마터면 “정확도”로 착각할 뻔한 이야기다.
“교정됨 0건”을 보고 안심할 뻔했다
한동안 돌린 뒤 로그를 봤다. 수백 건이 분류됐는데 “교정됨”으로 표시된 게 하나도 없었다. 처음 든 생각은 “오, 정확도가 높구나”였다. 사람이 고칠 게 없었다는 뜻으로 읽은 것이다.
이건 틀린 해석이었다. 0이 정확도를 뜻하려면, 애초에 누군가 라벨을 고치고 있어야 한다. 그런데 지금은 그럴 사람이 루프 안에 없었다.
0의 진짜 의미 — 아직 사람이 없다
지금 이 파이프라인은 혼자 테스트하는 단계다. 실제 업무 담당자가 붙어서 쓰는 게 아니라, 내가 내 계정에서 각 단계가 순서대로 잘 도는지 하나씩 확인하고 있다. 그런데 위 루프의 2번 — “사람이 틀린 라벨을 고친다” — 은 실제 운영 담당자가 메일을 처리하며 라벨을 다뤄야 발생하는 신호다. 나는 그 담당자가 아니다. 그러니 라벨을 바꾸는 행위 자체가 거의 없고, 3번 감지도 아직 일부러 연결하지 않았다. 켤 게 없기 때문이다.
즉 “교정 0건”은 분류가 완벽해서가 아니라, 교정이라는 신호를 만들 사람이 아직 루프에 들어오지 않아서 나온 0이다. 이건 고장난 루프가 아니라, 순서상 아직 연결하지 않은 루프다. 하지만 지표만 보면 둘은 똑같이 “0”으로 보인다. 그래서 위험하다.
그래서 지금은 사람이 직접 본다
자동 신호가 아직 없으니, 진짜 오분류 패턴을 찾는 방법은 하나뿐이다. 로그를 직접 감사(audit)하는 것. 수백 건을 눈으로 훑으며 “이건 잘못 갔다” 싶은 것을 손으로 골라낸다. 느리지만, 담당자가 붙기 전까지는 이게 신뢰할 수 있는 유일한 신호다.
역설적이게도 직접 감사가 자동 지표보다 많은 걸 알려줬다. 특정 유형의 통지가 어디로 잘못 새는지, 어떤 정의가 낡았는지 — 자동 지표가 0으로 침묵하는 동안 실제 문제는 로그 안에 다 있었다.
배운 것
- 부정 지표가 0인 것을 성공으로 읽지 마라. “오류 0”, “교정 0”, “실패 0″은 정말 완벽해서일 수도 있지만, 그 값을 만들 신호원이 아직 없어서일 수도 있다. 0이 나오면 “정말 없나, 아니면 셀 사람이 없나”를 먼저 의심해야 한다.
- 피드백 루프는 사람이라는 신호원이 있어야 돈다. 실제로 그 일을 하는 담당자가 라벨을 다루기 시작해야 교정 신호가 생긴다. 그 사람이 루프에 없으면, 감지를 켜봐야 빈 루프가 돌 뿐이다.
- 순서가 중요하다. 각 단계가 순서대로 도는지 먼저 확인하고, 신호원(사람)이 자리잡으면 그때 연결한다. 준비 안 된 자동화를 미리 켜두고 그 침묵을 성공으로 착각하는 게 가장 위험하다.
한계와 다음
각 조각은 순서대로 잘 도는지 확인하는 중이고, 큰 문제는 없다. 실제 운영 담당자가 메일을 처리하며 라벨을 다루기 시작하면, 그때 교정 감지를 연결해 학습 신호를 살린다. 그 전까지는 직접 감사로 품질을 본다. 자동화를 먼저 켜는 게 아니라, 사람의 신호가 생기는 시점에 맞춰 붙이는 것 — 이 순서를 지키는 게 이번의 결론이다.
자주 묻는 질문
Q. 오류 지표가 0이면 좋은 것 아닌가?
정말 없어서 0일 수도 있고, 그 값을 만들 사람이 아직 없어서 0일 수도 있다. 둘은 완전히 다른데 지표 화면에선 똑같이 0으로 보인다. 0이 나오면 “정말 없나, 셀 사람이 없나”를 먼저 확인해야 한다.
Q. 왜 피드백 루프를 아직 연결하지 않았나?
지금은 각 단계가 순서대로 도는지 혼자 확인하는 단계이기 때문이다. 교정이라는 신호는 실제 운영 담당자가 라벨을 다뤄야 생기는데, 그 사람이 루프에 들어오기 전에 감지만 켜면 빈 루프가 돈다. 순서대로, 사람이 붙는 시점에 연결한다.
Q. 그럼 지금 분류 품질은 어떻게 보나?
로그를 직접 감사한다. 사람이 수백 건을 눈으로 훑어 잘못 간 것을 골라낸다. 자동 지표가 신뢰할 만해지기 전에는, 느려도 이게 더 정직한 신호다.