AI 답변 품질, 감으로 관리하고 있나요?
모델을 바꿀 때마다 불안한 팀을 위한, 20문항짜리 평가셋 만들기와 운영 방법.
요즘 작은 팀에서도 챗봇, 상담 자동응답, 문서 요약 같은 AI 기능을 하나쯤은 붙여 놓습니다.
그런데 "이거 잘 되고 있나요?"라고 물으면 대답이 비슷합니다.
"몇 개 넣어봤는데 괜찮던데요." 모델이 새 버전으로 바뀌거나 프롬프트를 한 줄 고쳤을 때, 무엇이 좋아지고 무엇이 망가졌는지 아무도 말하지 못합니다.
2026년 들어 AI 업계에서 '평가(eval)'라는 단어가 부쩍 자주 들리는 이유가 여기 있습니다.
모델은 흔해졌고, 이제 차이를 만드는 건 내 서비스 기준으로 품질을 측정할 수 있느냐입니다.
왜 '몇 개 넣어보기'로는 부족할까요?
손으로 몇 개 던져보는 테스트는 잘 되는 경우만 확인하게 됩니다.
사람은 자기가 만든 프롬프트가 잘 통하는 질문을 무의식적으로 고르기 때문입니다.
게다가 같은 질문도 실행할 때마다 답이 조금씩 달라져서, 한 번 잘 나온 결과는 증거가 되지 못합니다.
실제로 자주 벌어지는 일은 이렇습니다.
쇼핑몰 CS 봇의 말투를 부드럽게 만들려고 프롬프트에 "친절하게 답하라"를 추가했더니, 교환·환불 규정을 두루뭉술하게 말하기 시작합니다.
말투 테스트는 통과했지만 정책 답변이 무너진 겁니다.
이런 회귀(regression)는 고정된 질문 목록 없이는 절대 보이지 않습니다.
20문항 평가셋, 어떻게 만들까요?
거창한 벤치마크가 필요한 게 아닙니다.
실제 고객이 던진 질문 20개와, 각 질문에 대해 "이건 반드시 들어가야 한다"는 조건 한두 줄이면 시작할 수 있습니다.
스프레드시트 한 장이면 충분합니다.
- 진짜 로그에서 뽑기 — 상담 채팅, 인스타그램 DM, 전화 메모에서 최근 2~4주치 질문을 모읍니다.
상상해서 만든 질문은 실제 분포와 다릅니다. - 유형별로 채우기 — 자주 오는 흔한 질문 10개, 애매하거나 정보가 빠진 질문 5개, 대답하면 안 되는 질문(가격 임의 할인, 의학적 조언, 경쟁사 비방) 5개.
- 정답 대신 '합격 조건'을 쓰기 — 예: "환불 기한 7일을 명시할 것", "재고가 없으면 추측하지 말고 확인 안내로 넘길 것", "200자 이내".
- 실패 사례를 계속 추가하기 — 고객이 불만을 표시했거나 사람이 다시 응대한 대화는 그날 바로 평가셋에 넣습니다.
이게 가장 값진 문항입니다.
예를 들어 동네 필라테스 스튜디오라면 "주 2회 3개월 얼마예요?", "어제 예약한 거 취소 되나요?", "허리 디스크 있는데 해도 되나요?" 같은 문항이 들어갑니다.
마지막 질문의 합격 조건은 "의학적 판단을 내리지 않고 상담·전문의 확인을 권한다"가 되겠죠.
채점은 사람이 해야 할까요, AI에 맡겨도 될까요?
둘 다 씁니다.
규칙으로 잡히는 건 코드로, 판단이 필요한 건 AI 채점(LLM-as-judge)으로, 그리고 최종 확인은 사람이 표본으로 봅니다.
처음부터 자동화하려 하지 말고, 사람이 20문항을 두 번 채점해 보면 어디를 자동화할지 감이 옵니다.
- 규칙 채점: 금지어 포함 여부, 글자 수, 전화번호·링크가 정확히 우리 것인지 — 이건 정규식 수준으로 충분합니다.
- AI 채점: "합격 조건을 충족했는가?"를 예/아니오와 한 줄 근거로 답하게 합니다.
1~5점 척도보다 이분법이 훨씬 안정적입니다. - 사람 확인: AI 채점 결과 중 5개 정도만 눈으로 확인해, 채점기 자체가 틀리지 않았는지 봅니다.
운영은 단순합니다.
프롬프트를 고치거나 모델을 바꾸기 전후로 같은 20문항을 돌리고, 점수가 떨어진 문항만 들여다보면 됩니다.
"18/20 → 19/20, 대신 환불 문항 하나가 깨졌다"는 문장이 나오는 순간, 배포 결정은 회의가 아니라 데이터가 합니다.
지금 당장 뭘 하면 될까요?
오늘 30분이면 첫 버전을 만들 수 있습니다.
완벽한 평가셋을 만들려다 시작을 미루는 것이 가장 흔한 실패입니다.
- 최근 고객 문의 20개를 스프레드시트에 붙여넣습니다.
- 각 행에 합격 조건을 한 줄씩 적습니다.
- 현재 프롬프트로 답을 받아 채점하고, 점수를 날짜와 함께 기록합니다.
- 다음에 프롬프트를 고칠 때 같은 시트를 다시 돌립니다.
AI 기능은 만드는 것보다 유지하는 게 어렵습니다.
평가셋은 그 유지 비용을 절반으로 줄여주는, 작은 팀이 가장 먼저 갖춰야 할 자산입니다.