프롬프트는 고쳤는데 답이 왜 그럴까?

"프롬프트를 100번은 고친 것 같은데, 여전히 답이 산으로 갑니다." 요즘 상담에서 가장 자주 듣는 말입니다.
지난 1~2년 사이 업계의 관심사는 프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로 옮겨갔습니다.
모델이 똑똑해질수록 결과의 차이는 "어떻게 시켰느냐"보다 "무엇을 쥐여줬느냐"에서 갈리기 때문입니다.
지시문은 태도를 바꾸지만, 사실을 채워주지는 못합니다.

왜 프롬프트를 고쳐도 답이 나아지지 않을까?

대부분의 오답은 모델이 멍청해서가 아니라, 답에 필요한 우리 회사 정보가 애초에 입력에 들어가지 않아서 생깁니다.
이럴 때 지시문을 다듬는 건 시간 낭비에 가깝습니다.
증상을 보면 어디를 손봐야 하는지 대략 갈립니다.

• 가격·환불 규정을 자신 있게 틀리게 말한다 → 최신 정책 문서가 입력에 없음
• 같은 질문에 매번 다른 답을 준다 → 근거 문서가 여러 버전으로 흩어져 있음
• "확인이 어렵습니다"만 반복한다 → 검색 단계에서 관련 문서를 못 찾음
• 내용은 맞는데 우리 말투가 아니다 → 참고할 샘플 답변이 없음
• 대화가 길어지면 앞 내용을 잊는다 → 불필요한 자료를 너무 많이 밀어 넣음

다섯 가지 증상 중 프롬프트 수정으로 해결되는 건 사실상 네 번째 하나뿐입니다.

우리 회사 자료를 AI가 읽을 수 있게 만들려면?

핵심은 문서를 전부 밀어 넣는 게 아니라, 질문 단위로 쪼개고 최신본 하나만 남기는 작업입니다.
도구를 고르기 전에 아래 순서로 자료부터 손보세요.

1. 질문 목록부터 만든다. 카카오톡 문의, 통화 기록, 메일에서 자주 나오는 질문 30개를 뽑습니다.
2. 질문 하나에 문서 하나. 한 파일에 회사 소개부터 약관까지 몰아넣지 말고 "환불", "배송 기간"처럼 짧게 나눕니다.
   제목도 질문형으로 답니다.
3. 첫 문장에 결론을 쓴다. 사람이 읽기 좋은 구조가 AI가 인용하기도 좋은 구조입니다.
4. 최종 수정일과 적용 범위를 붙인다. 지난해 프로모션 문서가 남아 있으면 AI는 그걸 근거로 삼습니다.
   만료된 문서는 지우거나 보관함으로 옮기세요.
5. 실패한 질문을 모은다. 답을 못 한 질문을 주 1회 훑고, 그때마다 문서를 한 개씩 추가합니다.

실제로는 이렇게 바뀝니다

온라인 강의를 파는 한 팀은 상담 챗봇이 환불 문의마다 다른 답을 내놓아 골머리를 앓았습니다.
원인은 프롬프트가 아니라 노션에 흩어져 있던 환불 관련 문서 네 개였습니다.
예전 버전, 이벤트용 예외 규정, FAQ 초안, 최신 약관이 동시에 검색되고 있었죠.
네 개를 하나로 합치고 예외 규정만 별도 문서로 분리한 뒤, 제목을 "수강 시작 후에도 환불이 되나요?"로 바꿨습니다.
프롬프트는 한 글자도 건드리지 않았지만 오답이 눈에 띄게 줄었습니다.

작은 팀은 무엇부터 시작해야 할까?

벡터 데이터베이스나 RAG 프레임워크를 고르는 일은 나중입니다.
문서 열 개를 정리하는 데는 하루면 충분하고, 효과는 그쪽이 훨씬 큽니다.

• 이번 주 문의 20건을 뽑아 각 답의 근거가 사내 어디에 있는지 적어 봅니다
• 근거가 없는 질문은 새 문서로 만듭니다
• 근거가 두 개 이상인 질문은 하나만 남기고 나머지를 보관 처리합니다
• 급여, 원가, 고객 개인정보처럼 민감한 자료는 지식베이스에서 분리합니다
• 월 1회 갱신 담당자와 점검일을 정합니다

컨텍스트 엔지니어링은 거창한 기술이라기보다 결국 정리정돈에 가깝습니다.
모델은 몇 달마다 바뀌지만, 잘 정리된 지식베이스는 모델을 갈아 끼워도 그대로 남는 자산입니다.
게다가 이 문서들은 고객이 검색엔진이나 AI 챗봇에 우리 브랜드를 물었을 때 인용되는 재료이기도 합니다.
프롬프트를 101번째 고치기 전에, 문서함부터 열어 보세요.