우리 회사 문서로 답하는 AI, 어디서부터?
사내 문서를 AI 지식베이스로 만들 때, 무엇부터 넣고 무엇을 버려야 하는지 정리했습니다.
작은 팀이 AI에게 처음 맡기는 일이 바뀌고 있습니다.
한동안은 블로그 글쓰기나 이미지 생성이 1순위였는데, 최근에는 "우리 회사 문서 보고 대신 답해줘"가 그 자리를 차지했습니다.
상담 답변, 견적 기준, 시술 안내, 계약 조건처럼 이미 어딘가에 적혀 있지만 매번 찾기 귀찮은 정보들 말입니다.
이유는 단순합니다.
일반 지식은 어떤 AI든 잘 답하지만, "제주도 추가 배송비 얼마예요?"는 우리 회사만 아는 정보라 AI가 못 맞힙니다.
그리고 실무 시간의 상당 부분이 바로 그런 질문에 쓰입니다.
사내 AI 지식베이스, 지금 만들 만한 이유는?
예전에는 검색 인프라를 직접 구축해야 했지만, 지금은 파일을 올리고 질문하는 수준으로 문턱이 내려왔습니다.
5인 이하 팀도 개발자 없이 일주일이면 1차 버전을 만들 수 있습니다.
완벽한 시스템이 아니라 "자주 묻는 30개 질문에 출처와 함께 답하는 도구"가 목표라면 더 그렇습니다.
- Google NotebookLM, Claude의 프로젝트 기능, ChatGPT의 파일 업로드처럼 문서를 근거로 답하는 기능이 기본 제공됩니다.
- 모델이 한 번에 읽을 수 있는 문서 분량이 늘어, 짧은 매뉴얼은 통째로 넣어도 무리가 없습니다.
- 답변에 출처 문단을 표시해 주는 도구가 많아져, 틀렸을 때 확인이 쉬워졌습니다.
- Slack이나 카카오톡 채널 같은 이미 쓰는 창구에 연결하면 별도 학습이 필요 없습니다.
어떤 문서부터 넣어야 할까?
전부 넣으면 반드시 실패합니다. 같은 질문이 반복되는 문서부터, 그것도 최신본 한 개씩만 넣는 게 정답입니다.
문서가 많을수록 AI가 옛날 가격표와 새 가격표 사이에서 헷갈립니다.
- 최근 한 달치 문의·사내 질문을 훑어 반복 질문 20개를 뽑습니다.
- 그 20개의 답이 실제로 적혀 있는 문서만 고릅니다.
보통 5~10개면 충분합니다. - 같은 주제의 파일이 여러 개라면 최신본 하나만 남기고 나머지는 지식베이스에서 뺍니다.
- 답이 문서에 없는 질문은, 그 자리에서 한 문단짜리 새 문서를 씁니다.
- 일주일 써보고 틀린 답 10건을 모아 문서를 고칩니다.
프롬프트보다 문서를 먼저 고치는 게 빠릅니다.
예를 들어 5인 규모 화장품 쇼핑몰이라면 배송·교환 규정, 성분 및 알레르기 안내, 도매 문의 응대 기준, 정기구독 해지 절차 정도가 첫 대상입니다.
반대로 지난해 마케팅 회의록 전체는 넣지 않는 편이 낫습니다.
답변 품질을 떨어뜨리는 소음이 됩니다.
왜 어떤 팀은 실패할까?
대부분은 모델 성능이 아니라 문서 위생 문제입니다.
사람이 봐도 어느 게 최신인지 모르는 폴더를 AI에게 주면, AI도 똑같이 헷갈린 답을 자신 있게 내놓습니다.
- 버전 지옥: '가격표_최종', '가격표_최종2'가 함께 있으면 답이 매번 달라집니다.
- 스캔 PDF와 이미지 표: 글자로 인식되지 않는 자료는 사실상 빈 문서입니다.
- 권한 뒤섞임: 연봉 테이블이나 계약 단가가 전 직원 챗봇에 딸려 들어가는 사고가 가장 흔합니다.
공개 범위별로 지식베이스를 나누세요. - 주인 없는 문서: 문서마다 담당자를 정해두지 않으면 3개월 뒤 전부 낡습니다.
- 확인 절차 부재: 답변에 출처 링크를 반드시 띄우고, 근거가 없으면 "문서에 없습니다"라고 말하도록 규칙을 정해야 합니다.
사내 AI 지식베이스는 한 번 만들고 끝나는 프로젝트가 아니라, 문서를 고치는 습관에 가깝습니다.
월 1회 30분만 오답을 검토해도 체감 정확도가 눈에 띄게 올라갑니다.
고객용 챗봇이나 상담 자동화를 고민 중이라면, 먼저 내부용으로 한 달 돌려보며 문서를 정리하는 순서를 권합니다.
내부에서 못 믿을 답변은 고객 앞에서도 못 믿습니다.