RAG 검색이 엉뚱할 때: 프롬프트보다 먼저 볼 6단계
RAG(검색 증강 생성)가 엉뚱한 답을 낼 때는 프롬프트를 고치기 전에 검색된 문서가 맞는지, 필요한 근거가 잘리지 않았는지 부터 확인해야 합니다. 질문을 고정하고 검색 결과→문맥 구성→생성 순서로 나누면 원인을 좁힐 수 있습니다. 비슷한 출처 검증 과정은 ChatGPT 검색 출처 검증 8단계 도 참고하세요. 검색 결과가 틀리면 인덱스·청킹·검색어 확장부터 점검 문서는 맞지만 답이 틀리면 컨텍스트 조립·지시문·출력검증 점검 질문과 기대 근거를 고정한 작은 테스트 세트를 먼저 만듭니다 목차 증상으로 구간 나누기 재현 가능한 테스트 만들기 검색·청킹 조정 순서 문맥과 생성 점검 운영 전 체크리스트 1. 증상으로 구간 나누기 RAG는 보통 문서 수집, 청킹, 임베딩·색인, 검색, 재정렬, 프롬프트에 문맥 삽입, 답변 생성으로 이어집니다. 각 단계의 입력과 출력을 로그로 남기지 않으면 “모델이 틀렸다”만 반복하게 됩니다. 답변에서 근거 문서의 ID와 인용 위치를 함께 보이게 한 뒤, 실제 검색 상위 결과와 대조하세요. 검색 결과 상위에 정답 문서가 없다면 생성 모델은 답을 지어내거나 무관한 자료를 섞을 수 있습니다. 정답 문서는 상위에 있지만 답변에서 빠지면 문맥 길이 제한, 문서 순서, 지시문 충돌 또는 답변 형식 검증 쪽에 무게를 둡니다. 문서 검색과 답변 생성 사이의 단계를 분리해 확인하는 RAG 흐름 2. 재현 가능한 테스트 만들기 먼저 20~50개 정도의 대표 질문을 준비하고, 각 질문마다 반드시 찾아야 할 문서 ID 또는 핵심 문장을 기대값으로 기록합니다. 이 숫자는 시작용 예시이며 정답 기준은 서비스의 문서 종류와 위험도에 맞춰야 합니다. 테스트 질문에는 흔한 표현, 약어, 띄어쓰기 변형, 답이 문서에 없는 질문을 섞습니다. “문서에 없음” 사례를 빼면 근거가 없는 질문에도 답하는 결함을 발견하기 어렵습니다. 각 실행에서 질문, 검색된 문서 ID·순위·점수, 재정렬 후 순위, 최종 프롬프트에 들어간 발췌문, 답변을 함께 저장합니다. 개인정보나 비밀 문서는...
