> 지난 포스팅에서는 VectorDB의 종류와 선택 기준을 다뤘습니다. <br>이제 도구는 준비되었으니, 실제로 **RAG(Retrieval-Augmented Generation)** 시스템을 구축해볼 차례입니다.<br>하지만 막상 구현해보면 생각보다 정확도가 나오지 않아 당황하게 됩니다. <br>오늘은 실전에서 자주 겪는 문제점들과 그 품질을 높이는 핵심 팁들을 공유합니다.

![AI Technology](https://images.unsplash.com/photo-1677442136019-21780ecad995?q=80&w=1932&auto=format&fit=crop)
*이미지 출처: Unsplash*

# 1. 문서 청킹(Chunking)의 딜레마

RAG의 첫 단계는 긴 문서를 작은 조각(Chunk)으로 자르는 것입니다. 하지만 이 "자르는 기준"이 매우 까다롭습니다.

- **문제점**: 너무 작게 자르면 문맥(Context)이 잘려서 의미를 잃고, 너무 크게 자르면 불필요한 노이즈 정보까지 포함되어 검색 정확도가 떨어집니다.
- **해결책**:
    - **의미 기반 청킹(Semantic Chunking)**: 단순히 글자 수로 자르지 말고, 문단이나 섹션 단위로 의미가 이어지도록 자릅니다.
    - **Overlap(중첩)**: 자를 때 앞뒤 문장을 10~20% 정도 겹치게 하여 문맥이 끊기는 것을 방지합니다.

# 2. 키워드 검색의 부재 (Hybrid Search)

VectorDB는 "의미"를 잘 찾지만, "정확한 단어"를 찾는 데는 약할 수 있습니다.

- **문제점**: 사용자가 "제품 모델명(ABC-123)"이나 "특정 에러 코드"를 검색했는데, VectorDB는 의미가 비슷한 엉뚱한 문서를 가져올 수 있습니다.
- **해결책**:
    - **하이브리드 검색(Hybrid Search)**: 전통적인 키워드 검색(BM25)과 벡터 검색(Dense Retrieval)을 섞어 사용합니다.
    - **Reciprocal Rank Fusion (RRF)**: 두 검색 결과의 순위를 적절히 섞어 최종 순위를 재조정합니다.

# 3. 검색 결과의 순위 문제 (Reranking)

벡터 검색으로 상위 10개를 가져왔다고 해서, 그 1번이 무조건 정답은 아닙니다.

- **문제점**: 임베딩 모델은 범용적이기 때문에, 우리 도메인의 특수한 뉘앙스를 완벽히 구분하지 못할 수 있습니다.
- **해결책**:
    - **리랭커(Reranker) 도입**: 초벌 검색으로 50~100개를 빠르게 가져온 뒤, 더 정교한(하지만 느린) Cross-Encoder 모델을 사용해 순위를 다시 매깁니다.
    - 이 과정을 거치면 LLM에게 전달되는 문서(Context)의 품질이 비약적으로 상승합니다.

# 마치며: 은탄환은 없다

RAG는 단순히 DB만 붙인다고 완성되는 것이 아닙니다. 데이터의 전처리부터 검색 전략, 그리고 프롬프트 엔지니어링까지 꼼꼼하게 튜닝해야 원하는 성능을 얻을 수 있습니다.

이 시리즈를 통해 VectorDB의 개념부터 도구 선택, 그리고 실전 팁까지 알아보았습니다. 여러분의 AI 서비스 구축에 도움이 되었기를 바랍니다! 🚀

RAG(검색 증강 생성) 시스템 구축 시 마주하는 3가지 난관과 해결책

독자의 메모