> "ChatGPT API 비용이 부담스러워요."
> "우리 회사 기밀 문서를 외부에 보내기 찝찝해요."
> 이 두 가지 고민을 한 방에 해결하는 방법이 있습니다. 바로 **로컬 LLM**을 돌리는 것입니다.<br>이제는 노트북 한 대만 있으면 **Llama 3** 같은 고성능 AI를 내 컴퓨터에서 돌리고, **LangChain**을 엮어 내 데이터를 학습시킨 챗봇을 만들 수 있습니다.

# 1. 준비물 (Prerequisites)

*   **Ollama**: 로컬에서 LLM을 실행해주는 엔진 (Docker처럼 편합니다).
*   **LangChain**: LLM과 데이터를 연결해주는 프레임워크 (Python 사용).
*   **ChromaDB**: 텍스트를 벡터로 변환해서 저장할 로컬 Vector DB.
*   **Python 3.9+**: 코드를 실행할 환경.

# 2. 1단계: Ollama 설치 및 LLM 실행

가장 먼저 내 컴퓨터에 AI 뇌를 심어야 합니다. [Ollama 공식 홈페이지](https://ollama.com/)에서 다운로드 받으세요.

설치 후 터미널에서 다음 명령어를 입력합니다.

```bash
# Llama 3 모델 다운로드 및 실행
ollama run llama3

>>> 안녕, 넌 누구니?
# 한국어로 대답을 잘 해줄 겁니다!
```
이제 백그라운드에서 `http://localhost:11434` 포트로 API 서버가 돌고 있습니다.

# 3. 2단계: 프로젝트 설정 및 패키지 설치

Python 프로젝트를 만들고 필요한 라이브러리를 설치합니다.

```bash
pip install langchain langchain-community langchain-chroma pypdf
```

# 4. 3단계: RAG 파이프라인 코드 작성 (따라치세요!)

이제 **"PDF 문서를 읽어서 -> 쪼개고 -> 벡터화해서 저장하고 -> 질문하면 검색해서 답변하는"** 전체 코드를 작성해 봅니다. (`app.py`)

```python
from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_community.chat_models import ChatOllama
from langchain.chains import RetrievalQA

# 1. 문서 로드 (내 이력서나 회사 문서를 넣으세요)
loader = PyPDFLoader("my_document.pdf")
docs = loader.load()

# 2. 문서 쪼개기 (Chunking)
# 문맥을 유지하기 위해 1000자씩 자르되, 앞뒤 200자는 겹치게 합니다.
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)

# 3. 임베딩 & 벡터 DB 저장
# Ollama가 제공하는 임베딩 모델(nomic-embed-text 등)을 사용합니다.
embedding = OllamaEmbeddings(model="llama3") 
vectorstore = Chroma.from_documents(documents=splits, embedding=embedding)

# 4. LLM 로드 (로컬 Ollama 연결)
llm = ChatOllama(model="llama3")

# 5. 질의응답 체인 생성 (RetrievalQA)
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore.as_retriever()
)

# 6. 질문하기
question = "이 문서의 핵심 내용이 뭐야?"
response = qa_chain.invoke(question)

print(f"Q: {question}")
print(f"A: {response['result']}")
```

> **Tip**: 임베딩 속도를 높이려면 `ollama pull nomic-embed-text`를 받아두고 `model="nomic-embed-text"`를 쓰는 게 훨씬 빠르고 정확합니다.

# 5. 4단계: 실행 및 결과 확인

```bash
python app.py
```

잠시 기다리면(컴퓨터 사양에 따라 다름), AI가 문서를 다 읽고 요약된 답변을 내놓습니다.
와우! 인터넷 연결 없이, 오직 내 컴퓨터 안에서 나만의 데이터를 학습한 AI가 탄생했습니다.

# 6. 심화: Streamlit으로 웹 UI 붙이기

터미널이 밋밋하다면 **Streamlit**을 붙여서 그럴듯한 챗봇 화면을 만들 수 있습니다.

```python
import streamlit as st

st.title("📄 나만의 문서 챗봇")
user_input = st.text_input("질문을 입력하세요:")

if user_input:
    with st.spinner("AI가 생각 중입니다..."):
        response = qa_chain.invoke(user_input)
        st.write(response['result'])
```
`streamlit run app.py`로 실행하면 웹 브라우저에서 챗봇을 만날 수 있습니다.

# 마치며

이제 여러분은 **API 비용 걱정 없이**, **보안 걱정 없이** 마음껏 AI를 실험해볼 수 있는 환경을 갖췄습니다.
이 코드를 기반으로 사내 위키 검색 봇, 개인 일기장 분석기, 법률 문서 검토기 등 무궁무진한 아이디어를 실현해 보세요. 🚀

LangChain

모든 포스트

[실전] LangChain + Ollama: 0원으로 만드는 '나만의 로컬 RAG 챗봇' 구축 가이드

인기 태그