2024년 8월 2일(금) 주간 개발트렌드

![image](https://librarian-blog-images.s3.ap-northeast-2.amazonaws.com/2a3741f8-626e-4237-b985-d52de10bb444_thumbnail_1.png)

## AI — Llama 3.1 405B, 공개 가중치 모델이 프런티어급에 접근

Meta가 **7월 23일 Llama 3.1**을 공개했습니다.

가장 큰 모델인 **Llama 3.1 405B**는 405B 파라미터와 128K Context Window를 지원하며, 다국어 처리와 코딩, Tool Use 등 다양한 작업을 수행할 수 있도록 설계됐습니다.

Meta는 당시 Llama 3.1 405B를 최고 수준의 폐쇄형 AI 모델들과 경쟁할 수 있는 수준의 모델로 소개했습니다.

무엇보다 중요한 점은 이러한 대규모 모델의 **가중치를 직접 내려받아 자체 인프라에서 실행할 수 있다는 것**이었습니다.

---

### 기존 LLM 서비스 구조

당시 대부분의 AI 서비스를 개발할 때 가장 일반적인 선택은 외부 AI API를 사용하는 것이었습니다.

```text
Application
     ↓
OpenAI / Anthropic / Google
     ↓
Cloud LLM API
     ↓
Response
```

개발자는 GPU 인프라나 모델 Serving을 직접 관리하지 않고 API만 호출하면 됐습니다.

구현은 간단하지만 몇 가지 제약도 존재합니다.

- API 사용 비용
- 외부 서비스 의존성
- 데이터 외부 전송
- 모델 Customization 제한
- Provider 정책 및 Rate Limit 의존

---

### Llama 3.1이 만든 선택지

Llama 3.1과 같은 공개 가중치 모델의 성능이 높아지면서 AI 시스템을 구축하는 방법에 새로운 선택지가 생겼습니다.

```text
기존

Application
     ↓
External LLM API


새로운 선택지

Application
     ↓
Llama
 ├─ Self-hosting
 ├─ Fine-tuning
 └─ Distillation
```

즉 OpenAI, Anthropic, Google 등의 API를 사용하는 것 외에도 **직접 모델을 운영하고 수정하는 방식**을 본격적으로 검토할 수 있게 된 것입니다.

---

### Self-hosting

Self-hosting은 모델을 외부 API가 아니라 자체 GPU 서버나 Cloud GPU 환경에서 직접 실행하는 방식입니다.

```text
User
  ↓
Application
  ↓
LLM Server
  ↓
Llama Model
  ↓
GPU Infrastructure
```

이 구조에서는 사용자의 데이터가 외부 LLM Provider로 전달되지 않도록 시스템을 구성할 수 있습니다.

따라서 다음과 같은 환경에서 특히 의미가 있습니다.

- 기업 내부 문서 처리
- 금융 데이터
- 보안이 중요한 업무 시스템
- 외부 데이터 전송을 제한하는 조직
- 자체 GPU 인프라를 보유한 기업

---

### Fine-tuning

공개 가중치 모델의 또 다른 장점은 모델 자체를 특정 목적에 맞게 조정할 수 있다는 것입니다.

```text
Base Model
    ↓
Fine-tuning
    ↓
Domain Specific Model
```

예를 들어 기업 내부 데이터나 특정 산업의 데이터를 활용해 모델을 특정 업무에 특화시킬 수 있습니다.

API 기반 모델에서도 일부 Fine-tuning 기능을 사용할 수 있지만, 공개 가중치 모델은 모델 운영 환경까지 직접 제어할 수 있다는 차이가 있습니다.

---

### Distillation

Llama 3.1 405B처럼 매우 큰 모델을 그대로 운영하려면 상당한 GPU 자원이 필요합니다.

따라서 큰 모델의 능력을 더 작은 모델로 이전하는 **Model Distillation**도 중요한 활용 방법이 됩니다.

```text
Large Model
Llama 405B
     ↓
Distillation
     ↓
Smaller Model
     ↓
Lower Serving Cost
```

큰 모델을 Teacher Model로 사용하고 더 작은 모델을 특정 작업에 특화시키면 실제 서비스에서는 더 낮은 비용과 빠른 응답 속도를 확보할 수 있습니다.

---

### 왜 중요한가

핵심은 AI 시스템을 구축할 때 선택지가 늘어났다는 것입니다.

```text
LLM Architecture

├─ Managed API
│   ├─ OpenAI
│   ├─ Anthropic
│   └─ Google
│
└─ Self-hosted Model
    └─ Llama
        ├─ Fine-tuning
        ├─ Distillation
        └─ Custom Serving
```

이전에는 높은 성능이 필요한 서비스라면 상용 LLM API를 사용하는 것이 가장 현실적인 방법이었습니다.

하지만 공개 가중치 모델의 성능이 빠르게 올라오면서 **성능, 비용, 보안, 인프라 요구사항을 비교해 배포 방식을 선택하는 문제**가 중요해졌습니다.

---

### Backend 관점에서의 변화

Self-hosted LLM을 사용하면 Backend Architecture 역시 달라집니다.

외부 API를 사용할 때는 비교적 단순합니다.

```text
Backend
   ↓
LLM API
   ↓
Response
```

반면 직접 모델을 운영한다면 새로운 Infrastructure Layer가 필요합니다.

```text
Client
  ↓
Backend
  ↓
LLM Gateway
  ↓
Model Server
  ↓
GPU Cluster
  ↓
Llama
```

이 경우 Backend와 Infrastructure에서는 다음 요소까지 고려해야 합니다.

- GPU Resource 관리
- Model Serving
- Request Batching
- Inference Latency
- Model Loading
- Quantization
- Autoscaling
- GPU Memory 관리
- Monitoring
- Model Version 관리

즉 LLM을 API로 단순히 호출하는 것과 직접 운영하는 것은 완전히 다른 수준의 인프라 문제가 됩니다.

---

### 현실적인 제약

다만 **Llama 3.1 405B를 직접 운영하는 것이 모든 기업에 현실적이라는 의미는 아닙니다.**

405B 규모의 모델은 추론에도 매우 큰 GPU Memory와 상당한 Compute Resource가 필요합니다.

따라서 실제 서비스에서는 상황에 따라

```text
Llama 405B
    ↓
Fine-tuning / Distillation / Quantization
    ↓
Smaller Model
    ↓
Production Serving
```

같은 방식이나 Llama 3.1의 더 작은 모델을 사용하는 것이 현실적일 수 있습니다.

Self-hosting은 API 비용이 없다는 의미가 아니라 **API 비용 대신 GPU Infrastructure 비용과 운영 비용을 직접 부담하는 구조**이기도 합니다.

---

### 실무 영향

Llama 3.1의 등장은 AI 시스템을 설계할 때 다음과 같은 판단이 중요해지고 있음을 보여줬습니다.

```text
Managed LLM API
        vs
Self-hosted LLM
```

Managed API는 운영이 간단하고 최신 모델을 빠르게 사용할 수 있다는 장점이 있습니다.

반면 Self-hosted LLM은 데이터와 모델 실행 환경을 직접 통제할 수 있다는 장점이 있습니다.

따라서 기업에서는 다음 요소를 기준으로 Architecture를 결정하게 됩니다.

- 모델 성능
- API 비용
- GPU 비용
- 데이터 보안
- Latency
- Customization
- 운영 복잡도
- Vendor Dependency

결국 Llama 3.1 405B의 등장은 단순히 새로운 LLM이 하나 공개된 것이 아니라,

> **고성능 AI 모델을 API로 빌려 쓰는 것뿐 아니라 직접 보유하고 운영하는 선택지가 본격적으로 커지기 시작했다는 신호**

라고 볼 수 있습니다.

공개 가중치 모델의 성능이 향상되면서 AI Backend에서도 **Managed API와 Self-hosted LLM을 상황에 따라 선택하는 Architecture 설계**가 중요한 영역으로 자리 잡기 시작했습니다.

2024년 7월 26일(금) 주간 개발트렌드

독자의 메모