2024년 7월 26일(금) 주간 개발트렌드

![image](https://librarian-blog-images.s3.ap-northeast-2.amazonaws.com/2a3741f8-626e-4237-b985-d52de10bb444_thumbnail_1.png)

## AI — GPT-4o mini, AI API 가격이 크게 내려감

OpenAI가 **24년 7월 18일 GPT-4o mini**를 공개했습니다.

당시 가격은 입력 **$0.15 / 1M tokens**, 출력 **$0.60 / 1M tokens**로, 기존 GPT-3.5 Turbo보다도 훨씬 저렴한 수준이었습니다.

이 변화는 단순히 저렴한 모델이 하나 추가된 것이 아니라, **LLM을 사용하는 서비스의 비용 구조 자체를 다시 설계할 수 있게 됐다는 점**에서 중요했습니다.

---

### 기존 LLM 서비스 구조

초기 생성형 AI 서비스에서는 높은 성능의 모델 하나를 모든 요청에 사용하는 구조가 비교적 자연스러웠습니다.

```text
User Request
     ↓
Large Model
     ↓
Response
```

질문의 난이도와 상관없이 모든 요청을 동일한 모델이 처리하는 방식입니다.

구현은 단순하지만 사용량이 증가하면 비용이 빠르게 커질 수 있습니다.

---

### Small Model의 등장

GPT-4o mini처럼 성능 대비 가격이 낮은 모델이 등장하면서 모든 요청에 가장 큰 모델을 사용할 필요가 없어졌습니다.

```text
Simple Task
     ↓
Small Model

Complex Task
     ↓
Large Model
```

서비스가 요청의 난이도와 목적에 따라 모델을 선택하는 구조가 현실적인 선택지가 된 것입니다.

---

### 왜 중요한가

LLM 서비스에서는 모델 성능뿐 아니라 **Inference Cost**도 중요한 설계 요소입니다.

특히 트래픽이 많은 서비스에서는 요청 하나의 비용 차이가 작더라도 전체 사용량이 증가하면 큰 비용 차이로 이어질 수 있습니다.

예를 들어 다음과 같은 작업에는 항상 가장 강력한 모델이 필요한 것은 아닙니다.

- 텍스트 분류
- 데이터 추출
- 문장 요약
- 간단한 질의응답
- Moderation 전처리
- 간단한 챗봇 응답
- 대량 Batch 처리

이러한 요청을 작은 모델로 처리하면 전체 AI 비용을 크게 줄일 수 있습니다.

---

### Model Routing

이때 중요해지는 개념이 **Model Routing**입니다.

Model Routing은 요청의 종류나 난이도에 따라 적절한 모델을 선택하는 방식입니다.

```text
              User Request
                    ↓
              Model Router
               ↙        ↘
      Simple Request   Complex Request
            ↓                ↓
       Small Model       Large Model
            ↓                ↓
           Response Generation
```

예를 들어 단순한 카테고리 분류는 작은 모델이 처리하고, 복잡한 추론이나 긴 분석이 필요한 요청만 큰 모델로 넘길 수 있습니다.

---

### Backend 관점에서의 변화

LLM을 하나의 API처럼 호출하던 구조에서도 점점 **AI 요청을 분배하는 계층**이 중요해지기 시작했습니다.

```text
Client
  ↓
Backend
  ↓
AI Router
  ├─ Small Model
  ├─ Large Model
  └─ Specialized Model
```

Backend에서는 단순히 모델 API를 호출하는 것을 넘어 다음과 같은 요소를 고려하게 됩니다.

- 요청 난이도 분류
- Model Routing
- Token 사용량 관리
- 비용 측정
- Rate Limit
- Fallback Model
- 응답 품질 모니터링
- 모델별 Latency 비교

AI 서비스의 Backend가 점점 **모델 호출 자체보다 어떤 모델을 언제 사용할 것인지 결정하는 역할**까지 담당하게 된 것입니다.

---

### 비용 최적화

예를 들어 전체 요청 중 대부분이 단순한 작업이라면 다음과 같은 구조를 사용할 수 있습니다.

```text
전체 요청

├─ 80% Simple Task
│      ↓
│   Small Model
│
└─ 20% Complex Task
       ↓
    Large Model
```

이 방식에서는 높은 성능의 모델을 필요한 요청에만 사용하면서 전체 비용을 줄일 수 있습니다.

결국 AI 서비스의 비용 최적화는 단순히 가장 저렴한 모델을 선택하는 문제가 아니라,

```text
Cost
+
Performance
+
Latency
+
Task Complexity
```

를 함께 고려하는 문제로 발전하기 시작했습니다.

---

### 실무 영향

GPT-4o mini 같은 저비용 모델은 특히 대량 처리가 필요한 서비스에서 활용 가치가 높았습니다.

대표적으로 다음과 같은 작업입니다.

- 사용자 입력 분류
- 문서에서 구조화된 데이터 추출
- 간단한 고객 상담
- 검색 Query 생성
- 콘텐츠 태깅
- 대량 텍스트 처리
- AI Pipeline의 전처리 단계

복잡한 추론이 필요한 작업만 Large Model로 넘기고 나머지는 Small Model이 처리하는 방식이 점점 현실적인 Architecture가 됐습니다.

```text
Input
  ↓
Small Model
  ↓
처리 가능?
 ├─ Yes → Response
 └─ No
      ↓
  Large Model
      ↓
   Response
```

결국 GPT-4o mini의 등장은 단순히 저렴한 모델의 출시를 넘어,

> **AI 서비스에서도 하나의 모델을 모든 작업에 사용하는 것이 아니라 작업에 맞는 모델을 선택하는 시대가 시작됐다는 신호**

라고 볼 수 있습니다.

이후 AI Backend에서는 **Model Routing, Cost Optimization, Fallback Strategy** 같은 요소가 중요한 설계 주제로 자리 잡기 시작했습니다.

2024년 7월 19일(금) 주간 개발트렌드

독자의 메모