2025년 1월 31일(금) 주간 개발트렌드

![image](https://librarian-blog-images.s3.ap-northeast-2.amazonaws.com/b28d786c-9ec3-46ec-8055-adcd53a303c5_thumbnail_2.png)

## AI — DeepSeek R1 등장, 고성능 추론 모델의 비용 구조가 흔들림

DeepSeek가 **25년 1월 20일 DeepSeek-R1**을 공개했습니다.

DeepSeek-R1은 수학, 코딩, 논리적 추론 같은 복잡한 문제 해결에 초점을 맞춘 **Reasoning Model**입니다.

DeepSeek는 당시 R1이 여러 수학·코딩·추론 Benchmark에서 **OpenAI o1과 경쟁할 수 있는 수준의 성능**을 보였다고 발표했습니다.

특히 중요한 점은 모델을 Open Weight 형태로 공개하고, 매우 공격적인 API 가격을 제시했다는 것입니다.

이전까지 고성능 Reasoning Model은 주로

```text
Closed Model
+
External API
+
High Inference Cost
```

형태로 사용하는 것이 일반적이었지만, DeepSeek-R1은 이 구조에 새로운 선택지를 제시했습니다.

[DeepSeek - DeepSeek-R1](https://deepseek.com/en/news/deepseek-r1/)

---

### Reasoning Model 경쟁

2024년 OpenAI o1이 등장하면서 AI Model 경쟁에는 새로운 축이 생겼습니다.

```text
기존

Prompt
  ↓
LLM
  ↓
Answer
```

Reasoning Model에서는 문제를 해결하는 과정에 더 많은 Compute를 사용합니다.

```text
Problem
   ↓
Reasoning
   ↓
Inference Compute
   ↓
Answer
```

특히 다음과 같은 문제에서 Reasoning 능력이 중요합니다.

- Mathematics
- Coding
- Algorithm
- Complex Planning
- Logical Reasoning
- Scientific Problem Solving

2024년 말 o3가 예고되면서 Reasoning 경쟁은 더욱 본격화되고 있었습니다.

```text
GPT 계열
   ↓
o1
   ↓
o3
```

그리고 2025년 초 DeepSeek-R1이 등장하면서 이 경쟁 구도에 큰 변화가 생겼습니다.

---

### 기존 Reasoning Model의 구조

당시 고성능 Reasoning Model을 사용하려면 일반적으로 Model Provider의 API를 사용하는 방식이 중심이었습니다.

```text
Application
     ↓
External API
     ↓
Reasoning Model
     ↓
Response
```

개발자는 Infrastructure를 관리할 필요가 없다는 장점이 있었지만 몇 가지 제약도 존재합니다.

```text
Managed Reasoning API

├─ API Cost
├─ Provider Dependency
├─ Rate Limit
├─ Data External Transfer
└─ Model Customization 제한
```

특히 Reasoning Model은 일반적인 LLM보다 많은 Inference Compute를 사용할 수 있기 때문에 비용 역시 중요한 문제가 됩니다.

---

### DeepSeek-R1이 바꾼 부분

DeepSeek-R1의 가장 큰 의미 중 하나는 **고성능 Reasoning Model을 사용하는 방법이 API 하나로 제한되지 않는다는 것을 보여줬다는 점**입니다.

```text
Reasoning Model

기존

Closed API
     ↓
Provider Infrastructure


DeepSeek-R1

Open Weight
     ↓
┌───────────────┬───────────────┐
API        Self-hosting
                ↓
          Fine-tuning
          Distillation
```

기업이나 개발자는 외부 API를 사용하는 것뿐 아니라 자체 Infrastructure에서 Model을 운영하는 방식까지 비교할 수 있게 됐습니다.

---

### Open Weight가 중요한 이유

Closed Model에서는 사용자가 Model 내부를 직접 운영할 수 없습니다.

```text
Application
     ↓
Provider API
     ↓
Closed Model
```

반면 Open Weight Model은 Model Weight를 확보해 자체 환경에서 실행할 수 있습니다.

```text
Application
     ↓
Model Server
     ↓
DeepSeek-R1
     ↓
GPU Infrastructure
```

이를 통해 다음과 같은 선택지가 생깁니다.

- Self-hosting
- Private Cloud 배포
- On-premise 배포
- Fine-tuning
- Distillation
- Quantization
- Custom Model Serving

AI Architecture의 선택지가 훨씬 넓어지는 것입니다.

---

### Self-hosting

기업이 자체적으로 Model을 운영한다면 외부 LLM Provider에 데이터를 전송하지 않는 Architecture를 구성할 수 있습니다.

```text
User
  ↓
Internal Application
  ↓
Internal Model Server
  ↓
DeepSeek-R1
```

특히 다음과 같은 환경에서 의미가 있습니다.

```text
민감한 기업 데이터

내부 Source Code

금융 데이터

보안 문서

외부 전송이 제한된 데이터
```

Model Execution Environment를 직접 통제할 수 있다는 것이 Open Weight Model의 중요한 장점입니다.

---

### 하지만 Self-hosting이 무료라는 의미는 아니다

Model Weight를 무료로 사용할 수 있다고 해서 운영 비용까지 무료인 것은 아닙니다.

자체 Model Serving에는 상당한 Infrastructure가 필요할 수 있습니다.

```text
Self-hosted LLM

├─ GPU
├─ Model Server
├─ Storage
├─ Network
├─ Autoscaling
├─ Monitoring
└─ Operations
```

특히 대형 Reasoning Model은 많은 GPU Memory와 Compute Resource를 요구할 수 있습니다.

따라서 실제 비용 구조는 다음처럼 비교해야 합니다.

```text
Managed API

API Cost
+
Vendor Dependency


Self-hosting

GPU Cost
+
Infrastructure
+
Engineering Cost
+
Operations
```

어느 쪽이 더 저렴한지는 Traffic과 Model Size, Infrastructure 상황에 따라 달라집니다.

---

### API 가격 경쟁

DeepSeek-R1이 주목받은 또 다른 이유는 **공격적인 API 가격**이었습니다.

Reasoning Model은 일반적으로 더 많은 Compute를 사용하는 만큼 높은 비용이 발생할 수 있다는 인식이 있었습니다.

```text
High Reasoning
      ↓
High Compute
      ↓
High Cost
```

DeepSeek는 이 전제에 도전했습니다.

```text
Reasoning Capability
        +
Lower API Cost
```

Reasoning Model 시장에서도 단순 성능뿐 아니라 **Inference Efficiency와 Cost Efficiency가 중요한 경쟁 요소**가 된 것입니다.

---

### AI Model 경쟁의 변화

기존 Model 경쟁은 주로 다음과 같았습니다.

```text
어떤 Model이
가장 높은 Benchmark를 기록하는가?
```

하지만 DeepSeek-R1 이후에는 질문이 하나 더 생깁니다.

```text
그 성능을
얼마의 비용으로 제공하는가?
```

AI Model 경쟁 기준이 다음처럼 확장됩니다.

```text
AI Model

├─ Intelligence
├─ Reasoning
├─ Latency
├─ Context
├─ Inference Cost
├─ Open Weight
└─ Deployment Flexibility
```

높은 성능만으로 Model을 평가하기 어려워진 것입니다.

---

### Distillation

DeepSeek-R1에서 특히 중요한 흐름 중 하나가 **Distillation**입니다.

큰 Reasoning Model을 그대로 Production에서 운영하는 대신 그 능력을 더 작은 Model에 전달할 수 있습니다.

```text
Large Reasoning Model
         ↓
     Distillation
         ↓
Smaller Model
         ↓
Lower Serving Cost
```

예를 들어 전체 Reasoning 능력이 필요한 것이 아니라 특정 Coding이나 Domain Task에서 높은 성능이 필요한 경우 Smaller Model을 활용할 수 있습니다.

---

### 왜 Distillation이 중요한가

대형 Model은 강력하지만 Production 환경에서는 여러 문제가 발생합니다.

```text
Large Model

├─ 높은 GPU Memory
├─ 높은 Inference Cost
├─ 높은 Latency
└─ 복잡한 Serving
```

Smaller Distilled Model은 이를 줄일 수 있습니다.

```text
Distilled Model

├─ 낮은 Resource 요구량
├─ 빠른 Inference
├─ 저렴한 Serving
└─ Self-hosting 용이
```

따라서 기업에서는 Model 선택을 다음처럼 구성할 수도 있습니다.

```text
Complex Task
     ↓
Large Reasoning Model


Normal Task
     ↓
Distilled Model
```

---

### Model Routing과 결합

이 구조는 Model Routing과도 자연스럽게 연결됩니다.

```text
User Request
     ↓
AI Router
     │
     ├─ Simple Task
     │      ↓
     │ Small Model
     │
     ├─ Coding
     │      ↓
     │ Distilled Model
     │
     └─ Complex Reasoning
            ↓
       Large Model
```

하나의 Model로 모든 요청을 처리하는 것이 아니라 **Task Complexity와 Cost에 따라 Model을 분리하는 Architecture**입니다.

---

### 기존 Model Routing의 확장

2024년 GPT-4o mini 등장 이후 Model Routing은 주로 다음 구조로 생각할 수 있었습니다.

```text
Simple Task
    ↓
Small Model


Complex Task
    ↓
Large Model
```

Reasoning과 Open Weight Model이 결합되면서 선택지는 더 많아집니다.

```text
AI Routing

├─ Small API Model
├─ General Model
├─ Reasoning Model
├─ Self-hosted Model
└─ Distilled Model
```

즉 어떤 Model을 선택할 것인가뿐 아니라 **어디서 실행할 것인가까지 Architecture 결정 요소**가 됩니다.

---

### Backend Architecture의 변화

Managed API만 사용하는 AI Backend는 비교적 단순합니다.

```text
Client
  ↓
Backend
  ↓
LLM API
  ↓
Response
```

Self-hosted Model을 함께 사용하면 새로운 Infrastructure Layer가 들어옵니다.

```text
Client
  ↓
Backend
  ↓
AI Gateway
  │
  ├─ External API
  │
  └─ Internal Model Server
          ↓
         GPU
```

Backend에서는 여러 Model과 Provider를 관리해야 할 수 있습니다.

---

### AI Gateway가 중요해진다

Model 선택지가 많아질수록 Application이 특정 Model에 직접 연결되는 구조는 관리하기 어려워집니다.

```text
Application
   ↓
DeepSeek

Application
   ↓
OpenAI

Application
   ↓
Claude
```

이를 중간 Layer로 추상화할 수 있습니다.

```text
Application
     ↓
AI Gateway
     ↓
Model Router
     │
     ├─ External Model
     ├─ DeepSeek
     └─ Internal Model
```

AI Gateway에서는 다음과 같은 기능을 담당할 수 있습니다.

- Model Routing
- Authentication
- Rate Limit
- Cost Tracking
- Logging
- Fallback
- Retry
- Provider Switching

AI Model을 일반적인 External Dependency처럼 추상화하는 것입니다.

---

### Vendor Dependency 감소

Open Weight Model의 또 다른 장점은 특정 AI Provider에 대한 Dependency를 줄일 수 있다는 점입니다.

```text
Single Provider

Application
    ↓
Provider A
```

Provider의 가격이나 정책이 변경되면 Application에도 직접적인 영향을 줍니다.

Open Weight Model을 포함하면 다음과 같은 선택지가 생깁니다.

```text
Application
    ↓
AI Layer
    │
    ├─ Provider A
    ├─ Provider B
    └─ Self-hosted Model
```

AI Infrastructure에서도 Vendor Lock-in을 관리할 수 있는 Architecture가 중요해집니다.

---

### 기업의 AI Model 선택 기준 변화

기업에서 AI Model을 선택할 때도 평가 기준이 많아집니다.

```text
Model Selection

├─ Performance
├─ Cost
├─ Latency
├─ Security
├─ Data Privacy
├─ License
├─ Deployment
├─ Customization
└─ Operations
```

예를 들어 매우 민감한 데이터라면 최고 성능의 External API보다 자체 Hosting이 더 중요할 수 있습니다.

반대로 작은 팀이라면 직접 GPU Infrastructure를 관리하는 것보다 Managed API가 훨씬 경제적일 수 있습니다.

---

### API vs Self-hosted

두 Architecture에는 명확한 Trade-off가 있습니다.

```text
Managed API

장점
├─ Infrastructure 운영 불필요
├─ 빠른 도입
└─ Scaling 용이

단점
├─ API Cost
├─ Vendor Dependency
└─ Data External Transfer
```

반면 Self-hosted는 다음과 같습니다.

```text
Self-hosted

장점
├─ Data Control
├─ Model Control
├─ Customization
└─ Vendor Dependency 감소

단점
├─ GPU Infrastructure
├─ Scaling
├─ Monitoring
└─ 운영 Complexity
```

따라서 Open Weight Model은 API를 완전히 대체한다기보다 **새로운 Architecture Option을 추가한 것**에 가깝습니다.

---

### Reasoning Model의 Commodity화

DeepSeek-R1 이전에는 높은 Reasoning Capability 자체가 일부 Closed Model Provider의 강력한 차별점이었습니다.

하지만 Open Weight Reasoning Model이 등장하면서 상황이 달라지기 시작했습니다.

```text
기존

Advanced Reasoning
       ↓
Closed Provider


변화

Advanced Reasoning
       ↓
Closed Model
+
Open Weight Model
```

Reasoning Capability 자체도 점점 여러 Model에서 제공할 수 있는 기능으로 확산되기 시작했습니다.

---

### AI Competition의 새로운 기준

이후 AI 경쟁은 단순한 Benchmark 경쟁에서 더 복잡한 구조로 변화합니다.

```text
AI Competition

Intelligence
+
Reasoning
+
Inference Efficiency
+
Price
+
Open Weight
+
Tool Use
+
Agent
```

특히 Model 성능이 비슷해질수록 Cost Efficiency가 중요한 차별화 요소가 됩니다.

```text
비슷한 성능

Model A → 높은 Cost

Model B → 낮은 Cost

        ↓

Application Economics 변화
```

AI API 비용이 실제 서비스의 Unit Economics와 직접 연결되기 때문입니다.

---

### 개발자에게 중요한 변화

개발자 입장에서도 이제 AI Model 선택이 단순하지 않습니다.

기존에는

```text
어떤 API Model이 가장 좋은가?
```

를 고민했다면,

점점 다음과 같이 변합니다.

```text
어떤 Task인가?

외부 API를 사용할 것인가?

Self-hosting할 것인가?

Distilled Model이면 충분한가?

얼마나 많은 Reasoning이 필요한가?

허용 가능한 Latency는?

요청당 Cost는?
```

Model 자체가 Application Architecture의 중요한 설계 요소가 된 것입니다.

---

### 실무 영향

DeepSeek-R1 이후 기업과 개발자는 Reasoning Model을 사용할 때 더 많은 선택지를 비교하게 됐습니다.

```text
Reasoning Architecture

├─ Closed API
│
├─ Open Weight API
│
├─ Self-hosted Model
│
└─ Distilled Model
```

특히 Data Privacy나 Model Customization이 중요한 환경에서는 Self-hosting이 현실적인 후보가 됐고,

Infrastructure 운영 부담을 피하고 싶은 서비스에서는 여전히 Managed API가 강력한 선택지가 됩니다.

결국 중요한 것은 하나의 Model을 선택하는 것이 아니라 **서비스 특성에 따라 Model과 Deployment 방식을 조합하는 것**입니다.

DeepSeek-R1의 등장은,

> **고성능 Reasoning Model은 반드시 폐쇄형 API와 높은 비용을 통해서만 사용할 수 있다는 전제를 흔든 사건**

이라고 볼 수 있습니다.

Reasoning Model 경쟁이 성능뿐 아니라 **Inference Cost, Open Weight, Self-hosting, Distillation까지 포함하는 경쟁으로 확대되면서 AI Backend Architecture의 선택지도 크게 늘어나기 시작했습니다.**

2025년 1월 24일(금) 주간 개발트렌드

독자의 메모