---
title: "RLHF의 복잡성을 넘어서: DPO (Direct Preference Optimization) 완벽 해부! 강화학습 없이 최적화하다"
id: "703"
type: "post"
slug: "direct-preference-optimization-dpo-rlhf-alternative-guide"
published_at: "2025-12-12T04:42:17+00:00"
modified_at: "2026-07-19T09:57:52+00:00"
url: "https://doyouknow.kr/direct-preference-optimization-dpo-rlhf-alternative-guide/"
markdown_url: "https://doyouknow.kr/direct-preference-optimization-dpo-rlhf-alternative-guide.md"
excerpt: "DPO vs RLHF 완벽 비교! RLHF 3단계 복잡성. Bradley-Terry 모델. DPO 수학적 유도: 보상 함수 역추출, 정규화 상수 소거! 암시적 보상: 정책이 자신의 로그비율로 보상 인코딩. 16배 빠름, 메모리 50% 절감! nrDPO·ADPO로 노이즈 대응. 미래: 온라인 DPO, 다중 목표 최적화까지!"
taxonomy_category:
  - "AI"
taxonomy_post_tag:
  - "ADPO"
  - "AI"
  - "AI 정렬"
  - "Bradley-Terry Model"
  - "DPO"
  - "KL Divergence"
  - "LLM 정렬"
  - "nrDPO"
  - "Preference Optimization"
  - "Reward Modeling"
  - "RLHF"
  - "강화학습 없이"
  - "다중 목표 최적화"
  - "선호도 최적화"
  - "온라인 DPO"
  - "임시 보상"
  - "정렬"
  - "지도학습"
---

## 핵심 요약

**“RLHF의 복잡성을 제거한 수학적 우아함이 나타났습니다.”**

ChatGPT, Claude, Gemini 등 대형 언어 모델들을 만드는 일등공신이었던 **RLHF (Reinforcement Learning from Human Feedback)**는 수십억 개의 파라미터를 안정적으로 최적화하기 어려운 약점이 있습니다.  
2023년 5월 Rafailov 등이 발표한 “[Direct Preference Optimization: Your Language Model is Secretly a Reward Model](https://arxiv.org/abs/2305.18290)
“는 이 문제를 **강화학습 없이 순수 지도학습**으로 해결했습니다.  
핵심은 **Bradley-Terry 모델과 KL 발산의 우아한 수학적 재매개변수화**입니다.  
실제로 [성과에 따르면](https://arxiv.org/abs/2305.18290)
 **DPO는 RLHF보다 16배 빠르면서도 동등하거나 더 나은 성능**을 달성했습니다.  
더 놀라운 것은, [2025년 최신 연구](https://cameronrwolfe.substack.com/p/direct-preference-optimization)
에서 DPO가 **오픈소스 LLM 진영의 표준 학습법**이 되었으며, **감정 제어, 길이 조절, 다중 목표 최적화**까지 가능해졌다는 점입니다.

이 포스팅에서는 **RLHF의 복잡성과 한계**, **Bradley-Terry 모델**, **DPO의 수학적 유도**, **암시적 보상 함수**, 그리고 **실제 성능과 미래 발전**까지 완벽하게 분석합니다.

[ez-toc]

## 1. RLHF: 성공과 복잡성의 이중주

### 1-1. RLHF의 3단계 복잡성

**RLHF 파이프라인:**

**Step 1: Supervised Fine-Tuning (SFT)**

- 고품질 데이터로 기본 모델 학습
- 시간: 짧음, 안정적

**Step 2: 보상 모델(Reward Model) 훈련**

- 별도의 신경망 구축
- 인간 선호도 데이터로 “좋은 답 vs 나쁜 답” 판별 학습
- 문제: 보상 모델 훈련이 복잡하고 많은 데이터 필요

**Step 3: PPO(Proximal Policy Optimization)로 강화학습**

- 보상 모델이 높은 점수 주는 응답 생성하도록 원래 모델 최적화
- **가장 복잡한 단계**: 하이퍼파라미터 튜닝 어려움, 수렴 불안정

[RLHF 연구 현황](https://iclr-blogposts.github.io/2024/blog/rlhf-without-rl/)
:

> “PPO 기반 RLHF는 3개 신경망(원본, 보상 모델, 참조 모델)을 동시 관리해야 하므로 매우 불안정합니다.”

### 1-2. RLHF의 구체적 문제들

**문제 1: 보상 모델의 편향**

보상 모델도 결국 또 다른 신경망입니다:

- 훈련 데이터의 편향을 그대로 물려받음
- 인간이 선호하는 것과 보상 모델이 학습한 것이 불일치 가능
- 예: 보상 모델이 “긴 답변”을 좋아하도록 학습되면, 모델이 불필요한 길이 증가

**문제 2: 온라인 샘플링의 비효율**

PPO는 온라인 학습이 필요합니다:

- 훈련 중 계속 새로운 응답 생성
- 각 샘플마다 보상 모델 평가 필요
- 계산량 증가: 훈련 시간 기하급수적 증가

**문제 3: 하이퍼파라미터 민감도**

여러 하이퍼파라미터 동시 조정:

- PPO의 학습률, 에포크, 배치 크기
- KL 페널티 계수
- 보상 모델 가중치
- 작은 변화도 훈련 실패 가능

**문제 4: 분포 이동(Distribution Shift)**

원본 모델이 계속 변하면서:

- 보상 모델이 훈련하지 않은 새로운 상황 발생
- 보상 모델의 신뢰도 감소
- 최악의 경우: 보상 해킹 (모델이 보상 조작)

## 2. Bradley-Terry 모델: 선호도의 수학적 표현

### 2-1. Bradley-Terry 모델의 기초

**역사:**

Bradley와 Terry (1952)가 스포츠 토너먼트 결과를 분석하기 위해 제안한 모델입니다.

**기본 개념:**

두 선수(또는 응답) A와 B가 경기할 때:

P(A>B)=rArA+rBP(A > B) = \frac{r_A}{r_A + r_B}

여기서:

- rAr_A, rBr_B: 각 선수(응답)의 “강도(strength)”
- P(A>B)P(A > B): A가 B를 이길 확률

**예시:**

“좋은 답” (가중치 r_w = 10), “나쁜 답” (r_l = 1)이면:

P(좋음>나쁨)=1010+1=0.91P(\text{좋음} > \text{나쁨}) = \frac{10}{10 + 1} = 0.91

90% 확률로 좋은 답이 선택됨 (합리적!)

### 2-2. RLHF에서 Bradley-Terry

[RLHF 목표의 수학적 형태](https://cameronrwolfe.substack.com/p/direct-preference-optimization)
:

보상 함수 (r∗r^*)를 사용하면:

P(yw>yl|x)=exp⁡(r(x,yw))exp⁡(r(x,yw))+exp⁡(r(x,yl))=σ(β[r(x,yw)−r∗(x,yl)])P(y_w > y_l \mid x) = \frac{\exp(r^(x, y_w))}{\exp(r^(x, y_w)) + \exp(r^(x, y_l))} = \sigma(\beta [r^(x, y_w) – r^*(x, y_l)])

**의미:**

- ywy_w: 선호하는 응답 (chosen)
- yly_l: 비선호 응답 (rejected)
- σ\sigma: 시그모이드 함수 (확률을 0-1로 정규화)
- β\beta: 온도 파라미터 (얼마나 강하게 차이를 반영할지)

이것이 RLHF의 핵심입니다!

### 2-3. 최적 정책의 폐쇄형 해

**놀라운 발견:**

RLHF 목표 (보상 최대화 + KL 제약):

maxπθ⁡𝔼[r(x,y)]−β𝔼[KL(πθ|πref)]\max_{\pi_\theta} \mathbb{E}[r(x, y)] – \beta \mathbb{E}[\text{KL}(\pi_\theta | \pi_{\text{ref}})]

이 문제의 **정확한 해**는:

π(y|x)=1Z(x)πref(y|x)exp⁡(1βr(x,y))\pi^(y \mid x) = \frac{1}{Z(x)} \pi_{\text{ref}}(y \mid x) \exp\left(\frac{1}{\beta} r^(x, y)\right)

여기서 Z(x)Z(x)는 정규화 상수 (분모).

**의미:** 최적 정책은 참조 정책에 보상을 지수함수로 가중치를 준 형태!

## 3. DPO의 수학적 유도: RLHF 목표를 재매개변수화하다

### 3-1. 핵심 아이디어: 역함수 관계

**핵심 통찰:**

최적 정책 공식에서 보상을 **역으로 구할 수 있다**!

π(y|x)=1Z(x)πref(y|x)exp⁡(1βr(x,y))\pi^(y \mid x) = \frac{1}{Z(x)} \pi_{\text{ref}}(y \mid x) \exp\left(\frac{1}{\beta} r^(x, y)\right)

양변에 로그를 취하면:

log⁡π(y|x)=log⁡πref(y|x)+1βr(x,y)−log⁡Z(x)\log \pi^(y \mid x) = \log \pi_{\text{ref}}(y \mid x) + \frac{1}{\beta} r^(x, y) – \log Z(x)

따라서:

r(x,y)=βlog⁡π(y|x)πref(y|x)+βlog⁡Z(x)r^(x, y) = \beta \log \frac{\pi^(y \mid x)}{\pi_{\text{ref}}(y \mid x)} + \beta \log Z(x)

**핵심: (\log Z(x))는 y에 무관합니다!**

### 3-2. 보상 차이 계산

두 응답 ywy_w (선호)와 yly_l (비선호)의 보상 차이:

r(x,yw)−r(x,yl)=βlog⁡π(yw|x)π(yl|x)−βlog⁡πref(yw|x)πref(yl|x)r^(x, y_w) – r^(x, y_l) = \beta \log \frac{\pi^(y_w \mid x)}{\pi^(y_l \mid x)} – \beta \log \frac{\pi_{\text{ref}}(y_w \mid x)}{\pi_{\text{ref}}(y_l \mid x)}

**신기한 점:**log⁡Z(x)\log Z(x)**가 소거됩니다!**

이것이 DPO의 핵심입니다: **정규화 상수를 계산하지 않아도 됩니다.**

### 3-3. DPO 손실함수

Bradley-Terry 모델에 위 식을 대입:

ℒDPO(πθ;πref)=−𝔼(x,yw,yl)∼𝒟[log⁡σ(β(log⁡πθ(yw|x)πref(yw|x)−log⁡πθ(yl|x)πref(yl|x)))]\mathcal{L}{DPO}(\pi\theta; \pi_{\text{ref}}) = -\mathbb{E}{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \left( \beta \left( \log \frac{\pi\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} – \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)} \right) \right) \right]

**해석:**

- σ\sigma: 시그모이드 (0-1 확률로 정규화)
- πθ\pi_\theta: 현재 학습 중인 모델
- πref\pi_{\text{ref}}: 참조 모델 (보통 SFT 모델)
- β\beta: 온도 (작을수록 선호도에 더 엄격하게 반응)

## 4. 암시적 보상 함수: 숨겨진 수학의 마법

### 4-1. “암시적”의 의미

**RLHF:**

- 명시적 보상 모델: rϕ(x,y)r_\phi(x, y) (별도 신경망)
- 별도로 훈련하고 저장해야 함

**DPO:**

- 암시적 보상: 정책 πθ\pi_\theta 내에 내포됨
- 별도 신경망 불필요
- 보상을 직접 계산할 필요 없음

### 4-2. DPO가 암시적 보상 함수를 학습하는 방식

[Deep Learning 원리](https://iclr-blogposts.github.io/2024/blog/rlhf-without-rl/)
:

DPO 손실함수를 최소화하면:

rimplicit(x,y):=βlog⁡πθ(y|x)πref(y|x)r_\text{implicit}(x, y) := \beta \log \frac{\pi_\theta(y \mid x)}{\pi_{\text{ref}}(y \mid x)}

이 암시적 보상이 다음을 만족:

1. **선호도 순서 보존**: rimplicit(x,yw)>rimplicit(x,yl)r_\text{implicit}(x, y_w) > r_\text{implicit}(x, y_l)
2. **RLHF와 동등**: 최적점에서 DPO 해가 RLHF 해와 일치

### 4-3. 왜 “정책이 보상 모델이다”인가?

**핵심 통찰:**

rimplicit(x,y)=βlog⁡πθ(y|x)πref(y|x)r_\text{implicit}(x, y) = \beta \log \frac{\pi_\theta(y \mid x)}{\pi_{\text{ref}}(y \mid x)}

이 식에서:

- 분자: 현재 모델이 이 응답을 생성할 확률
- 분모: 참조 모델이 이 응답을 생성할 확률
- 비율: 참조로부터 얼마나 벗어났는가?

**의미:** 모델 자신의 확률 비율이 보상을 인코딩합니다!

## 5. 정량적 성능: RLHF vs DPO 진짜 비교

### 5-1. 속도 개선

[공식 벤치마크](https://arxiv.org/abs/2305.18290)
:

**훈련 시간:**

| 작업 | RLHF | DPO | 개선 |
| --- | --- | --- | --- |
| Summarization | 16시간 | 1시간 | 16배 ↓ |
| QA | 24시간 | 2시간 | 12배 ↓ |
| 평균 | – | – | ~16배 |

**이유:**

- 보상 모델 훈련 제거
- PPO의 온라인 샘플링 제거
- 순수 지도학습 (단순 역전파)

### 5-2. 정확도 비교

[여러 작업에서의 성능](https://www.tylerromero.com/posts/2024-04-dpo/)
:

**요약 작업 (Summarization):**

| 메트릭 | RLHF | DPO |
| --- | --- | --- |
| ROUGE-1 | 31.2 | 31.8 |
| ROUGE-2 | 14.5 | 15.1 |
| ROUGE-L | 28.9 | 29.4 |
| 우수 | RLHF ≈ DPO | DPO 약간 우수 |

**감정 제어 (Sentiment Control):**

RLHF: 생성된 텍스트의 감정 제어 어려움  
DPO: **훨씬 정교한 감정 제어 가능** (선호도 데이터에 따라)

### 5-3. 메모리 사용량

**신경망 수:**

| 모델 | RLHF | DPO |
| --- | --- | --- |
| 원본 모델 | 필수 | 필수 |
| 참조 모델 | 필수 | 필수 |
| 보상 모델 | 필수 | 불필요 ✓ |
| 가치 모델 (PPO) | 필수 | 불필요 ✓ |
| 총 신경망 | 4개 | 2개 |
| 메모리 | 기준 | 50% 절감 |

## 6. DPO의 한계와 미래: 다음 세대의 정렬

### 6-1. 현재 DPO의 알려진 한계

**문제 1: 오프라인 학습의 한계**

DPO는 고정된 선호 데이터로만 학습:

- 온라인 RLHF: 훈련 중 새로운 샘플 생성 → 분포 개선
- DPO: 고정 데이터셋만 사용 → 분포 이동 없음

[실제 성과](https://arxiv.org/abs/2403.01857)
:

“온라인 RLHF가 여전히 특정 상황에서 DPO를 능가합니다”

**문제 2: 노이즈 민감도**

[RLAIF (AI 피드백) 연구](https://www.mdpi.com/2076-3417/15/19/10328)
:

선호 데이터에 50% 노이즈 있으면:

- RLHF: 상대적으로 견디어냄
- DPO: 성능 **급격히 하락** (49-50% vs 60%)

이유: Bradley-Terry 모델 가정 위반

**문제 3: 길이 편향(Length Bias)**

[실제 문제](https://aclanthology.org/2024.findings-acl.297/)
:

“DPO가 더 긴 응답을 선호하는 경향”

- 이유: 선호 데이터에 긴 답변이 더 자주 선호될 수 있음
- 결과: 불필요한 길이 증가

**문제 4: 정규화 상수의 비대칭성**

[최근 분석](https://www.tylerromero.com/posts/2024-04-dpo/)
:

결정적 선호도 (한 응답만 항상 선호)에서:

- KL 정규화가 약해짐
- 모델이 너무 공격적으로 최적화

### 6-2. 최신 개선 방법들

**1. nrDPO (Noise-Robust DPO)**

[노이즈 대응](https://www.mdpi.com/2076-3417/15/19/10328)
:

ℒnrDPO=nrDPO+가중치 조정\mathcal{L}_{\text{nrDPO}} = \text{nrDPO} + \text{가중치 조정}

세 가지 개선:

- Margin-confidence: 참조 정책의 신뢰도로 재가중치화
- Context-stability: 문맥에서 안정적인 선호만 사용
- Length correction: 길이 편향 제거

**결과:** 30% 노이즈에서 **3.8% 정확도 향상**

**2. ADPO (Anchored DPO)**

[기준점 고정](https://arxiv.org/abs/2510.18913)
:

ℒADPO=KL(q|softmax((l−lref)/τanc))\mathcal{L}{\text{ADPO}} = \text{KL}(q | \text{softmax}((l – l{\text{ref}}) / \tau_{\text{anc}}))

- 참조 정책의 기준점 고정
- 신뢰도 영역 자동 조정

**결과:** 노이즈 환경에서 **12-93% 성능 향상**

**3. α-DPO**

적응형 보상 마진:

“다양한 데이터에 맞춰 보상 간격 자동 조정”

### 6-3. 미래: Hybrid와 다중 목표

**1. 온라인 DPO**

오프라인의 한계 극복:

“훈련 중 모델 자신의 응답을 선호도 데이터로 추가”

효과: RLHF 수준 분포 개선

**2. 다중 목표 최적화 (Multi-Objective)**

[PEO: Post-training Extrapolation Optimization](http://arxiv.org/pdf/2503.01233.pdf)
:

“유용성(helpfulness)과 무해성(harmlessness) 동시 최적화”

- RLHF: 두 목표 동시 고려 어려움
- DPO: 다중 선호 데이터셋 사용 가능

**3. 비 쌍 데이터 활용**

[Listwise DPO](https://arxiv.org/abs/2510.18913)
:

기존: 선호 vs 비선호 (쌍)  
미래: 여러 응답을 동시에 순서대로 비교

효과: **데이터 효율성 50% 향상**

## 정리: 핵심 포인트

✅ **RLHF의 복잡성**: 3단계, 4개 신경망, 불안정한 PPO

✅ **Bradley-Terry 모델**: 선호도를 확률로 표현

✅ **DPO의 우아함**: 보상 함수를 역으로 추출하고 정규화 상수 소거

✅ **암시적 보상**: 정책이 자신의 로그비율로 보상을 인코딩

✅ **극적 효율성**: **16배 빠름**, 메모리 50% 절감, 동등 이상의 성능

✅ **한계와 개선**: 노이즈 민감도 → nrDPO/ADPO로 해결 중

## FAQ: 자주 묻는 질문

### Q1. DPO가 정말 RLHF를 대체할까요?

**A.** 현재로서는 부분적 대체입니다:

- **DPO가 나은 경우**: 안정성, 속도, 구현 단순성
- **RLHF가 나은 경우**: 온라인 학습, 복잡한 시나리오
- **미래**: 온라인 DPO로 RLHF 완전 대체 예상

### Q2. “암시적 보상”이 진짜 작동하나요?

**A.** 네, 수학적으로 증명됩니다:

- DPO 손실함수를 최소화하면
- rimplicit=βlog⁡πθπrefr_{\text{implicit}} = \beta \log \frac{\pi_\theta}{\pi_{\text{ref}}}가 자동으로 선호도를 학습
- 별도 훈련 불필요

### Q3. 왜 정규화 상수가 소거되나요?

**A.** 핵심 수학:

- log⁡Z(x)\log Z(x)는 yy와 무관한 상수
- 두 응답의 보상 **차이**만 필요하므로
- 차이 계산 시 상수 항이 소거됨

### Q4. DPO가 언제 실패하나요?

**A.** 알려진 문제:

- ❌ 매우 노이즈 많은 데이터 (50%+ 오류)
- ❌ 불연속적 선호도 (특정 상황은 항상 나쁨)
- ❌ 매우 큰 모델 (훈련 불안정성 증가)

### Q5. 베타(β) 하이퍼파라미터는 뭐가 다른가요?

**A.** β\beta의 의미:

- **작음** (0.1): 선호도에 더 엄격 → 더 공격적 최적화
- **크음** (1.0): 선호도에 더 관대 → 참조 정책 보존

일반적으로 **0.5-1.0** 범위 추천

## 외부 참고 자료

DPO를 더 깊게 배우고 싶다면:

- [DPO 원 논문](https://arxiv.org/abs/2305.18290) – Rafailov et al., 기초 유도
- [Deep Learning Focus](https://cameronrwolfe.substack.com/p/direct-preference-optimization) – 수식 해석, 실무
- [ICLR 튜토리얼](https://iclr-blogposts.github.io/2024/blog/rlhf-without-rl/) – 단계별 유도
- [Tyler Romero 분석](https://www.tylerromero.com/posts/2024-04-dpo/) – Bradley-Terry 상세 분석
- [nrDPO 개선](https://www.mdpi.com/2076-3417/15/19/10328) – 노이즈 대응 방법

## 정리: 이 글에서 배운 것

✅ **RLHF의 복잡성**: 3단계, 불안정한 PPO, 보상 모델 필요

✅ **Bradley-Terry 모델**: 선호도 = 점수 비율의 확률

✅ **핵심 통찰**: 역함수로 보상을 정책에서 직접 추출 가능

✅ **수학의 우아함**: 정규화 상수 자동 소거, 단순 손실함수

✅ **암시적 보상**: 별도 신경망 없이 정책이 자신의 보상 학습

✅ **극적 효율성**: **16배 빠름**, 메모리 50% 절감, 안정적

✅ **지속 개선**: nrDPO, ADPO, 온라인 DPO로 한계 극복 중

다음 포스팅에서는 **“GRPO와 그 이후: DPO를 넘어선 다음 세대 정렬 알고리즘”**에 대해 자세히 알아봅니다. DPO의 한계를 어떻게 극복하고 있는지 파헤쳐 봅시다!

**관련 포스팅:**

- [강화학습 심화: RLHF부터 DPO까지](https://doyouknow.kr/reinforcement-learning-rlhf-dpo-ppo-grpo-deepseek-guide/)
- [Constitutional AI & RLHF 심화 완벽 가이드: Claude의 “헌법”이 GPT의 “피드백”을 이기는 이유! 안전한 AI의 미래](https://doyouknow.kr/constitutional-ai-rlhf-alignment-claude-anthropic-guide/)
- [ChatGPT 10배 활용법 – Prompt Engineering](https://doyouknow.kr/prompt-engineering-chatgpt-cot-few-shot-tot-guide/)
- [Chat GEL vs Claude vs Gemini – 생성형 AI 완전 해부](https://doyouknow.kr/gpt-claude-gemini-transformer-rlhf-diffusion-multimodal-comparison/)

### 이 글 공유하기:

- [Facebook으로 공유하기 (새 창에서 열림)Facebook](https://doyouknow.kr/direct-preference-optimization-dpo-rlhf-alternative-guide/?share=facebook)
- [X에 공유 (새 창에서 열림)X](https://doyouknow.kr/direct-preference-optimization-dpo-rlhf-alternative-guide/?share=x)
-

### 이것이 좋아요:

좋아하기로드 중...

### *관련*

### 관련된 글:

1. [강화학습 심화 완벽 가이드: RLHF부터 DPO, GRPO까지! ChatGPT가 말 잘 듣게 된 비밀](https://doyouknow.kr/reinforcement-learning-rlhf-dpo-ppo-grpo-deepseek-guide/)
2. [Constitutional AI & RLHF 심화 완벽 가이드: Claude의 “헌법”이 GPT의 “피드백”을 이기는 이유! 안전한 AI의 미래](https://doyouknow.kr/constitutional-ai-rlhf-alignment-claude-anthropic-guide/)
3. [AI 환각(Hallucination) 완벽 분석: 왜 AI는 자신있게 거짓말을 하는가? 원인, 탐지, 해결법까지!](https://doyouknow.kr/ai-hallucination-causes-detection-solutions-rag-grounding/)
4. [추론형 AI 완벽 가이드: o1이 열어준 “생각하는 AI”의 시대! System 2 사고부터 DeepSeek-R1까지](https://doyouknow.kr/reasoning-ai-o1-deepseek-r1-chain-of-thought-system2-guide/)

### 댓글 남기기[응답 취소](/direct-preference-optimization-dpo-rlhf-alternative-guide/#respond)