---
title: "강화학습 심화 완벽 가이드: RLHF부터 DPO, GRPO까지! ChatGPT가 말 잘 듣게 된 비밀"
id: "626"
type: "post"
slug: "reinforcement-learning-rlhf-dpo-ppo-grpo-deepseek-guide"
published_at: "2025-12-05T01:47:28+00:00"
modified_at: "2026-07-19T10:44:21+00:00"
url: "https://doyouknow.kr/reinforcement-learning-rlhf-dpo-ppo-grpo-deepseek-guide/"
markdown_url: "https://doyouknow.kr/reinforcement-learning-rlhf-dpo-ppo-grpo-deepseek-guide.md"
excerpt: "강화학습 심화 완벽 가이드! ChatGPT의 비밀 RLHF 3단계 프로세스, PPO 클리핑 메커니즘 수식 분석. DPO: 보상 모델 없이 메모리 50% 절감, RLHF와 수학적 동등성. DeepSeek-R1의 GRPO: Critic 없이 그룹 상대 점수로 추론 능력 자동 발현! PPO vs DPO vs GRPO..."
taxonomy_category:
  - "AI"
taxonomy_post_tag:
  - "AI"
  - "AI 정렬"
  - "ChatGPT"
  - "DeepSeek-R1"
  - "Direct Preference Optimization"
  - "DPO"
  - "GRPO"
  - "LLM 정렬"
  - "PPO"
  - "Proximal Policy Optimization"
  - "RLHF"
  - "강화학습"
  - "보상 모델"
  - "선호 최적화"
  - "어드밴티지"
  - "인간 피드백"
  - "클리핑"
---

## 핵심 요약

**ChatGPT가 왜 그렇게 “말을 잘 듣는” 걸까요?** 비밀은 **RLHF(Reinforcement Learning from Human Feedback)**에 있습니다. 인간의 피드백으로 AI를 훈련시키는 이 기술이 LLM의 혁명을 이끌었죠. 하지만 RLHF는 복잡하고 불안정합니다. 그래서 등장한 것이 **DPO(Direct Preference Optimization)** – 보상 모델 없이도 동일한 효과를 내는 혁신적 기법입니다. 그리고 2025년 초, DeepSeek-R1은 **GRPO(Group Relative Policy Optimization)**로 세상을 놀라게 했습니다. 이 포스팅에서는 **PPO의 클리핑 메커니즘**, **DPO가 RLHF를 대체하는 원리**, **GRPO의 효율성 비밀**, 그리고 **어떤 상황에서 무엇을 선택해야 하는지**까지 완벽하게 분석합니다.

[ez-toc]

## 1. 강화학습 기초: 왜 LLM에 필요한가?

### 1-1. 강화학습이란?

**강화학습(Reinforcement Learning)**은 **시행착오를 통해 학습**하는 머신러닝 방법입니다.

**핵심 구성요소:**

| 구성요소 | 설명 | LLM에서의 역할 |
| --- | --- | --- |
| Agent | 학습하는 주체 | 언어 모델 (GPT, Llama 등) |
| Environment | Agent가 상호작용하는 세계 | 사용자 프롬프트 + 대화 맥락 |
| Action | Agent가 취하는 행동 | 토큰(단어) 생성 |
| Reward | 행동의 결과로 받는 보상 | 인간 선호도 점수 |
| Policy | 행동 결정 규칙 | 모델의 가중치 |

**비유로 이해하기:**  
강화학습은 **강아지 훈련**과 비슷합니다. “앉아”라고 했을 때 앉으면 간식(보상)을 주고, 엉뚱한 행동을 하면 무시합니다. 강아지는 점점 간식을 많이 받는 행동을 학습하죠. LLM도 마찬가지입니다 – 좋은 답변에 높은 보상, 나쁜 답변에 낮은 보상을 주면서 “좋은 답변”이 무엇인지 학습합니다.

### 1-2. LLM에 강화학습이 필요한 이유

**기존 LLM 학습의 한계:**

1. **Pretraining**: 인터넷 텍스트로 “다음 단어 예측” 학습 → 지식은 있지만 방향성 없음
2. **SFT (Supervised Fine-Tuning)**: 좋은 예시로 미세조정 → 일부 개선되지만 한계

**문제:**

- 유해한 내용 생성 가능
- 사용자 의도와 다른 답변
- 거짓 정보를 자신 있게 말함 ([AI 환각 완벽 분석](https://doyouknow.kr/ai-hallucination-causes-detection-solutions-rag-grounding/) 참조)

**강화학습이 해결하는 것:**

- “좋은 답변”의 기준을 **인간의 선호도**로 정의
- 보상 신호를 통해 모델을 **인간의 가치에 정렬**
- SFT만으로는 불가능한 **세밀한 행동 조정**

## 2. RLHF: ChatGPT를 “착하게” 만든 기술

### 2-1. RLHF의 3단계 프로세스

**RLHF(Reinforcement Learning from Human Feedback)**는 인간의 피드백을 보상으로 사용하는 강화학습입니다.

[AWS RLHF 가이드](https://aws.amazon.com/ko/what-is/reinforcement-learning-from-human-feedback/)
에 따르면:

**1단계: Supervised Fine-Tuning (SFT)**

- 고품질 프롬프트-응답 쌍으로 기본 모델 미세조정
- “모범 답안”으로 기초 역량 향상

**2단계: 보상 모델(Reward Model) 학습**

- 동일 프롬프트에 여러 응답 생성
- 인간 평가자가 **선호도 순위 매김**
- 이 데이터로 보상 모델 학습 → 인간 선호도를 점수화

**3단계: PPO를 통한 정책 최적화**

- 보상 모델의 점수를 보상으로 사용
- PPO 알고리즘으로 정책(모델) 업데이트
- 더 높은 보상을 받는 방향으로 학습

### 2-2. 보상 모델: 인간의 가치를 수치화

**보상 모델의 역할:**

- 인간 평가자의 선호도를 학습
- 임의의 텍스트에 대해 **“얼마나 좋은지” 점수 예측**
- 이후 PPO 학습 시 “인간 역할” 대신 수행

**Bradley-Terry 모델:**  
선호도 데이터를 모델링하는 대표적인 방법입니다.

P(y1≻y2|x)=σ(r(x,y1)−r(x,y2))P(y_1 \succ y_2 | x) = \sigma(r(x, y_1) – r(x, y_2))

- (y1≻y2y_1\succ y_2): 응답 (y1y_1)이 (y2y_2)보다 선호됨
- (σ\sigma): 시그모이드 함수
- (r(x,y)r(x, y)): 보상 함수

### 2-3. RLHF의 한계

**RLHF는 강력하지만 문제점도 있습니다:**

| 문제 | 설명 |
| --- | --- |
| 복잡성 | 4개 모델 필요 (정책, 참조, 보상, 가치 함수) |
| 불안정성 | PPO의 하이퍼파라미터 민감성 |
| 비용 | 인간 평가자 고용 비용 + 계산 비용 |
| 보상 해킹 | 모델이 보상 높이는 “꼼수”를 학습 |

## 3. PPO: RLHF의 심장, 안정적 정책 최적화

### 3-1. PPO란?

**PPO(Proximal Policy Optimization)**는 2017년 OpenAI가 발표한 강화학습 알고리즘으로, RLHF에서 가장 널리 사용됩니다.

**핵심 아이디어:**

> “정책을 업데이트할 때 **너무 급격한 변화를 막아** 안정적으로 학습한다.”

**비유:**  
PPO는 **자동차 속도 제한**과 같습니다. 아무리 좋은 방향을 찾았더라도, 한 번에 너무 급격하게 방향을 틀면 차가 전복될 수 있죠. PPO는 “한 번에 이 정도까지만 바꿔!”라는 제한을 둡니다.

### 3-2. PPO의 클리핑 메커니즘

PPO의 핵심은 **클리핑된 목적 함수**입니다.

**클리핑 목적 함수:**

LCLIP(θ)=𝔼[min⁡(rt(θ)⋅At,clip(rt(θ),1−ϵ,1+ϵ)⋅At)]L^{CLIP}(\theta) = \mathbb{E}\left[\min\left(r_t(\theta) \cdot A_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \cdot A_t\right)\right]

**구성요소 설명:**

| 기호 | 의미 | 설명 |
| --- | --- | --- |
| (rt(θ))(r_t(\theta)) | 확률 비율 | 새 정책 / 이전 정책의 행동 확률 비율 |
| (At)(A_t) | 어드밴티지 | 실제 보상 – 예상 보상 (얼마나 좋았는지) |
| (ϵ)(\epsilon) | 클리핑 범위 | 보통 0.1~0.2 |
| (clip)(\text{clip}) | 클리핑 함수 | 비율을 [1-ε, 1+ε] 범위로 제한 |

**작동 원리:**

1. **Advantage > 0 (좋은 행동)**: 확률 높이고 싶지만, 최대 (1+ε)까지만
2. **Advantage < 0 (나쁜 행동)**: 확률 낮추고 싶지만, 최소 (1-ε)까지만

### 3-3. PPO가 RLHF에서 사용되는 이유

[PPO 논문](https://arxiv.org/abs/1707.06347)
에 따르면:

**PPO의 장점:**

- **안정성**: 급격한 정책 변화 방지
- **단순성**: TRPO보다 구현이 훨씬 간단
- **효율성**: 한 번 수집한 데이터로 여러 번 업데이트 가능
- **일반성**: 다양한 환경에서 잘 작동

**RLHF에서의 적용:**

- 언어 모델의 **정책(확률 분포)**을 업데이트
- **KL 발산 제약**을 추가하여 원본 모델에서 너무 벗어나지 않도록

### 3-4. PPO의 실제 학습 과정

**RLHF PPO 학습 루프:**

1. **샘플링**: 현재 정책으로 프롬프트에 응답 생성
2. **보상 계산**: 보상 모델로 응답의 점수 매김
3. **어드밴티지 계산**: 예상 대비 얼마나 좋았는지 계산
4. **정책 업데이트**: 클리핑된 목적 함수로 모델 업데이트
5. **반복**: 1~4단계 반복

## 4. DPO: 보상 모델 없이 RLHF와 동등한 효과

### 4-1. DPO의 혁신

**DPO(Direct Preference Optimization)**는 2023년 Stanford에서 발표한 혁신적인 방법입니다.

**핵심 아이디어:**

> “보상 모델을 **명시적으로 학습하지 않고**, 선호도 데이터로 **정책을 직접 최적화**한다.”

[DP](https://arxiv.org/abs/2305.18290)
[O](https://arxiv.org/abs/2305.18290)
[논문](https://arxiv.org/abs/2305.18290)
의 핵심 발견:

> “RLHF의 목적 함수를 수학적으로 변환하면, 보상 모델 없이도 **동일한 최적해**에 도달할 수 있다.”

### 4-2. DPO vs RLHF 비교

| 항목 | RLHF (PPO) | DPO |
| --- | --- | --- |
| 필요 모델 수 | 4개 (정책, 참조, 보상, 가치) | 2개 (정책, 참조) |
| 학습 단계 | 3단계 | 2단계 |
| 보상 모델 | 필요 | 불필요 |
| 학습 방식 | 강화학습 | 지도학습 스타일 |
| 안정성 | 하이퍼파라미터 민감 | 안정적 |
| 메모리 사용 | 높음 | 50% 절감 |
| 구현 복잡도 | 높음 | 낮음 |

### 4-3. DPO의 수학적 원리

**RLHF 목적 함수:**

maxπ⁡𝔼x,y∼π[r(x,y)]−β⋅DKL(π||πref)\max_\pi \mathbb{E}{x, y \sim \pi}[r(x, y)] – \beta \cdot D{KL}(\pi || \pi_{ref})

**DPO의 핵심 변환:**

보상 함수를 정책의 함수로 표현할 수 있다는 발견:

r(x,y)=βlog⁡πθ(y|x)πref(y|x)+βlog⁡Z(x)r(x, y) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} + \beta \log Z(x)

**DPO 손실 함수:**

LDPO(θ)=−𝔼[log⁡σ(βlog⁡πθ(yw|x)πref(yw|x)−βlog⁡πθ(yl|x)πref(yl|x))]L_{DPO}(\theta) = -\mathbb{E}\left[\log \sigma\left(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} – \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)\right]

- (ywy_w): 선호되는 응답 (winner)
- (yly_l): 선호되지 않는 응답 (loser)
- (πθ\pi_\theta): 학습 중인 정책
- (πref\pi_{ref}): 참조 정책 (SFT 모델)

**직관적 이해:**

- 선호되는 응답 (ywy_w)의 확률은 **높이고**
- 선호되지 않는 응답 (yly_l)의 확률은 **낮춘다**
- 참조 모델 대비 **상대적인 확률 변화**로 계산

### 4-4. DPO의 장단점

**장점:**

- **메모리 50% 절감**: 보상 모델, 가치 함수 불필요
- **구현 단순화**: 표준 분류 손실 함수로 학습
- **안정적 학습**: 강화학습 특유의 불안정성 제거
- **이론적 동등성**: RLHF와 수학적으로 동일한 해

**단점:**

- **길이 편향**: 긴 응답을 선호하는 경향
- **오프라인 학습**: 실시간 탐색 불가
- **선호 데이터 의존**: 대량의 고품질 선호 데이터 필요

### 4-5. DPO의 변형들

| 변형 | 핵심 개선 |
| --- | --- |
| IPO | DPO의 과적합 문제 해결 |
| KTO | 선호 쌍 대신 개별 평가 사용 |
| ORPO | SFT와 DPO를 한 단계로 통합 |
| SimPO | 참조 모델 없이도 작동 |
| LMPO | 길이 편향 문제 해결 |

## 5. GRPO: DeepSeek-R1의 비밀 무기

### 5-1. GRPO란?

**GRPO(Group Relative Policy Optimization)**는 DeepSeek이 개발한 강화학습 기법으로, **DeepSeek-R1의 핵심 기술**입니다.

[DeepSeek-R1 분석](https://blog.naver.com/economic_moat/223732988544)
에 따르면:

**핵심 아이디어:**

> “Critic 모델(가치 함수) 없이, **그룹 내 상대적 점수**로 보상을 계산한다.”

### 5-2. GRPO vs PPO 비교

| 항목 | PPO | GRPO |
| --- | --- | --- |
| Critic 모델 | 필요 (가치 함수 학습) | 불필요 |
| 어드밴티지 계산 | Critic 모델 예측 기반 | 그룹 내 상대 점수 |
| 메모리 사용 | 높음 | 낮음 |
| 학습 복잡도 | 복잡 | 단순 |
| 적용 대상 | 범용 RL | LLM 최적화 특화 |

### 5-3. GRPO의 작동 원리

**1단계: 그룹 샘플링**

- 하나의 질문 (q)에 대해 **G개의 응답** 샘플링
- 예: G=16이면 같은 질문에 16개 답변 생성

**2단계: 보상 계산**

- 각 응답에 대해 보상 (rir_i) 계산
- 정확도 보상, 형식 보상 등 규칙 기반으로도 가능

**3단계: 그룹 상대 점수**

- 그룹 평균과 표준편차로 **정규화**
- 각 응답이 그룹 내에서 얼마나 좋은지 상대 평가

A^i=ri−mean(r1,…,rG)std(r1,…,rG)\hat{A}_i = \frac{r_i – \text{mean}(r_1, …, r_G)}{\text{std}(r_1, …, r_G)}

**4단계: 정책 업데이트**

- 상대적으로 좋은 응답의 확률 높임
- 상대적으로 나쁜 응답의 확률 낮춤

### 5-4. DeepSeek-R1의 학습 파이프라인

[DeepSeek-R1 논문](https://arxiv.org/abs/2501.12948)
의 4단계 학습:

**1단계: 콜드스타트 SFT**

- 고품질 Chain-of-Thought 예제로 초기화
- 기본 추론 능력 확보

**2단계: 추론 중심 GRPO**

- 수학, 코딩 등 추론 태스크에 집중
- 정확도 보상 + 언어 일관성 보상

**3단계: Rejection Sampling SFT**

- GRPO로 학습된 모델로 고품질 데이터 생성
- 다양한 도메인 데이터 포함하여 SFT

**4단계: 최종 GRPO**

- 추론 + 일반 능력 모두 최적화
- 최종 정렬 수행

### 5-5. GRPO의 놀라운 발견

DeepSeek 연구팀은 GRPO 학습 중 **놀라운 현상**을 관찰했습니다:

> “모델이 스스로 **사고 시간을 늘리고**, **문제 해결 전략을 개선**하면서 추론 능력이 성장했습니다.”

**Aha Moment:**

- 학습 중간 단계에서 갑자기 성능 도약
- 모델이 **자기 검증**, **재고(rethinking)** 능력 획득
- 명시적으로 가르치지 않았는데 **스스로 발현**

## 6. 실전 가이드: 언제 무엇을 선택할까?

### 6-1. 알고리즘 선택 가이드

| 상황 | 추천 알고리즘 | 이유 |
| --- | --- | --- |
| 복잡한 보상 함수 필요 | PPO | 유연한 보상 설계 가능 |
| 선호 쌍 데이터 보유 | DPO | 간단하고 안정적 |
| 계산 자원 제한 | DPO / GRPO | 메모리 효율적 |
| 추론 능력 강화 | GRPO | DeepSeek-R1 검증 |
| 빠른 실험/프로토타입 | DPO | 구현 간단 |
| 최고 성능 필요 | PPO + 충분한 자원 | 가장 검증된 방법 |

### 6-2. 선호 데이터 구축 팁

**좋은 선호 데이터의 특징:**

- **다양한 프롬프트**: 다양한 주제와 난이도
- **명확한 선호 차이**: 애매한 쌍 제외
- **일관된 평가 기준**: 평가자 간 기준 통일
- **충분한 양**: DPO는 최소 수천 쌍 권장

### 6-3. 하이퍼파라미터 가이드

**DPO:**

- (β\beta): 0.1~0.5 (KL 제약 강도)
- 학습률: 1e−61e-6 ~ 5e-6
- 배치 크기: 32~128

**PPO:**

- 클리핑 (ϵ\epsilon): 0.1~0.2
- KL 계수: 0.01~0.1
- 학습률: 1e-6 ~ 1e-5

**GRPO:**

- 그룹 크기 G: 8~16
- 온도: 1.0 근처
- 클리핑: PPO와 유사

### 6-4. 주의사항

**보상 해킹(Reward Hacking) 방지:**

- 모델이 보상을 높이는 **의도치 않은 패턴** 학습
- 예: 무조건 긴 답변, 특정 문구 반복
- **해결책**: 다양한 보상 신호, 정기적 품질 검증

**분포 드리프트(Distribution Drift) 방지:**

- 학습이 진행되면서 원본 모델에서 **너무 멀어짐**
- **해결책**: KL 제약 적절히 설정, 참조 모델 유지

## 정리: 핵심 포인트

✅ **RLHF**는 SFT → 보상 모델 → PPO의 3단계로 **인간 선호에 정렬**

✅ **PPO**는 **클리핑 메커니즘**으로 급격한 정책 변화를 방지

✅ **DPO**는 보상 모델 없이 RLHF와 **수학적으로 동등**한 결과

✅ **DPO**는 메모리 **50% 절감**, 구현 단순화, 안정적 학습

✅ **GRPO**는 **Critic 모델 없이** 그룹 상대 점수로 효율적 학습

✅ **DeepSeek-R1**은 GRPO로 **스스로 추론 능력을 발현**

## FAQ: 자주 묻는 질문

### Q1. DPO가 항상 RLHF보다 좋은가요?

**A.** 상황에 따라 다릅니다:

- **DPO 유리**: 제한된 자원, 빠른 실험, 안정적 학습 필요
- **RLHF 유리**: 복잡한 보상 설계, 최고 성능 추구, 온라인 학습 필요
- 최근 연구에서는 **대부분의 경우 DPO가 충분**하다고 평가

### Q2. GRPO와 DPO 중 어떤 것을 선택해야 하나요?

**A.** 목적에 따라 다릅니다:

- **GRPO**: 추론 능력 강화, 규칙 기반 보상 사용 가능
- **DPO**: 선호 쌍 데이터 활용, 일반적인 정렬
- DeepSeek-R1처럼 **추론 특화**라면 GRPO 추천

### Q3. 선호 데이터가 없으면 어떻게 하나요?

**A.** 여러 방법이 있습니다:

- **RLAIF**: 더 강한 AI 모델이 평가 (GPT-4 등)
- **Self-Play**: 모델이 스스로 응답 비교
- **규칙 기반 보상**: 정확도, 형식 등 자동 평가 → GRPO 적용 가능

### Q4. PPO의 클리핑 범위 ε은 어떻게 설정하나요?

**A.** 일반적인 가이드라인:

- **기본값**: 0.2
- **안정성 중시**: 0.1 (더 보수적)
- **빠른 학습**: 0.3 (더 공격적, 불안정 위험)
- **LLM RLHF**: 0.1~0.2 권장

### Q5. 강화학습 없이 LLM을 정렬할 수 있나요?

**A.** 네, DPO가 바로 그 방법입니다:

- DPO는 **지도학습 스타일**로 정렬
- 기술적으로는 강화학습이 아님
- 그래서 **“RL-free alignment”**라고도 불림

## 외부 참고 자료

강화학습과 LLM 정렬을 더 깊게 배우고 싶다면:

- [AWS RLHF 가이드](https://aws.amazon.com/ko/what-is/reinforcement-learning-from-human-feedback/) – 공식 설명
- [Hugging Face TRL 라이브러리](https://huggingface.co/docs/trl/index) – RLHF/DPO 실습 도구
- [DPO 논문 원문](https://arxiv.org/abs/2305.18290) – Stanford 원 논문
- [DeepSeek-R1 기술 보고서](https://arxiv.org/abs/2501.12948) – GRPO 상세 설명
- [OpenAI Spinning Up RL](https://spinningup.openai.com/en/latest/) – 강화학습 기초 학습

## 정리: 이 글에서 배운 것

✅ **RLHF**는 인간 피드백으로 LLM을 정렬하는 핵심 기술, 3단계 프로세스

✅ **PPO**는 클리핑으로 안정적 정책 업데이트, RLHF의 표준 알고리즘

✅ **DPO**는 보상 모델 없이 선호 데이터로 직접 최적화, 메모리 50% 절감

✅ **GRPO**는 Critic 없이 그룹 상대 점수 사용, DeepSeek-R1의 핵심

✅ **DeepSeek-R1**은 GRPO로 추론 능력을 스스로 발현한 혁신적 사례

다음 포스팅에서는 **“Fine-tuning 완벽 가이드: LoRA, QLoRA부터 실제 비용까지”**에 대해 자세히 알아봅니다. 파라미터 효율적 학습의 세계를 파헤쳐 볼게요!

**관련 포스팅:**

- [AI 환각(Hallucination) 완벽 분석: 왜 AI는 자신있게 거짓말을 하는가?](https://doyouknow.kr/ai-hallucination-causes-detection-solutions-rag-grounding/)
- [RAG 완전 정복: 청킹부터 Agentic RAG까지!](https://doyouknow.kr/rag-advanced-chunking-vector-db-ragas-graphrag-agentic-guide/)
- [LLM 양자화 & 경량화 완벽 가이드](https://doyouknow.kr/llm-quantization-gptq-awq-gguf-pruning-distillation-guide/)
- [In-Context Learning 완벽 분석: Zero-shot부터 Tree-of-Thought까지](https://doyouknow.kr/in-context-learning-cot-tot-zero-shot-few-shot-prompting-guide/)
- [합성 데이터 완벽 가이드: AI가 AI를 위해 데이터를 만든다](https://doyouknow.kr/synthetic-data-guide-gan-vae-diffusion-ai-training/)
- [Constitutional AI & RLHF 심화 완벽 가이드: Claude의 “헌법”이 GPT의 “피드백”을 이기는 이유! 안전한 AI의 미래](https://doyouknow.kr/constitutional-ai-rlhf-alignment-claude-anthropic-guide/)

### 이 글 공유하기:

- [Facebook으로 공유하기 (새 창에서 열림)Facebook](https://doyouknow.kr/reinforcement-learning-rlhf-dpo-ppo-grpo-deepseek-guide/?share=facebook)
- [X에 공유 (새 창에서 열림)X](https://doyouknow.kr/reinforcement-learning-rlhf-dpo-ppo-grpo-deepseek-guide/?share=x)
-

### 이것이 좋아요:

좋아하기로드 중...

### *관련*

### 관련된 글:

1. [Constitutional AI & RLHF 심화 완벽 가이드: Claude의 “헌법”이 GPT의 “피드백”을 이기는 이유! 안전한 AI의 미래](https://doyouknow.kr/constitutional-ai-rlhf-alignment-claude-anthropic-guide/)
2. [RLHF의 복잡성을 넘어서: DPO (Direct Preference Optimization) 완벽 해부! 강화학습 없이 최적화하다](https://doyouknow.kr/direct-preference-optimization-dpo-rlhf-alternative-guide/)
3. [추론형 AI 완벽 가이드: o1이 열어준 “생각하는 AI”의 시대! System 2 사고부터 DeepSeek-R1까지](https://doyouknow.kr/reasoning-ai-o1-deepseek-r1-chain-of-thought-system2-guide/)
4. [GPT vs Claude vs Gemini – 생성형 AI 완전 해부: Transformer부터 멀티모달까지](https://doyouknow.kr/gpt-claude-gemini-transformer-rlhf-diffusion-multimodal-comparison/)

### 댓글 남기기[응답 취소](/reinforcement-learning-rlhf-dpo-ppo-grpo-deepseek-guide/?t=1785825861#respond)