---
title: "역설의 칩들: 왜 똑같이 AI를 돌리는데 어떤 건 배우지 못하고 추론만 하는가?"
id: "291"
type: "post"
slug: "why-ai-chips-cannot-learn-inference-only-paradox"
published_at: "2025-11-26T05:24:57+00:00"
modified_at: "2026-07-19T10:51:43+00:00"
url: "https://doyouknow.kr/why-ai-chips-cannot-learn-inference-only-paradox/"
markdown_url: "https://doyouknow.kr/why-ai-chips-cannot-learn-inference-only-paradox.md"
excerpt: "GPU는 학습도 추론도 하는데 왜 NPU와 뉴로모픽 칩은 추론만 할까? 역전파의 저주: 학습은 추론의 10-20배 메모리 필요. 스파이크 신경망은 미분 불가능해서 역전파 불가. AI 워크로드 90%가 추론이라 기업들은 추론 전용 칩에 집중. 연합학습, MeZO, STDP로 온디바이스 학습의 미래 가능성까지."
taxonomy_category:
  - "AI"
taxonomy_post_tag:
  - "AI"
  - "AI 칩"
  - "Apple Neural Engine"
  - "Backpropagation"
  - "Federated Learning"
  - "Furiosa"
  - "FuriosaAI"
  - "GPU"
  - "Groq"
  - "Inference"
  - "Intel Loihi"
  - "MeZO"
  - "NPU"
  - "SNN"
  - "STDP"
  - "TPU"
  - "Training"
  - "기울기"
  - "뉴로모픽"
  - "대체 기울기"
  - "스파이킹 신경망"
  - "역전파"
  - "연합학습"
  - "온디바이스 AI"
  - "추론"
  - "추론 전용 칩"
  - "퓨리오사"
  - "퓨리오사AI"
  - "학습"
  - "활성화 값"
---

## 핵심 요약

**“왜 GPU는 학습도 하고 추론도 하는데, 최신 NPU나 뉴로모픽 칩은 추론만 할 수 있을까?”**

이 질문에 대한 답은 생각보다 복잡합니다. 단순히 **“기술의 한계”**라고 말하기엔 부족하고, **“의도된 설계”**라고 단정 짓기엔 너무 음모론적입니다. 진실은 그 사이 어딘가에 있습니다.

**핵심 통찰:**

- **학습과 추론은 완전히 다른 일**입니다. 학습은 **역전파(Backpropagation)**를 위해 모든 중간 계산값을 저장해야 하지만, 추론은 **순전파(Forward Propagation)** 한 번이면 끝납니다.
- **역전파는 “악마”**입니다. 엄청난 메모리와 연산량을 요구하며, 이것이 추론 전용 칩이 탄생한 근본적 이유입니다.
- **뉴로모픽 칩의 비극**은 스파이크 신호가 **미분 불가능**하다는 점에서 시작됩니다. 역전파가 작동하지 않으니 기존 방식으로 학습할 수 없습니다.
- **경제학의 승리**: AI 워크로드의 **90%는 추론**입니다. 기업들이 추론 전용 칩에 집중하는 것은 합리적 선택입니다.
- **희망의 미래**: 연합학습(Federated Learning), STDP, 대체 기울기(Surrogate Gradient) 등 새로운 기술이 온디바이스 학습의 가능성을 열고 있습니다.

## 📍 목차

1. 학습과 추론이 완전히 다른 일
2. 역전파는 악마다 – 추론 전용 칩이 탄생한 진짜 이유
3. 뉴로모픽 칩의 비극 – 아예 다른 구조의 악몽
4. 왜 기업들은 추론 전용 칩을 만드는가? – 경제학의 승리
5. 온디바이스 학습의 미래 – 새로운 가능성들
6. FAQ: 자주 묻는 질문

## 1. 학습과 추론이 완전히 다른 일

### 1-1. AI의 두 단계: 학생과 졸업생

AI 모델을 사람에 비유하면 **학습(Training)**은 **학교에서 공부하는 학생**, **추론(Inference)**은 **졸업 후 현장에서 일하는 직장인**입니다.

|  |  |
| --- | --- |
| 학습 (Training) | 추론 (Inference) |
| 📚 대량의 데이터로 공부 | ⚡ 배운 지식으로 빠르게 답변 |
| 🔄 순전파 + 역전파 반복 | ➡️ 순전파만 1회 실행 |
| 🧮 가중치 계속 업데이트 | 🔒 가중치 고정 (변경 없음) |
| 💾 중간값 모두 저장 필요 | 💨 결과만 출력하면 끝 |
| ⏱️ 시간: 몇 시간 ~ 몇 주 | ⏱️ 시간: 밀리초 ~ 초 단위 |
| 💰 비용: 수백만 달러 | 💰 비용: 상대적으로 저렴 |

### 1-2. 순전파 vs 역전파

**순전파(Forward Propagation)**는 입력 데이터가 신경망을 통과하며 출력을 만들어내는 과정입니다. 추론은 이 순전파 **한 번**이면 됩니다.

**역전파(Backpropagation)**는 학습의 핵심입니다. 출력과 정답의 오차를 계산한 후, 그 오차를 **역방향**으로 전파하며 각 층의 가중치를 업데이트합니다.

```
순전파 (Forward Propagation):
입력 → [Layer 1] → [Layer 2] → ... → [Layer N] → 출력 → 오차 계산

역전파 (Backpropagation):  
∂Loss/∂W₁ ← [Layer 1] ← [Layer 2] ← ... ← [Layer N] ← 오차 전파
     ↓
  가중치 업데이트
```

### 1-3. 연산량과 메모리의 극적인 차이

학습과 추론의 자원 요구량은 **천지 차이**입니다.

| 항목 | 학습 (Training) | 추론 (Inference) | 비율 |
| --- | --- | --- | --- |
| 순전파 | ✅ 필수 | ✅ 필수 | 동일 |
| 역전파 | ✅ 필수 | ❌ 불필요 | 학습만 |
| 활성화값 저장 | 모든 층 저장 | 저장 불필요 | 10-100배 |
| 기울기 저장 | 모든 가중치 | 저장 불필요 | 2배 |
| 옵티마이저 상태 | Adam 등 상태 저장 | 불필요 | 2-3배 |
| 배치 크기 | 대용량 (32-512) | 소용량 (1-8) | 10-100배 |
| 정밀도 | FP32 (32비트) | INT8/FP8 (4-8비트) | 4-8배 |

[IBM의 조사](https://www.ibm.com/think/topics/ai-inference)
에 따르면, AI 모델의 **평생 계산 소비의 최대 90%가 추론 단계**에서 발생합니다. 학습은 한 번이지만, 추론은 매일 수십억 번 일어나기 때문입니다.

## 2. 역전파는 악마다 – 추론 전용 칩이 탄생한 진짜 이유

### 2-1. 역전파의 무시무시한 메모리 요구량

역전파가 “악마”인 이유는 **메모리**에 있습니다.

**학습 시 메모리 구성:**

**추론 시 메모리 구성:**

**Llama 2 70B 모델 예시:**

| 모드 | 메모리 요구량 | 필요 GPU |
| --- | --- | --- |
| 학습 (FP32, Adam) | ~1.4TB | H100 80GB × 18개+ |
| 추론 (FP16) | ~140GB | H100 80GB × 2개 |
| 추론 (INT8 양자화) | ~70GB | H100 80GB × 1개 |

→ **학습은 추론의 10-20배 메모리**가 필요합니다!

### 2-2. 활성화 값: 역전파의 저주

역전파가 메모리를 폭발시키는 핵심 이유는 **활성화 값(Activation)** 저장입니다.

**왜 활성화 값을 저장해야 하는가?**

역전파에서 기울기를 계산하려면 순전파 때 계산한 **모든 중간 결과**가 필요합니다.

```
예시: 간단한 3층 신경망

순전파:
x → [Linear₁] → a₁ → [ReLU] → a₂ → [Linear₂] → y

역전파 시 필요한 값:
∂L/∂W₁ 계산에는 x와 a₁이 필요
∂L/∂W₂ 계산에는 a₂가 필요

→ 모든 층의 활성화 값 a₁, a₂, ...를 저장해야 함!
```

**트랜스포머 모델의 활성화 메모리:**

[Reducing Activation Recomputation in Large Transformer Models](https://arxiv.org/abs/2205.05198)
 논문에 따르면:

```
Self-Attention 블록: 10sbh + 4as²b
MLP 블록: 10sbh
Layer-norm: 4sbh

총 활성화 메모리 = L × (24sbh + 4as²b)

여기서:
s = 시퀀스 길이
b = 배치 크기
h = 히든 차원
a = 어텐션 헤드 수
L = 레이어 수
```

**GPT-3 175B 기준 (배치 1, 시퀀스 2048):**

- 활성화 메모리만 **수백 GB** 필요
- 깊이(레이어 수)에 **선형 비례**하여 증가

### 2-3. 추론 전용 칩의 설계 철학

이 “역전파의 저주”를 피하기 위해 **추론 전용 칩**이 탄생했습니다.

**추론 전용 칩의 설계 원칙:**

역전파 회로 제거  
– 기울기 계산 유닛 불필요  
– 활성화 저장 버퍼 대폭 축소  
– 칩 면적 30-50% 절감

저정밀도 연산 최적화  
– FP32 → INT8/INT4/FP4  
– 정확도 손실 최소화 기법 적용  
– 메모리 대역폭 4-8배 효율화

순전파 전용 파이프라인  
– 단방향 데이터 흐름 최적화  
– 지연 시간(Latency) 최소화  
– 배치 크기 1도 효율적 처리

전력 효율 극대화  
– 불필요한 메모리 접근 제거  
– 와트당 성능(TOPS/W) 최적화  
– 엣지 디바이스 탑재 가능

**대표적 추론 전용 칩:**

| 칩 | 제조사 | 특징 | 학습 지원 |
| --- | --- | --- | --- |
| Google TPU v1 | Google | 최초의 추론 전용 TPU | ❌ 추론만 |
| AWS Inferentia | Amazon | 클라우드 추론 최적화 | ❌ 추론만 |
| Apple Neural Engine | Apple | 온디바이스 AI | ❌ 추론만 |
| Qualcomm Hexagon NPU | Qualcomm | 스마트폰 AI | ❌ 추론만 |
| Groq LPU | Groq | 초고속 LLM 추론 | ❌ 추론만 |
| Furiosa RNGD | 퓨리오사AI | LLM 추론, 고전력효율 | ❌ 추론만 |

**Google TPU v1의 역사적 교훈:**

[구글의 첫 번째 TPU](https://cloud.google.com/blog/topics/systems/tpu-design-architecture)
는 2016년 순수 **추론 전용**으로 설계되었습니다. 역전파 회로를 완전히 제거하여 INT8 연산 92 TOPS라는 당시 혁신적인 성능을 달성했습니다. 학습 지원은 TPU v2(2017년)부터 추가되었습니다.

### 2-4. 한국의 도전 – Furiosa AI RNGD

**“엔비디아 GPU의 1/5 전력으로 동급 추론 성능”**

한국에서도 추론 전용 칩의 혁신이 일어나고 있습니다. **퓨리오사AI(FuriosaAI)**가 개발한 **RNGD(레니게이드, Renegade)**는 2024년 Hot Chips 컨퍼런스에서 글로벌 데뷔한 2세대 AI 추론 전용 칩입니다.

#### RNGD 핵심 사양

| 항목 | RNGD | NVIDIA H100 | NVIDIA L40S |
| --- | --- | --- | --- |
| 아키텍처 | TCP (Tensor Contraction Processor) | Hopper | Ada Lovelace |
| 공정 | TSMC 5nm | TSMC 4nm | TSMC 4nm |
| FP8 성능 | 512 TFLOPS | 1,979 TFLOPS | 362 TFLOPS |
| INT8 성능 | 512 TOPS | 1,979 TOPS | 733 TOPS |
| 메모리 | 48GB HBM3 | 80GB HBM3 | 48GB GDDR6 |
| 메모리 대역폭 | 1.5 TB/s | 3.35 TB/s | 0.86 TB/s |
| TDP (전력) | 150-180W | 700W | 320W |
| 호스트 인터페이스 | PCIe 5.0 x16 | PCIe 5.0 x16 | PCIe 4.0 x16 |

#### 왜 RNGD가 주목받는가?

**1. 압도적인 전력 효율성**

RNGD의 가장 큰 강점은 **와트당 성능(Performance per Watt)**입니다.

```
전력 효율 비교 (GPT-J 6B 벤치마크):

RNGD: 11.5 쿼리/초 @ 185W → 0.062 쿼리/W
L40S: 12.3 쿼리/초 @ 320W → 0.038 쿼리/W

→ RNGD가 L40S 대비 약 60% 높은 전력 효율!
→ 엔비디아 H100 대비 와트당 성능 3배 이상
```

LG AI연구원의 8개월간 파일럿 테스트에서 RNGD는 엑사원 3.5 모델 운영 시 기존 GPU 대비 **2.25배 향상된 전력 효율**을 달성했습니다.

**2. TCP 아키텍처 – 추론에 특화된 설계**

RNGD는 **Tensor Contraction Processor(TCP)** 아키텍처를 채택했습니다. 이는 GPU의 범용 설계와 달리 **텐서 연산에 극도로 최적화**된 구조입니다.

```
TCP 아키텍처 특징:

8개의 Processing Element(PE)로 구성

각 PE가 64 TFLOPS (FP8) 처리

칩 내 네트워크(NoC)로 PE 간 연결

256MB 온칩 SRAM (384 TB/s 내부 대역폭)

역전파 회로 완전 제거 → 순전파 전용 최적화
```

**3. LLM 추론 최적화**

RNGD는 거대언어모델(LLM) 추론에 특화되어 설계되었습니다.

```
RNGD LLM 추론 성능:

Llama 3.1 8B: 단일 카드에서 실행 가능

Llama 3.1 70B: 라이브 데모 성공 (Hot Chips 2024)

10B 파라미터 모델: 초당 2,000-3,000 토큰 처리

GPT-J 6B: 초당 약 12 쿼리 처리

지원 정밀도: BF16, FP8, INT8, INT4
```

**4. 데이터센터 친화적 설계**

```
데이터센터 최적화:
- 150-180W TDP → 공랭식 데이터센터 배포 가능
- 단일 서버에 최대 20개 RNGD 탑재 가능
- NXT RNGD 서버: 8개 RNGD = 4 PFLOPS, 3kW
- 랙당 GPU 대비 2-3배 토큰 처리 성능
```

#### RNGD도 “추론 전용”인 이유

RNGD 역시 **학습을 지원하지 않는 추론 전용 칩**입니다. 그 이유는 본문에서 설명한 원리와 정확히 일치합니다:

```
RNGD가 학습을 지원하지 않는 이유:

1. 역전파 회로 제거
활성화 값 저장 버퍼 최소화
기울기 계산 유닛 없음
칩 면적을 순전파 연산에 집중

2. 저정밀도 최적화
FP8/INT8/INT4 연산에 특화
학습에 필요한 FP32 연산 제한적

3. 전력 효율 극대화
150-180W로 GPU 대비 1/4~1/5 전력
역전파 제거가 이 효율의 핵심

4. 시장 전략
AI 워크로드 90%가 추론
학습은 클라우드 GPU에 위임
추론에서 차별화된 가치 제공
```

#### 글로벌 진출 현황

퓨리오사AI는 RNGD를 통해 글로벌 시장에 본격 진출하고 있습니다:

- **Microsoft Azure Marketplace**: 2025년 4월 출시
- **LG AI연구원**: 엑사원 4.0에 RNGD 전면 도입 예정
- **Saudi Aramco**: PoC 프로젝트 진행 중
- **Supermicro**: 서버 파트너십
- **북미 거래선**: 복수 기업과 칩 평가 진행 중

#### 한국 AI 반도체의 의미

```
RNGD가 증명하는 것:

1. 추론 전용 칩의 시장 가치
GPU 만능 시대를 넘어 전문화된 칩 시대
전력 효율이 데이터센터의 핵심 경쟁력

2. 팹리스의 가능성
TSMC 5nm 공정, SK하이닉스 HBM3 활용
설계 역량으로 글로벌 경쟁력 확보

3. "학습 vs 추론" 분업의 현실화
학습: 엔비디아 GPU (클라우드)
추론: RNGD 같은 전용 칩 (온프레미스/엣지)

4. 메타 인수 제안 거절
2025년 메타의 인수 제안을 거절
독자 기술력으로 글로벌 시장 공략
```

## 3. 뉴로모픽 칩의 비극 – 아예 다른 구조의 악몽

### 3-1. 뉴로모픽 칩이란?

**뉴로모픽(Neuromorphic) 칩**은 인간 뇌의 구조를 하드웨어로 모방한 칩입니다. 기존 신경망과 완전히 다른 패러다임을 사용합니다.

| 기존 신경망 (ANN) | 스파이킹 신경망 (SNN) |
| --- | --- |
| 연속적인 실수 값0.72, -0.15, 0.99 | 이산적인 스파이크1, 0, 1, 0, 0, 1 |
| 항상 신호 전달 | 임계값 초과 시만 스파이크 발생 |
| 동기식 연산 | 비동기식, 이벤트 기반 |
| 미분 가능 ✅ | 미분 불가능 ❌ |

**대표적 뉴로모픽 칩:**

| 칩 | 제조사 | 뉴런 수 | 특징 |
| --- | --- | --- | --- |
| TrueNorth | IBM | 100만 | 2014년, 70mW 저전력 |
| Loihi 2 | Intel | 100만+ | 2021년, 온칩 학습 지원 |
| Akida | BrainChip | – | 상용화 엣지 AI |
| Darwin3 | – | – | 중국 연구진 개발 |

### 3-2. 스파이크는 미분 불가능하다

**뉴로모픽 칩의 근본적 비극:**

스파이킹 신경망(SNN)에서 뉴런은 **스파이크(spike)**를 발생시킵니다. 막전위가 임계값을 넘으면 “1”, 아니면 “0”을 출력합니다.

```
스파이크 함수:
           ┌ 1,  if 막전위 ≥ 임계값
spike(v) = ┤
           └ 0,  if 막전위 
```

**역전파의 전제 조건:**

역전파가 작동하려면 **연쇄 법칙(Chain Rule)**을 적용해야 합니다. 이를 위해 모든 함수가 **미분 가능**해야 합니다.

```
연쇄 법칙:
∂L/∂W = ∂L/∂y × ∂y/∂a × ∂a/∂z × ∂z/∂W

SNN에서:
∂a/∂z = ∂spike/∂(막전위) = 0 또는 ∞

→ 기울기 전파 불가! 역전파 붕괴!
```

### 3-3. 왜 뉴로모픽 칩은 역전파를 포기했는가?

뉴로모픽 칩 설계자들은 **역전파 대신 생물학적 학습 규칙**을 채택했습니다.

**STDP (Spike-Timing Dependent Plasticity):**

뇌에서 관찰되는 실제 학습 메커니즘입니다.

```
STDP 규칙:

시냅스 전 뉴런 → 시냅스 후 뉴런

Case 1: 전 뉴런이 먼저 발화 → 후 뉴런 발화
       = 인과관계 있음 → 연결 강화 (LTP)

Case 2: 후 뉴런이 먼저 발화 → 전 뉴런 발화
       = 인과관계 없음 → 연결 약화 (LTD)
```

**STDP의 한계:**

| 항목 | STDP | 역전파 |
| --- | --- | --- |
| 학습 방식 | 지역적 (인접 뉴런만) | 전역적 (전체 네트워크) |
| 목표 함수 | 없음 (비지도) | 명확한 손실 함수 |
| 정확도 | MNIST ~95% | MNIST 99.8%+ |
| 깊은 네트워크 | 어려움 | 수천 층 가능 |
| 복잡한 태스크 | 제한적 | 언어, 이미지, 추론 |

### 3-4. 대체 기울기: 타협점을 찾다

연구자들은 **대체 기울기(Surrogate Gradient)** 방법으로 SNN에서도 역전파를 시도합니다.

```
아이디어:
순전파: 실제 스파이크 함수 사용 (0 또는 1)
역전파: 부드러운 근사 함수로 기울기 계산

대체 함수 예시 (시그모이드):
σ(v) = 1 / (1 + exp(-βv))

∂σ/∂v = βσ(1-σ)  ← 미분 가능!

순전파:  spike(v) = { 0, 1 }
역전파:  ∂L/∂v ≈ ∂L/∂σ × ∂σ/∂v
```

**대체 기울기의 성과:**

- MNIST: **98.88%** 정확도 달성 (기존 CNN과 유사)
- CIFAR-10: 경쟁력 있는 성능
- 하지만 여전히 **하드웨어 구현의 복잡성** 존재

## 4. 왜 기업들은 추론 전용 칩을 만드는가? – 경제학의 승리

### 4-1. 숫자로 보는 추론의 압도적 비중

| 학습 (Training) | 추론 (Inference) |
| --- | --- |
| 10% | 90% |
| 한 번 학습하면 끝 | 매일, 매초 실행사용자 요청마다 발생 |
| 수주 ~ 수개월에 한 번 | 수십억 건/일 |

**ChatGPT 예시:**

- GPT-4 학습: **수개월, 수억 달러** (한 번)
- GPT-4 추론: **매일 10억+ 쿼리** (지속)

### 4-2. 추론 시장의 폭발적 성장

[Fortune Business Insights](https://www.fortunebusinessinsights.com/ai-inference-market-113705)
와 [Verified Market Research](https://www.verifiedmarketresearch.com/product/ai-inference-chip-market/)
에 따르면:

| 연도 | AI 추론 칩 시장 규모 | 성장률 (CAGR) |
| --- | --- | --- |
| 2024 | 약 462억 달러 | – |
| 2025 | 약 550억 달러 | +19% |
| 2032 | 약 2,328억 달러 | 연평균 23% |

**추론 시장이 폭발하는 이유:**

1. **생성형 AI 대중화**: ChatGPT, Gemini 등 일상 사용
2. **온디바이스 AI**: 스마트폰, PC에 NPU 탑재
3. **자율주행**: 실시간 추론 필수
4. **엣지 컴퓨팅**: IoT 디바이스 750억 개 (2025년)

### 4-3. 추론 전용 칩의 경제적 이점

**비용 효율성 비교:**

```
┌─────────────────────┐
│     추론 전용 칩 vs 범용 GPU 비용 비교        │
├─────────────────────┤
│                                                            │
│  NVIDIA H100 (학습 + 추론 범용)                │
│  ├── 가격: ~$30,000                             │
│  ├── 전력: 700W                                  │
│  └── 추론 최적화: 보통                          │
│                                                             │
│  AWS Inferentia2 (추론 전용)                       │
│  ├── 가격: H100의 40% 비용으로 추론       │
│  ├── 전력: 더 낮음                                │
│  └── 추론 최적화: 최고                          │
│                                                            │
│  Google TPU (추론 최적화)                         │
│  ├── 클라우드 비용: GPU 대비 저렴          │
│  ├── 대규모 추론에 특화                        │
│  └── 달러당 성능: 높음                          │
│                                                            │
└─────────────────────┘
```

**온디바이스 NPU의 이점:**

| 항목 | 클라우드 추론 | 온디바이스 NPU 추론 |
| --- | --- | --- |
| 지연 시간 | 50-500ms (네트워크) | 1-10ms |
| 프라이버시 | 데이터 서버 전송 | 기기 내 처리 |
| 비용 | API 호출당 과금 | 무료 (칩 탑재) |
| 오프라인 | 불가능 | 가능 |
| 전력 | 데이터센터 | 밀리와트 수준 |

### 4-4. 기업들의 전략적 선택

**왜 추론 전용 칩에 집중하는가?**

```
1. 시장 규모 = 90% (추론) vs 10% (학습)
   → 추론 시장이 9배 큼

2. 하드웨어 설계 단순화
   → 역전파 회로 제거 = 비용 절감

3. 전력 효율 = 엣지/모바일 시장 공략
   → 배터리 구동 가능

4. 가격 경쟁력
   → 범용 GPU 대비 저렴하게 제공

5. 차별화
   → NVIDIA 독점 GPU 시장에서 틈새 공략
```

**빅테크의 추론 전용 칩 투자:**

- **Google**: TPU (Trillium, Ironwood 추론 특화)
- **Amazon**: Inferentia (추론), Trainium (학습) 분리
- **Apple**: Neural Engine (M4 칩에 38 TOPS)
- **Qualcomm**: Hexagon NPU (Snapdragon X2에 80 TOPS)
- **Microsoft**: Maia (자체 AI 칩 개발)

## 5. 온디바이스 학습의 미래 – 새로운 가능성들

### 5-1. 연합학습 (Federated Learning)

**연합학습**은 데이터를 중앙 서버로 보내지 않고 **기기에서 직접 학습**한 후, **모델 업데이트만** 서버로 전송하는 방식입니다.

**연합학습의 장점:**

- **프라이버시 보호**: 민감한 데이터가 기기를 떠나지 않음
- **규제 준수**: GDPR, 개인정보보호법 대응
- **분산 학습**: 수억 대 기기의 데이터 활용

**실제 적용 사례:**

- **Google Gboard**: 키보드 예측 모델 개선
- **Apple Siri**: 음성 인식 개인화
- **의료 AI**: 병원 간 환자 데이터 공유 없이 모델 학습

### 5-2. MeZO: 역전파 없는 학습

[Fine-Tuning Language Models with Just Forward Passes](https://arxiv.org/abs/2305.17333)
 (2023)에서 제안된 **MeZO (Memory-efficient Zeroth-order Optimizer)**는 혁신적 접근법입니다.

**핵심 아이디어:**

```
기존 역전파:
1. 순전파 → 활성화 저장
2. 역전파 → 기울기 계산
3. 가중치 업데이트
→ 메모리: 추론의 10-20배

MeZO:
1. 순전파만 2번 (작은 변동 ±ε 적용)
2. 손실 차이로 기울기 추정
3. 가중치 업데이트
→ 메모리: 추론과 동일!

∂L/∂W ≈ (L(W + ε) - L(W - ε)) / (2ε)
```

**MeZO의 성과:**

- **A100 80GB GPU 1개**로 66B 모델 파인튜닝 가능
- 역전파 대비 메모리 **12배 절감**
- 정확도는 역전파의 90-95% 수준

### 5-3. 뉴로모픽 칩의 온칩 학습

**Intel Loihi 2**는 뉴로모픽 칩 중 최초로 **온칩 학습**을 지원합니다.

```
Loihi 2 학습 메커니즘:

1. STDP 기반 시냅스 가소성
   - 스파이크 타이밍에 따른 가중치 조정
   - 하드웨어에서 직접 구현

2. 대체 기울기 지원
   - 외부에서 학습 후 배포
   - 칩 내에서 미세 조정

3. 멀티칩 스케일링
   - Pohoiki Springs: 768 Loihi 칩
   - Hala Point: 1,152 Loihi 2 칩 (11.5억 뉴런)
```

### 5-4. 새로운 학습 패러다임

**온디바이스 학습의 미래 기술:**

| 기술 | 원리 | 현재 상태 |
| --- | --- | --- |
| 연합학습 | 분산 학습, 모델만 공유 | 상용화 (Google, Apple) |
| MeZO | 순전파만으로 기울기 추정 | 연구 단계 |
| STDP | 스파이크 타이밍 학습 | 뉴로모픽 칩 적용 |
| 대체 기울기 | SNN에 역전파 근사 적용 | 연구 활발 |
| TinyML | 초저전력 온디바이스 AI | 상용화 확대 |
| 자가 지도 학습 | 레이블 없이 학습 | LLM에 광범위 적용 |

## 6. FAQ: 자주 묻는 질문

### Q1. GPU는 왜 학습도 추론도 다 되나요?

**A. GPU는 “범용” 설계이기 때문입니다.**

```
GPU의 범용성:
- CUDA 코어: 다양한 연산 처리 가능
- 텐서 코어: 행렬 곱셈 가속 (학습/추론 모두)
- 대용량 HBM 메모리: 활성화 값 저장 가능
- NVLink: 멀티 GPU 확장

결론:
GPU는 "무엇이든 할 수 있도록" 설계됨
추론 전용 칩은 "추론만 잘하도록" 최적화됨
```

### Q2. NPU가 학습을 못하는 건 기술적 한계인가요, 의도인가요?

**A. 둘 다입니다.**

```
기술적 요인:
- 역전파에 필요한 메모리 버퍼 부족
- 저정밀도(INT8) 연산은 학습에 부적합
- 전력 제약으로 대규모 연산 불가

전략적 요인:
- 추론 시장이 더 큼 (90%)
- 칩 면적/비용 절감 우선
- 학습은 클라우드에 맡기는 분업 전략
- 온디바이스는 추론에 집중
```

### Q3. 뉴로모픽 칩이 미래에는 학습도 할 수 있을까요?

**A. 제한적으로 가능해지고 있습니다.**

```
현재 진행 중인 연구:
1. STDP 기반 학습: 저전력, 비지도 학습
2. 대체 기울기: SNN에 역전파 근사 적용
3. 하이브리드 칩: 기존 연산기 + 뉴로모픽 조합
4. 온칩 학습: Intel Loihi 2 등 지원

한계:
- 복잡한 지도 학습 태스크는 여전히 어려움
- ANN 대비 정확도 격차 존재
- 대규모 LLM 학습은 아직 불가능
```

### Q4. 추론 전용 칩만으로 온디바이스 AI가 충분한가요?

**A. 대부분의 경우 충분합니다.**

```
온디바이스 AI 워크로드:
✅ 음성 인식: 추론 (모델은 클라우드에서 학습)
✅ 이미지 분류: 추론
✅ 번역: 추론
✅ 추천 시스템: 추론 + 연합학습

온디바이스 학습이 필요한 경우:
- 개인화 (사용자 패턴 학습)
- 프라이버시 민감 데이터
- 오프라인 환경

→ 대부분은 "클라우드 학습 + 온디바이스 추론" 모델로 충분
```

## 핵심 정리: 역설의 진실

```
┌───────────────────────┐
│           AI 칩의 역설 - 핵심 정리                       │
├───────────────────────┤
│                                                                 │
│  ❓ 왜 어떤 칩은 학습을 못하는가?                   │
│                                                                 │
│  1️⃣ 역전파의 저주                                        │
│     - 학습에는 모든 중간값 저장 필요                 │
│     - 메모리 요구량: 추론의 10-20배                  │
│     - 이 "저주"를 피하려면 역전파 회로 제거        │
│                                                                 │
│  2️⃣ 뉴로모픽의 구조적 한계                            │
│     - 스파이크 신호 = 미분 불가능                     │
│     - 역전파 자체가 작동하지 않음                     │
│     - STDP 등 대안적 학습 방식 필요                  │
│                                                                 │
│  3️⃣ 경제학의 승리                                        │
│     - AI 워크로드의 90%가 추론                        │
│     - 추론 시장: 2032년 2,300억 달러                 │
│     - 비용/전력 효율 최적화 = 경쟁력                 │
│                                                                 │
│  4️⃣ 전략적 분업                                           │
│     - 학습: 클라우드 GPU (고성능)                     │
│     - 추론: 온디바이스 NPU (저전력)                   │
│     - 각자의 장점에 집중                                  │
│                                                                 │
│  🔮 미래 전망                                              │
│     - 연합학습으로 프라이버시 보호 학습             │
│     - MeZO로 역전파 없는 파인튜닝                   │
│     - 뉴로모픽 온칩 학습 발전                           │
│     - 하이브리드 아키텍처 등장                         │
│                                                                 │
└───────────────────────┘
```

## 외부 참고 자료

더 깊이 알고 싶다면:

- [NVIDIA Developer – GPU 아키텍처](https://developer.nvidia.com/cuda)
- [Google Cloud TPU](https://cloud.google.com/tpu)
- [Intel Loihi 2 뉴로모픽 칩](https://www.intel.com/content/www/us/en/research/neuromorphic-computing.html)
- [IBM 역전파 설명](https://www.ibm.com/kr-ko/think/topics/backpropagation)
- [MLPerf Inference Benchmark](https://mlcommons.org/en/inference-datacenter-30/)

## 최종 결론

**“추론 전용 칩은 한계가 아니라 최적화다.”**

GPU가 “무엇이든 할 수 있는 만능 도구”라면, NPU와 뉴로모픽 칩은 **“특정 일을 최고로 잘하는 전문 도구”**입니다.

역전파의 무시무시한 메모리 요구량, 스파이크 신호의 미분 불가능성, 그리고 추론이 90%를 차지하는 AI 워크로드의 현실 – 이 세 가지가 만나 **추론 전용 칩의 시대**를 열었습니다.

하지만 이것이 끝은 아닙니다. 연합학습, MeZO, STDP 같은 새로운 패러다임이 **온디바이스 학습의 가능성**을 조금씩 열어가고 있습니다. 미래의 AI 칩은 “학습이냐 추론이냐”의 이분법을 넘어, **상황에 따라 유연하게 역할을 바꾸는** 하이브리드 형태로 진화할 것입니다.

## 같이보기

- [sLLM 완벽 가이드: 작은 고추가 맵다! 온디바이스 AI의 미래를 열다](https://doyouknow.kr/sllm-guide-small-language-model-on-device-ai/)
- [AI 하드웨어 전쟁 완전 해부: GPU vs TPU vs NPU – 엔비디아 독주 시대의 종말?](https://doyouknow.kr/nvidia-gpu-google-tpu-npu-ai-hardware-war-b200-trillium-trainium/)
- [ChatGPT 10배 활용법 – Prompt Engineering 완벽 마스터 가이드](https://doyouknow.kr/prompt-engineering-chatgpt-cot-few-shot-tot-guide/)
- [GPT vs Claude vs Gemini – 생성형 AI 완전 해부: Transformer부터 멀티모달까지](https://doyouknow.kr/gpt-claude-gemini-transformer-rlhf-diffusion-multimodal-comparison/)
- [‘AI가 작가에게 2조 원을 낸다고?’ 앤트로픽이 쏘아 올린 저작권 전쟁의 반전 (클로드 4의 비밀)](https://doyouknow.kr/anthropic-copyright-settlement-15billion-claude4-2025/)
- [AI가 차별하는 충격적 이유 – 데이터 편향과 공정성의 모든 것](https://doyouknow.kr/ai-bias-fairness-ethics-aif360-fairlearn-eu-ai-act/)
- [추천 시스템 – AI가 당신의 취향을 아는 방법](https://doyouknow.kr/recommendation-system-collaborative-filtering-netflix-youtube/)
- [소형 AI 모델 혁명: SLM과 온디바이스 AI가 바꾸는 미래 – 클라우드 없이 스마트폰에서 GPT급 AI를!](https://doyouknow.kr/slm-small-language-model-ondevice-ai-guide/)
- [EU AI Act 완벽 해부: 세계 최초 AI 규제법의 모든 것 – 위반 시 매출 7% 벌금, 당신의 AI는 안전한가?](https://doyouknow.kr/eu-ai-act-complete-guide-risk-levels-compliance/)
- [AI 보안 완벽 가이드: 당신의 AI를 해킹하는 6가지 방법과 막는 법 – 공격과 방어의 모든 것!](https://doyouknow.kr/ai-security-guide-adversarial-attack-defense/)
- [AI 환각(Hallucination) 완벽 분석: 왜 AI는 자신있게 거짓말을 하는가? 원인, 탐지, 해결법까지!](https://doyouknow.kr/ai-hallucination-causes-detection-solutions-rag-grounding/)

### 이 글 공유하기:

- [Facebook으로 공유하기 (새 창에서 열림)Facebook](https://doyouknow.kr/why-ai-chips-cannot-learn-inference-only-paradox/?share=facebook)
- [X에 공유 (새 창에서 열림)X](https://doyouknow.kr/why-ai-chips-cannot-learn-inference-only-paradox/?share=x)
-

### 이것이 좋아요:

좋아하기로드 중...

### *관련*

### 관련된 글:

1. [AI 하드웨어 전쟁 완전 해부: GPU vs TPU vs NPU – 엔비디아 독주 시대의 종말?](https://doyouknow.kr/nvidia-gpu-google-tpu-npu-ai-hardware-war-b200-trillium-trainium/)
2. [소형 AI 모델 혁명: SLM과 온디바이스 AI가 바꾸는 미래 – 클라우드 없이 스마트폰에서 GPT급 AI를!](https://doyouknow.kr/slm-small-language-model-ondevice-ai-guide/)
3. [sLLM 완벽 가이드: 작은 고추가 맵다! 온디바이스 AI의 미래를 열다](https://doyouknow.kr/sllm-guide-small-language-model-on-device-ai/)
4. [딥러닝의 커튼을 열다: AlexNet – ImageNet 우승으로 시작된 AI 혁명](https://doyouknow.kr/alexnet-deep-learning-revolution-imagenet-cnn/)

### 댓글 남기기[응답 취소](/why-ai-chips-cannot-learn-inference-only-paradox/#respond)