역설의 칩들: 왜 똑같이 AI를 돌리는데 어떤 건 배우지 못하고 추론만 하는가?

핵심 요약

“왜 GPU는 학습도 하고 추론도 하는데, 최신 NPU나 뉴로모픽 칩은 추론만 할 수 있을까?”

이 질문에 대한 답은 생각보다 복잡합니다. 단순히 “기술의 한계”라고 말하기엔 부족하고, “의도된 설계”라고 단정 짓기엔 너무 음모론적입니다. 진실은 그 사이 어딘가에 있습니다.

핵심 통찰:

• 학습과 추론은 완전히 다른 일입니다. 학습은 역전파(Backpropagation)를 위해 모든 중간 계산값을 저장해야 하지만, 추론은 순전파(Forward Propagation) 한 번이면 끝납니다.
• 역전파는 “악마”입니다. 엄청난 메모리와 연산량을 요구하며, 이것이 추론 전용 칩이 탄생한 근본적 이유입니다.
• 뉴로모픽 칩의 비극은 스파이크 신호가 미분 불가능하다는 점에서 시작됩니다. 역전파가 작동하지 않으니 기존 방식으로 학습할 수 없습니다.
• 경제학의 승리: AI 워크로드의 90%는 추론입니다. 기업들이 추론 전용 칩에 집중하는 것은 합리적 선택입니다.
• 희망의 미래: 연합학습(Federated Learning), STDP, 대체 기울기(Surrogate Gradient) 등 새로운 기술이 온디바이스 학습의 가능성을 열고 있습니다.

📍 목차

1. 학습과 추론이 완전히 다른 일
2. 역전파는 악마다 – 추론 전용 칩이 탄생한 진짜 이유
3. 뉴로모픽 칩의 비극 – 아예 다른 구조의 악몽
4. 왜 기업들은 추론 전용 칩을 만드는가? – 경제학의 승리
5. 온디바이스 학습의 미래 – 새로운 가능성들
6. FAQ: 자주 묻는 질문

1. 학습과 추론이 완전히 다른 일

1-1. AI의 두 단계: 학생과 졸업생

AI 모델을 사람에 비유하면 학습(Training)은 학교에서 공부하는 학생, 추론(Inference)은 졸업 후 현장에서 일하는 직장인입니다.

1-2. 순전파 vs 역전파

순전파(Forward Propagation)는 입력 데이터가 신경망을 통과하며 출력을 만들어내는 과정입니다. 추론은 이 순전파 한 번이면 됩니다.

역전파(Backpropagation)는 학습의 핵심입니다. 출력과 정답의 오차를 계산한 후, 그 오차를 역방향으로 전파하며 각 층의 가중치를 업데이트합니다.

순전파 (Forward Propagation):
입력 → [Layer 1] → [Layer 2] → ... → [Layer N] → 출력 → 오차 계산

역전파 (Backpropagation):  
∂Loss/∂W₁ ← [Layer 1] ← [Layer 2] ← ... ← [Layer N] ← 오차 전파
     ↓
  가중치 업데이트

1-3. 연산량과 메모리의 극적인 차이

학습과 추론의 자원 요구량은 천지 차이입니다.

IBM의 조사에 따르면, AI 모델의 평생 계산 소비의 최대 90%가 추론 단계에서 발생합니다. 학습은 한 번이지만, 추론은 매일 수십억 번 일어나기 때문입니다.

2. 역전파는 악마다 – 추론 전용 칩이 탄생한 진짜 이유

2-1. 역전파의 무시무시한 메모리 요구량

역전파가 “악마”인 이유는 메모리에 있습니다.

학습 시 메모리 구성:

추론 시 메모리 구성:

Llama 2 70B 모델 예시:

→ 학습은 추론의 10-20배 메모리가 필요합니다!

2-2. 활성화 값: 역전파의 저주

역전파가 메모리를 폭발시키는 핵심 이유는 활성화 값(Activation) 저장입니다.

왜 활성화 값을 저장해야 하는가?

역전파에서 기울기를 계산하려면 순전파 때 계산한 모든 중간 결과가 필요합니다.

예시: 간단한 3층 신경망

순전파:
x → [Linear₁] → a₁ → [ReLU] → a₂ → [Linear₂] → y

역전파 시 필요한 값:
∂L/∂W₁ 계산에는 x와 a₁이 필요
∂L/∂W₂ 계산에는 a₂가 필요

→ 모든 층의 활성화 값 a₁, a₂, ...를 저장해야 함!

트랜스포머 모델의 활성화 메모리:

Reducing Activation Recomputation in Large Transformer Models 논문에 따르면:

Self-Attention 블록: 10sbh + 4as²b
MLP 블록: 10sbh
Layer-norm: 4sbh

총 활성화 메모리 = L × (24sbh + 4as²b)

여기서:
s = 시퀀스 길이
b = 배치 크기
h = 히든 차원
a = 어텐션 헤드 수
L = 레이어 수

GPT-3 175B 기준 (배치 1, 시퀀스 2048):

• 활성화 메모리만 수백 GB 필요
• 깊이(레이어 수)에 선형 비례하여 증가

2-3. 추론 전용 칩의 설계 철학

이 “역전파의 저주”를 피하기 위해 추론 전용 칩이 탄생했습니다.

추론 전용 칩의 설계 원칙:

역전파 회로 제거
– 기울기 계산 유닛 불필요
– 활성화 저장 버퍼 대폭 축소
– 칩 면적 30-50% 절감

저정밀도 연산 최적화
– FP32 → INT8/INT4/FP4
– 정확도 손실 최소화 기법 적용
– 메모리 대역폭 4-8배 효율화

순전파 전용 파이프라인
– 단방향 데이터 흐름 최적화
– 지연 시간(Latency) 최소화
– 배치 크기 1도 효율적 처리

전력 효율 극대화
– 불필요한 메모리 접근 제거
– 와트당 성능(TOPS/W) 최적화
– 엣지 디바이스 탑재 가능

대표적 추론 전용 칩:

Google TPU v1의 역사적 교훈:

구글의 첫 번째 TPU는 2016년 순수 추론 전용으로 설계되었습니다. 역전파 회로를 완전히 제거하여 INT8 연산 92 TOPS라는 당시 혁신적인 성능을 달성했습니다. 학습 지원은 TPU v2(2017년)부터 추가되었습니다.

2-4. 한국의 도전 – Furiosa AI RNGD

“엔비디아 GPU의 1/5 전력으로 동급 추론 성능”

한국에서도 추론 전용 칩의 혁신이 일어나고 있습니다. 퓨리오사AI(FuriosaAI)가 개발한 RNGD(레니게이드, Renegade)는 2024년 Hot Chips 컨퍼런스에서 글로벌 데뷔한 2세대 AI 추론 전용 칩입니다.

RNGD 핵심 사양

왜 RNGD가 주목받는가?

1. 압도적인 전력 효율성

RNGD의 가장 큰 강점은 와트당 성능(Performance per Watt)입니다.

전력 효율 비교 (GPT-J 6B 벤치마크):

RNGD: 11.5 쿼리/초 @ 185W → 0.062 쿼리/W
L40S: 12.3 쿼리/초 @ 320W → 0.038 쿼리/W

→ RNGD가 L40S 대비 약 60% 높은 전력 효율!
→ 엔비디아 H100 대비 와트당 성능 3배 이상

LG AI연구원의 8개월간 파일럿 테스트에서 RNGD는 엑사원 3.5 모델 운영 시 기존 GPU 대비 2.25배 향상된 전력 효율을 달성했습니다.

2. TCP 아키텍처 – 추론에 특화된 설계

RNGD는 Tensor Contraction Processor(TCP) 아키텍처를 채택했습니다. 이는 GPU의 범용 설계와 달리 텐서 연산에 극도로 최적화된 구조입니다.

TCP 아키텍처 특징:

8개의 Processing Element(PE)로 구성

각 PE가 64 TFLOPS (FP8) 처리

칩 내 네트워크(NoC)로 PE 간 연결

256MB 온칩 SRAM (384 TB/s 내부 대역폭)

역전파 회로 완전 제거 → 순전파 전용 최적화

3. LLM 추론 최적화

RNGD는 거대언어모델(LLM) 추론에 특화되어 설계되었습니다.

RNGD LLM 추론 성능:

Llama 3.1 8B: 단일 카드에서 실행 가능

Llama 3.1 70B: 라이브 데모 성공 (Hot Chips 2024)

10B 파라미터 모델: 초당 2,000-3,000 토큰 처리

GPT-J 6B: 초당 약 12 쿼리 처리

지원 정밀도: BF16, FP8, INT8, INT4

4. 데이터센터 친화적 설계

데이터센터 최적화:
- 150-180W TDP → 공랭식 데이터센터 배포 가능
- 단일 서버에 최대 20개 RNGD 탑재 가능
- NXT RNGD 서버: 8개 RNGD = 4 PFLOPS, 3kW
- 랙당 GPU 대비 2-3배 토큰 처리 성능

RNGD도 “추론 전용”인 이유

RNGD 역시 학습을 지원하지 않는 추론 전용 칩입니다. 그 이유는 본문에서 설명한 원리와 정확히 일치합니다:

RNGD가 학습을 지원하지 않는 이유:

1. 역전파 회로 제거
활성화 값 저장 버퍼 최소화
기울기 계산 유닛 없음
칩 면적을 순전파 연산에 집중

2. 저정밀도 최적화
FP8/INT8/INT4 연산에 특화
학습에 필요한 FP32 연산 제한적

3. 전력 효율 극대화
150-180W로 GPU 대비 1/4~1/5 전력
역전파 제거가 이 효율의 핵심

4. 시장 전략
AI 워크로드 90%가 추론
학습은 클라우드 GPU에 위임
추론에서 차별화된 가치 제공

글로벌 진출 현황

퓨리오사AI는 RNGD를 통해 글로벌 시장에 본격 진출하고 있습니다:

• Microsoft Azure Marketplace: 2025년 4월 출시
• LG AI연구원: 엑사원 4.0에 RNGD 전면 도입 예정
• Saudi Aramco: PoC 프로젝트 진행 중
• Supermicro: 서버 파트너십
• 북미 거래선: 복수 기업과 칩 평가 진행 중

한국 AI 반도체의 의미

RNGD가 증명하는 것:

1. 추론 전용 칩의 시장 가치
GPU 만능 시대를 넘어 전문화된 칩 시대
전력 효율이 데이터센터의 핵심 경쟁력

2. 팹리스의 가능성
TSMC 5nm 공정, SK하이닉스 HBM3 활용
설계 역량으로 글로벌 경쟁력 확보

3. "학습 vs 추론" 분업의 현실화
학습: 엔비디아 GPU (클라우드)
추론: RNGD 같은 전용 칩 (온프레미스/엣지)

4. 메타 인수 제안 거절
2025년 메타의 인수 제안을 거절
독자 기술력으로 글로벌 시장 공략

3. 뉴로모픽 칩의 비극 – 아예 다른 구조의 악몽

3-1. 뉴로모픽 칩이란?

뉴로모픽(Neuromorphic) 칩은 인간 뇌의 구조를 하드웨어로 모방한 칩입니다. 기존 신경망과 완전히 다른 패러다임을 사용합니다.

대표적 뉴로모픽 칩:

3-2. 스파이크는 미분 불가능하다

뉴로모픽 칩의 근본적 비극:

스파이킹 신경망(SNN)에서 뉴런은 스파이크(spike)를 발생시킵니다. 막전위가 임계값을 넘으면 “1”, 아니면 “0”을 출력합니다.

스파이크 함수:
           ┌ 1,  if 막전위 ≥ 임계값
spike(v) = ┤
           └ 0,  if 막전위 

역전파의 전제 조건:

역전파가 작동하려면 연쇄 법칙(Chain Rule)을 적용해야 합니다. 이를 위해 모든 함수가 미분 가능해야 합니다.

연쇄 법칙:
∂L/∂W = ∂L/∂y × ∂y/∂a × ∂a/∂z × ∂z/∂W

SNN에서:
∂a/∂z = ∂spike/∂(막전위) = 0 또는 ∞

→ 기울기 전파 불가! 역전파 붕괴!

3-3. 왜 뉴로모픽 칩은 역전파를 포기했는가?

뉴로모픽 칩 설계자들은 역전파 대신 생물학적 학습 규칙을 채택했습니다.

STDP (Spike-Timing Dependent Plasticity):

뇌에서 관찰되는 실제 학습 메커니즘입니다.

STDP 규칙:

시냅스 전 뉴런 → 시냅스 후 뉴런

Case 1: 전 뉴런이 먼저 발화 → 후 뉴런 발화
       = 인과관계 있음 → 연결 강화 (LTP)

Case 2: 후 뉴런이 먼저 발화 → 전 뉴런 발화
       = 인과관계 없음 → 연결 약화 (LTD)

STDP의 한계:

3-4. 대체 기울기: 타협점을 찾다

연구자들은 대체 기울기(Surrogate Gradient) 방법으로 SNN에서도 역전파를 시도합니다.

아이디어:
순전파: 실제 스파이크 함수 사용 (0 또는 1)
역전파: 부드러운 근사 함수로 기울기 계산

대체 함수 예시 (시그모이드):
σ(v) = 1 / (1 + exp(-βv))

∂σ/∂v = βσ(1-σ)  ← 미분 가능!

순전파:  spike(v) = { 0, 1 }
역전파:  ∂L/∂v ≈ ∂L/∂σ × ∂σ/∂v

대체 기울기의 성과:

• MNIST: 98.88% 정확도 달성 (기존 CNN과 유사)
• CIFAR-10: 경쟁력 있는 성능
• 하지만 여전히 하드웨어 구현의 복잡성 존재

4. 왜 기업들은 추론 전용 칩을 만드는가? – 경제학의 승리

4-1. 숫자로 보는 추론의 압도적 비중

ChatGPT 예시:

• GPT-4 학습: 수개월, 수억 달러 (한 번)
• GPT-4 추론: 매일 10억+ 쿼리 (지속)

4-2. 추론 시장의 폭발적 성장

Fortune Business Insights와 Verified Market Research에 따르면:

추론 시장이 폭발하는 이유:

1. 생성형 AI 대중화: ChatGPT, Gemini 등 일상 사용
2. 온디바이스 AI: 스마트폰, PC에 NPU 탑재
3. 자율주행: 실시간 추론 필수
4. 엣지 컴퓨팅: IoT 디바이스 750억 개 (2025년)

4-3. 추론 전용 칩의 경제적 이점

비용 효율성 비교:

┌─────────────────────┐
│     추론 전용 칩 vs 범용 GPU 비용 비교        │
├─────────────────────┤
│                                                            │
│  NVIDIA H100 (학습 + 추론 범용)                │
│  ├── 가격: ~$30,000                             │
│  ├── 전력: 700W                                  │
│  └── 추론 최적화: 보통                          │
│                                                             │
│  AWS Inferentia2 (추론 전용)                       │
│  ├── 가격: H100의 40% 비용으로 추론       │
│  ├── 전력: 더 낮음                                │
│  └── 추론 최적화: 최고                          │
│                                                            │
│  Google TPU (추론 최적화)                         │
│  ├── 클라우드 비용: GPU 대비 저렴          │
│  ├── 대규모 추론에 특화                        │
│  └── 달러당 성능: 높음                          │
│                                                            │
└─────────────────────┘

온디바이스 NPU의 이점:

4-4. 기업들의 전략적 선택

왜 추론 전용 칩에 집중하는가?

1. 시장 규모 = 90% (추론) vs 10% (학습)
   → 추론 시장이 9배 큼

2. 하드웨어 설계 단순화
   → 역전파 회로 제거 = 비용 절감

3. 전력 효율 = 엣지/모바일 시장 공략
   → 배터리 구동 가능

4. 가격 경쟁력
   → 범용 GPU 대비 저렴하게 제공

5. 차별화
   → NVIDIA 독점 GPU 시장에서 틈새 공략

빅테크의 추론 전용 칩 투자:

• Google: TPU (Trillium, Ironwood 추론 특화)
• Amazon: Inferentia (추론), Trainium (학습) 분리
• Apple: Neural Engine (M4 칩에 38 TOPS)
• Qualcomm: Hexagon NPU (Snapdragon X2에 80 TOPS)
• Microsoft: Maia (자체 AI 칩 개발)

5. 온디바이스 학습의 미래 – 새로운 가능성들

5-1. 연합학습 (Federated Learning)

연합학습은 데이터를 중앙 서버로 보내지 않고 기기에서 직접 학습한 후, 모델 업데이트만 서버로 전송하는 방식입니다.

연합학습의 장점:

• 프라이버시 보호: 민감한 데이터가 기기를 떠나지 않음
• 규제 준수: GDPR, 개인정보보호법 대응
• 분산 학습: 수억 대 기기의 데이터 활용

실제 적용 사례:

• Google Gboard: 키보드 예측 모델 개선
• Apple Siri: 음성 인식 개인화
• 의료 AI: 병원 간 환자 데이터 공유 없이 모델 학습

5-2. MeZO: 역전파 없는 학습

Fine-Tuning Language Models with Just Forward Passes (2023)에서 제안된 MeZO (Memory-efficient Zeroth-order Optimizer)는 혁신적 접근법입니다.

핵심 아이디어:

기존 역전파:
1. 순전파 → 활성화 저장
2. 역전파 → 기울기 계산
3. 가중치 업데이트
→ 메모리: 추론의 10-20배

MeZO:
1. 순전파만 2번 (작은 변동 ±ε 적용)
2. 손실 차이로 기울기 추정
3. 가중치 업데이트
→ 메모리: 추론과 동일!

∂L/∂W ≈ (L(W + ε) - L(W - ε)) / (2ε)

MeZO의 성과:

• A100 80GB GPU 1개로 66B 모델 파인튜닝 가능
• 역전파 대비 메모리 12배 절감
• 정확도는 역전파의 90-95% 수준

5-3. 뉴로모픽 칩의 온칩 학습

Intel Loihi 2는 뉴로모픽 칩 중 최초로 온칩 학습을 지원합니다.

Loihi 2 학습 메커니즘:

1. STDP 기반 시냅스 가소성
   - 스파이크 타이밍에 따른 가중치 조정
   - 하드웨어에서 직접 구현

2. 대체 기울기 지원
   - 외부에서 학습 후 배포
   - 칩 내에서 미세 조정

3. 멀티칩 스케일링
   - Pohoiki Springs: 768 Loihi 칩
   - Hala Point: 1,152 Loihi 2 칩 (11.5억 뉴런)

5-4. 새로운 학습 패러다임

온디바이스 학습의 미래 기술:

6. FAQ: 자주 묻는 질문

Q1. GPU는 왜 학습도 추론도 다 되나요?

A. GPU는 “범용” 설계이기 때문입니다.

GPU의 범용성:
- CUDA 코어: 다양한 연산 처리 가능
- 텐서 코어: 행렬 곱셈 가속 (학습/추론 모두)
- 대용량 HBM 메모리: 활성화 값 저장 가능
- NVLink: 멀티 GPU 확장

결론:
GPU는 "무엇이든 할 수 있도록" 설계됨
추론 전용 칩은 "추론만 잘하도록" 최적화됨

Q2. NPU가 학습을 못하는 건 기술적 한계인가요, 의도인가요?

A. 둘 다입니다.

기술적 요인:
- 역전파에 필요한 메모리 버퍼 부족
- 저정밀도(INT8) 연산은 학습에 부적합
- 전력 제약으로 대규모 연산 불가

전략적 요인:
- 추론 시장이 더 큼 (90%)
- 칩 면적/비용 절감 우선
- 학습은 클라우드에 맡기는 분업 전략
- 온디바이스는 추론에 집중

Q3. 뉴로모픽 칩이 미래에는 학습도 할 수 있을까요?

A. 제한적으로 가능해지고 있습니다.

현재 진행 중인 연구:
1. STDP 기반 학습: 저전력, 비지도 학습
2. 대체 기울기: SNN에 역전파 근사 적용
3. 하이브리드 칩: 기존 연산기 + 뉴로모픽 조합
4. 온칩 학습: Intel Loihi 2 등 지원

한계:
- 복잡한 지도 학습 태스크는 여전히 어려움
- ANN 대비 정확도 격차 존재
- 대규모 LLM 학습은 아직 불가능

Q4. 추론 전용 칩만으로 온디바이스 AI가 충분한가요?

A. 대부분의 경우 충분합니다.

온디바이스 AI 워크로드:
✅ 음성 인식: 추론 (모델은 클라우드에서 학습)
✅ 이미지 분류: 추론
✅ 번역: 추론
✅ 추천 시스템: 추론 + 연합학습

온디바이스 학습이 필요한 경우:
- 개인화 (사용자 패턴 학습)
- 프라이버시 민감 데이터
- 오프라인 환경

→ 대부분은 "클라우드 학습 + 온디바이스 추론" 모델로 충분

핵심 정리: 역설의 진실

┌───────────────────────┐
│           AI 칩의 역설 - 핵심 정리                       │
├───────────────────────┤
│                                                                 │
│  ❓ 왜 어떤 칩은 학습을 못하는가?                   │
│                                                                 │
│  1️⃣ 역전파의 저주                                        │
│     - 학습에는 모든 중간값 저장 필요                 │
│     - 메모리 요구량: 추론의 10-20배                  │
│     - 이 "저주"를 피하려면 역전파 회로 제거        │
│                                                                 │
│  2️⃣ 뉴로모픽의 구조적 한계                            │
│     - 스파이크 신호 = 미분 불가능                     │
│     - 역전파 자체가 작동하지 않음                     │
│     - STDP 등 대안적 학습 방식 필요                  │
│                                                                 │
│  3️⃣ 경제학의 승리                                        │
│     - AI 워크로드의 90%가 추론                        │
│     - 추론 시장: 2032년 2,300억 달러                 │
│     - 비용/전력 효율 최적화 = 경쟁력                 │
│                                                                 │
│  4️⃣ 전략적 분업                                           │
│     - 학습: 클라우드 GPU (고성능)                     │
│     - 추론: 온디바이스 NPU (저전력)                   │
│     - 각자의 장점에 집중                                  │
│                                                                 │
│  🔮 미래 전망                                              │
│     - 연합학습으로 프라이버시 보호 학습             │
│     - MeZO로 역전파 없는 파인튜닝                   │
│     - 뉴로모픽 온칩 학습 발전                           │
│     - 하이브리드 아키텍처 등장                         │
│                                                                 │
└───────────────────────┘

외부 참고 자료

더 깊이 알고 싶다면:

• NVIDIA Developer – GPU 아키텍처
• Google Cloud TPU
• Intel Loihi 2 뉴로모픽 칩
• IBM 역전파 설명
• MLPerf Inference Benchmark

최종 결론

“추론 전용 칩은 한계가 아니라 최적화다.”

GPU가 “무엇이든 할 수 있는 만능 도구”라면, NPU와 뉴로모픽 칩은 “특정 일을 최고로 잘하는 전문 도구”입니다.

역전파의 무시무시한 메모리 요구량, 스파이크 신호의 미분 불가능성, 그리고 추론이 90%를 차지하는 AI 워크로드의 현실 – 이 세 가지가 만나 추론 전용 칩의 시대를 열었습니다.

하지만 이것이 끝은 아닙니다. 연합학습, MeZO, STDP 같은 새로운 패러다임이 온디바이스 학습의 가능성을 조금씩 열어가고 있습니다. 미래의 AI 칩은 “학습이냐 추론이냐”의 이분법을 넘어, 상황에 따라 유연하게 역할을 바꾸는 하이브리드 형태로 진화할 것입니다.

같이보기

• sLLM 완벽 가이드: 작은 고추가 맵다! 온디바이스 AI의 미래를 열다
• AI 하드웨어 전쟁 완전 해부: GPU vs TPU vs NPU – 엔비디아 독주 시대의 종말?
• ChatGPT 10배 활용법 – Prompt Engineering 완벽 마스터 가이드
• GPT vs Claude vs Gemini – 생성형 AI 완전 해부: Transformer부터 멀티모달까지
• ‘AI가 작가에게 2조 원을 낸다고?’ 앤트로픽이 쏘아 올린 저작권 전쟁의 반전 (클로드 4의 비밀)
• AI가 차별하는 충격적 이유 – 데이터 편향과 공정성의 모든 것
• 추천 시스템 – AI가 당신의 취향을 아는 방법
• 소형 AI 모델 혁명: SLM과 온디바이스 AI가 바꾸는 미래 – 클라우드 없이 스마트폰에서 GPT급 AI를!
• EU AI Act 완벽 해부: 세계 최초 AI 규제법의 모든 것 – 위반 시 매출 7% 벌금, 당신의 AI는 안전한가?
• AI 보안 완벽 가이드: 당신의 AI를 해킹하는 6가지 방법과 막는 법 – 공격과 방어의 모든 것!
• AI 환각(Hallucination) 완벽 분석: 왜 AI는 자신있게 거짓말을 하는가? 원인, 탐지, 해결법까지!