---
title: "소형 AI 모델 혁명: SLM과 온디바이스 AI가 바꾸는 미래 – 클라우드 없이 스마트폰에서 GPT급 AI를!"
id: "332"
type: "post"
slug: "slm-small-language-model-ondevice-ai-guide"
published_at: "2025-11-27T03:44:07+00:00"
modified_at: "2026-07-19T10:51:29+00:00"
url: "https://doyouknow.kr/slm-small-language-model-ondevice-ai-guide/"
markdown_url: "https://doyouknow.kr/slm-small-language-model-ondevice-ai-guide.md"
excerpt: "GPT-4급 성능을 스마트폰에서 오프라인으로? SLM(소형 언어 모델)이 답이다! Microsoft Phi-3는 3.8B로 GPT-3.5 성능, Google Gemma 2는 2B로 GPT-3.5 전 모델 능가. Meta Llama 3.2 양자화로 56% 경량화. 양자화·프루닝·지식 증류로 10배 압축. ONNX, TFLite, Core ML 온디바이스 프레임워크와 엣지 AI 실전..."
taxonomy_category:
  - "AI"
taxonomy_post_tag:
  - "AI"
  - "Core ML"
  - "Edge AI"
  - "Google Gemma 2"
  - "GPT-3.5"
  - "Knowledge Distillation"
  - "Meta Llama 3.2"
  - "Microsoft Phi-3"
  - "NPU"
  - "ONNX"
  - "Pruning"
  - "Quantization"
  - "SLM"
  - "Small Language Model"
  - "TensorFlow Lite"
  - "TFLite"
  - "경량화"
  - "모델 압축"
  - "소형 언어 모델"
  - "스마트폰 AI"
  - "양자화"
  - "엣지 AI"
  - "온디바이스 AI"
  - "지식 증류"
  - "프루닝"
---

## 핵심 요약

**“GPT-4급 성능을 스마트폰에서 오프라인으로?”**

더 이상 꿈이 아닙니다. **소형 언어 모델(SLM, Small Language Model)**과 **온디바이스 AI**가 AI 패러다임을 완전히 바꾸고 있습니다.

**핵심 통찰:**

- **SLM 정의**: 1B~10B 파라미터의 경량 AI 모델로, LLM의 1/50~1/100 크기지만 **GPT-3.5급 성능** 달성
- **Microsoft Phi-3 Mini**: 3.8B 파라미터로 MMLU 68.8%, **GPT-3.5와 동급 성능**
- **Google Gemma 2**: 2B/9B/27B 버전, Chatbot Arena에서 **GPT-3.5 전 모델 능가**
- **Meta Llama 3.2**: 1B/3B 모델, 양자화 시 **모델 크기 56% 감소**, 메모리 41% 절감
- **모델 압축 기술**: 양자화(FP32→INT4), 프루닝(90% 파라미터 제거), 지식 증류로 **성능 유지하며 10배 경량화**
- **온디바이스 프레임워크**: ONNX, TFLite, Core ML로 **1-10ms 지연 시간** 달성
- **엣지 AI 시장**: 2024년 3.1억 달러 → 2030년 13.5억 달러 (연평균 27.7% 성장)

[ez-toc]

## 1. SLM(Small Language Model)이란?

### 1-1. SLM의 정의

**SLM(Small Language Model, 소형 언어 모델)**은 대규모 언어 모델(LLM)에 비해 **파라미터 수가 적은** 언어 모델입니다. 일반적으로 **1B~10B(10억~100억 개)** 파라미터를 가지며, LLM의 수천억~수조 개 파라미터와 대비됩니다.

| 구분 | SLM (소형 언어 모델) | LLM (대규모 언어 모델) |
| --- | --- | --- |
| 파라미터 수 | 1B ~ 10B | 70B ~ 1.7T+ |
| 대표 모델 | Phi-3, Gemma 2, Llama 3.2 1B/3B | GPT-4, Claude 3, Gemini Ultra |
| 메모리 요구량 | 2GB ~ 20GB | 140GB ~ 1.4TB+ |
| 실행 환경 | 스마트폰, 노트북, 엣지 기기 | 데이터센터, 클라우드 |
| 응답 지연 | 1~100ms | 100ms~수 초 |
| 비용 | 무료/저렴 | 고비용 API 호출 |
| 프라이버시 | 온디바이스 처리 (데이터 유출 없음) | 클라우드 전송 필요 |

### 1-2. SLM이 주목받는 이유

**“중요한 것은 규모가 아니라, 사고 과정 그 자체다.”**

AI 시장이 **개발 단계에서 서비스 적용 단계**로 넘어오면서, SLM의 중요성이 급부상하고 있습니다.

**SLM의 4가지 핵심 장점:**

```
1️⃣ 비용 효율성
   - LLM 대비 5~10배 저렴한 운영 비용
   -클라우드 API 호출 비용 절감
   -에너지 소비 대폭 감소

2️⃣ 빠른 응답 속도
   -온디바이스 추론으로 1~10ms 지연
   -네트워크 지연 제거
   -실시간 인터랙션 가능

3️⃣ 프라이버시 보호
   -데이터가 기기를 떠나지 않음
   - GDPR, 개인정보보호법 준수 용이
   - 민감한 데이터 로컬 처리

4️⃣ 오프라인 작동
   - 인터넷 연결 없이 AI 사용
   - 항공기, 지하철 등 제한 환경 가능
   - 네트워크 장애에 영향 없음
```

### 1-3. SLM vs LLM: 언제 무엇을 선택할까?

**SLM이 유리한 경우:**

- 엣지 디바이스 기반 AI (스마트폰, IoT, 웨어러블)
- 개인화된 오프라인 서비스
- 빠른 응답이 중요한 앱 (실시간 보조, 게임)
- 프라이버시가 중요한 환경 (의료, 금융)
- 특정 도메인에 특화된 태스크

**LLM이 유리한 경우:**

- 복잡한 추론이 필요한 태스크
- 광범위한 일반 지식이 필요한 경우
- 다국어/멀티모달 복합 태스크
- 창의적 콘텐츠 생성

## 2. 주요 SLM 모델 비교

### 2-1. Microsoft Phi-3/Phi-4 시리즈

**“GPT-3.5급 성능을 스마트폰에서”**

Microsoft의 [Phi 시리즈](https://azure.microsoft.com/en-us/products/phi)
는 SLM의 대표 주자입니다. 특히 **데이터 품질 중심의 학습 전략**으로 작은 크기에도 뛰어난 성능을 달성했습니다.

**Phi-3 모델 라인업:**

| 모델 | 파라미터 | MMLU | MT-Bench | 특징 |
| --- | --- | --- | --- | --- |
| Phi-3 Mini | 3.8B | 68.8% | 8.38 | iPhone에서 초당 12토큰 |
| Phi-3 Small | 7B | – | – | 다국어 최적화 |
| Phi-3 Medium | 14B | 78.2% | 8.9 | GPT-3.5 능가 |
| Phi-4 | 14B | – | – | 추론 특화, 70B급 성능 |

**Phi-3 Mini의 놀라운 성과:**

- **MMLU 68.8%**: GPT-3.5(71.4%)와 유사
- **MT-Bench 8.38**: 7B+ 모델 대부분 능가
- **4bit 양자화 시 1.8GB**: iPhone 14에서 실행 가능
- **3.3T 토큰 학습**: 고품질 데이터 큐레이션

**Phi-4의 혁신:**

- **140억 파라미터**로 **700억급 모델 성능** 달성
- **희소 주의 메커니즘**으로 계산 효율 극대화
- NPU 최적화로 Copilot+ PC에서 네이티브 실행
- **ASR(음성 인식) WER 6.14%**: WhisperV3 능가

### 2-2. Google Gemma 2 시리즈

**“GPT-3.5 전 모델을 2B로 능가”**

Google의 [Gemma 2](https://ai.google.dev/gemma)
는 효율성과 성능의 새로운 기준을 제시했습니다.

**Gemma 2 모델 라인업:**

| 모델 | 파라미터 | 특징 | 경쟁 대상 |
| --- | --- | --- | --- |
| Gemma 2 2B | 2B | 에지 기기 최적화 | GPT-3.5 전 모델 능가 |
| Gemma 2 9B | 9B | 클래스 최고 성능 | Llama 3 8B 능가 |
| Gemma 2 27B | 27B | 2배 큰 모델과 경쟁 | 단일 H100에서 실행 |

**Gemma 2의 핵심 혁신:**

- **지식 증류**: 27B 모델에서 2B/9B 모델로 지식 전달
- **Chatbot Arena 순위**: 27B 모델이 인기 대형 모델들 능가
- **단일 GPU 실행**: H100 또는 A100 80GB 하나로 27B 모델 추론
- **다국어 성능**: 한국어, 힌디어 등 비영어권에서도 탁월

**Gemma 3 (2025년 3월 출시):**

- 2B, 7B, 27B 버전
- RAG 및 도구 사용 최적화
- 상업 수준 성능

### 2-3. Meta Llama 3.2 (1B, 3B)

**“온디바이스 AI의 새로운 표준”**

Meta의 [Llama 3.2](https://llama.meta.com/)
 1B/3B 모델은 **온디바이스 AI**를 위해 특별히 설계되었습니다.

**Llama 3.2 경량 모델 사양:**

| 항목 | Llama 3.2 1B | Llama 3.2 3B |
| --- | --- | --- |
| 파라미터 | 1B | 3B |
| 컨텍스트 길이 | 128K 토큰 | 128K 토큰 |
| 최적화 플랫폼 | Qualcomm, MediaTek, ARM | Qualcomm, MediaTek, ARM |
| 성능 비교 | Gemma 2 2B와 경쟁력 | Gemma 2 2.6B, Phi-3.5-mini 능가 |

**양자화 버전 성능 (OnePlus 12 기준):**

```
📉 모델 크기: 평균 56% 감소
💾 메모리 사용량: 41% 절감
⚡ 디코드 지연: 2.5배 감소
🚀 프리필 지연: 4.2배 감소

✅ iOS/Android 모두 지원
✅ ARM 기반 CPU 최적화
```

**Llama 3.2 1B/3B 주요 용도:**

- 요약 및 지시 따르기
- 텍스트 재작성
- 도구 호출 (Function Calling)
- 다국어 텍스트 생성

### 2-4. 기타 주목할 SLM 모델

| 모델 | 개발사 | 파라미터 | MMLU | 특징 |
| --- | --- | --- | --- | --- |
| SmolLM2 | Hugging Face | 1.7B | – | 11T 토큰 학습, 수학/코드 특화 |
| MiniCPM | 면벽지능 | 1.2B/2.4B | – | 7B-13B LLM급 성능 |
| Qwen 2.5 | Alibaba | 3B | 69.18% | 수학(GSM8K 84%) 강점 |
| HyperCLOVA X SEED | 네이버 | 1.5B | 41.8% | 한국어 최적화 |
| EXAONE 3.5 | LG AI연구원 | 2.4B | – | 한국어 MT-Bench 7.9 |

## 3. 모델 압축 기술: 양자화, 프루닝, 지식 증류

### 3-1. 왜 모델 압축이 필요한가?

대형 모델을 스마트폰이나 엣지 기기에서 실행하려면 **모델 크기와 연산량을 줄여야** 합니다. 모델 압축 기술은 **성능은 유지하면서 효율성을 극대화**하는 방법입니다.

**모델 압축의 3대 기술:**

```
1. 양자화 (Quantization)
    - 숫자의 비트 수를 줄임
    - FP32 → INT8 → INT4
    - 메모리 4~8배 절감

2. 프루닝 (Pruning)
    - 중요도 낮은 파라미터 제거
    - 가중치/뉴런/채널 단위 제거
    - 모델 크기 최대 90% 감소

3. 지식 증류 (Knowledge Distillation)
    - 큰 "교사" 모델의 지식을 작은 "학생" 모델에 전달
    - 성능 유지하며 크기 축소
    - DeepSeek-R1 70B → 8B 증류 성공
```

### 3-2. 양자화 (Quantization)

**양자화**는 모델의 가중치와 활성화 값을 **낮은 비트 수로 표현**하는 기법입니다.

**양자화 수준별 비교:**

| 정밀도 | 비트 수 | 메모리 절감 | 정확도 손실 | 용도 |
| --- | --- | --- | --- | --- |
| FP32 | 32비트 | 기준 (0%) | 없음 | 학습 |
| FP16 | 16비트 | 50% | 미미 | 추론/파인튜닝 |
| INT8 | 8비트 | 75% | 1-2% | 추론 최적화 |
| INT4 | 4비트 | 87.5% | 2-5% | 엣지 배포 |
| INT2 | 2비트 | 93.75% | 5-10% | 극한 경량화 |

**양자화 예시 (Llama 3.2 3B):**

```
# 원본 FP32 모델
original_size = 3B × 4 bytes = 12GB

# INT8 양자화
int8_size = 3B × 1 byte = 3GB  # 75% 절감

# INT4 양자화
int4_size = 3B × 0.5 bytes = 1.5GB  # 87.5% 절감
```

**양자화 종류:**

- **훈련 후 양자화 (PTQ)**: 학습된 모델을 바로 양자화
- **양자화 인식 학습 (QAT)**: 양자화를 고려하여 학습
- **동적 양자화**: 추론 시 실시간 양자화

### 3-3. 프루닝 (Pruning)

**프루닝(가지치기)**은 모델 성능에 **기여도가 낮은 파라미터를 제거**하는 기법입니다.

**프루닝 유형:**

| 유형 | 제거 대상 | 장점 | 단점 |
| --- | --- | --- | --- |
| 가중치 프루닝 | 개별 가중치 (0으로 설정) | 미세 조정 가능 | 희소 행렬 연산 필요 |
| 뉴런 프루닝 | 전체 뉴런 | 구조 단순화 | 성능 손실 위험 |
| 채널 프루닝 | CNN 필터/채널 | 직접적 속도 향상 | 정확도 하락 가능 |
| 레이어 프루닝 | 전체 레이어 | 대폭 경량화 | 큰 성능 손실 |

**프루닝 효과:**

- **모델 크기**: 최대 **90%** 감소
- **에너지 소비**: 최대 **95.7%** 감소
- **정확도**: 적절한 프루닝 시 **손실 없음**

### 3-4. 지식 증류 (Knowledge Distillation)

**지식 증류**는 큰 **교사 모델(Teacher)**의 지식을 작은 **학생 모델(Student)**에 전달하는 기법입니다.

**지식 증류의 원리:**

```
┌────────────────────┐
│    지식 증류 프로세스                            │
├────────────────────┤
│                                                         │
│  📚 교사 모델 (Teacher)                         │
│     - 대규모 파라미터 (예: 405B)               │
│     - 높은 정확도                                  │
│     - "Soft Labels" 출력 (확률 분포)           │
│                           │                          │
│                           ▼                         │
│                    지식 전달 (Distillation)      │
│                    - Soft Labels 학습            │
│                    - 교사의 "사고 과정" 모방  │
│                           │                         │
│                           ▼                         │
│  📖 학생 모델 (Student)                       │
│     - 소규모 파라미터 (예: 8B)                │
│     - 교사와 유사한 성능                      │
│     - 빠른 추론 속도                            │
│                                                      │
└───────────────────┘
```

**지식 증류 성공 사례:**

- **DeepSeek-R1**: 671B → 70B, 32B, 8B로 증류, 오픈소스 추론 최고 기록
- **Microsoft 연구**: Llama 3.1 405B → 70B, 8B로 증류, 교사 모델 성능 유지
- **Gemma 2**: 27B 모델에서 2B, 9B 모델로 지식 증류

### 3-5. 압축 기술 조합 효과

세 가지 기술을 **조합**하면 시너지 효과를 얻을 수 있습니다.

| 압축 기술 | 모델 크기 감소 | 성능 유지 | 난이도 |
| --- | --- | --- | --- |
| 양자화만 | 75-87.5% | 95-99% | 쉬움 |
| 프루닝만 | 50-90% | 90-98% | 중간 |
| 지식 증류만 | 50-90% | 90-95% | 어려움 |
| 세 기술 조합 | 최대 90% | 69.8%+ | 복잡 |

## 4. 온디바이스 AI 프레임워크

### 4-1. 온디바이스 AI란?

**온디바이스 AI**는 클라우드가 아닌 **기기(스마트폰, PC, IoT)에서 직접** AI 모델을 실행하는 것입니다.

**온디바이스 AI의 장점:**

| 항목 | 클라우드 AI | 온디바이스 AI |
| --- | --- | --- |
| 지연 시간 | 100-500ms | 1-10ms |
| 프라이버시 | 데이터 서버 전송 | 기기 내 처리 |
| 비용 | API 호출당 과금 | 무료 |
| 오프라인 | 불가능 | 가능 |
| 전력 | 데이터센터 | 밀리와트 수준 |

### 4-2. ONNX (Open Neural Network Exchange)

**[ONNX](https://onnx.ai/)**는 서로 다른 딥러닝 프레임워크 간 **모델 호환성**을 제공하는 개방형 표준입니다.

**ONNX의 역할:**

```
PyTorch 모델 ──┐
               │
TensorFlow 모델─┼──→ ONNX 형식 ──→ 다양한 런타임에서 실행
               │
Keras 모델 ────┘

지원 런타임:
- ONNX Runtime (Microsoft)
- TensorRT (NVIDIA)
- OpenVINO (Intel)
- Core ML (Apple)
```

**ONNX 변환 코드 예시:**

```
import torch
import torch.onnx

# PyTorch 모델을 ONNX로 변환
model = MyModel()
dummy_input = torch.randn(1, 3, 224, 224)

torch.onnx.export(
    model,
    dummy_input,
    "model.onnx",
    input_names=["input"],
    output_names=["output"],
    opset_version=11
)
```

**ONNX의 장점:**

- **프레임워크 독립성**: PyTorch, TensorFlow 등 어디서든 사용
- **최적화**: 각 하드웨어에 맞는 최적화 적용
- **배포 용이성**: 다양한 플랫폼에 동일 모델 배포

### 4-3. TensorFlow Lite (TFLite / LiteRT)

**[TensorFlow Lite](https://ai.google.dev/edge/litert?hl=ko)**는 Google이 개발한 **모바일/엣지 기기용** 딥러닝 프레임워크입니다.

**TFLite 주요 특징:**

- **온디바이스 최적화**: 지연 시간 감소, 프라이버시 보호
- **다양한 플랫폼 지원**: Android, iOS, 임베디드 Linux, 마이크로컨트롤러
- **양자화 내장**: PTQ, QAT 지원
- **하드웨어 가속**: GPU, NPU, DSP 활용

**TFLite 변환 코드:**

```
import tensorflow as tf

# TensorFlow 모델을 TFLite로 변환
converter = tf.lite.TFLiteConverter.from_saved_model("saved_model")
converter.optimizations = [tf.lite.Optimize.DEFAULT]  # 양자화
converter.target_spec.supported_ops = [
    tf.lite.OpsSet.TFLITE_BUILTINS,
    tf.lite.OpsSet.SELECT_TF_OPS
]

tflite_model = converter.convert()

# TFLite 모델 저장
with open("model.tflite", "wb") as f:
    f.write(tflite_model)
```

**YOLO11 + TFLite 배포 예시:**

```
from ultralytics import YOLO

# YOLO11 모델 로드 및 TFLite 내보내기
model = YOLO("yolo11n.pt")
model.export(format="tflite", int8=True)  # INT8 양자화
```

### 4-4. Apple Core ML

**[Core ML](https://developer.apple.com/documentation/coreml)**은 Apple 기기에서 **온디바이스 AI**를 실행하기 위한 프레임워크입니다.

**Core ML 주요 특징:**

- **Apple Silicon 최적화**: CPU, GPU, Neural Engine 자동 활용
- **coremltools**: PyTorch, TensorFlow → Core ML 변환
- **WWDC 2024 업데이트**:
- **MLTensor**: 유연한 텐서 구성
- **스테이트풀 모델**: KV 캐시로 LLM 추론 효율화
- **다중 함수 모델**: LoRA 어댑터 효율적 관리

**Core ML 변환 코드:**

```
import coremltools as ct

# PyTorch 모델을 Core ML로 변환
mlmodel = ct.convert(
    pytorch_model,
    inputs=[ct.TensorType(shape=(1, 3, 224, 224))]
)

# Core ML 모델 저장
mlmodel.save("model.mlpackage")
```

**Core ML 활용 사례:**

- **Vision Pro**: 손 제스처 인식
- **iPhone**: 인물 사진 모드
- **Apple Watch**: 심전도 분석
- **Siri**: 자연어 이해

### 4-5. Qualcomm AI Hub

**[Qualcomm AI Hub](https://aihub.qualcomm.com/)**는 Snapdragon 플랫폼을 위한 **온디바이스 AI 최적화 플랫폼**입니다.

**Qualcomm AI Hub 특징:**

- **100+ 사전 최적화 모델**: 바로 사용 가능
- **BYOM (Bring Your Own Model)**: 자체 모델 최적화
- **5분 내 검증**: 클라우드 호스팅 기기에서 테스트
- **다양한 프레임워크 지원**: PyTorch, TensorFlow, ONNX

**지원 런타임:**

- Qualcomm AI Engine Direct
- TensorFlow Lite
- ONNX Runtime

## 5. 엣지 AI 실전 배포

### 5-1. 엣지 AI 시장 현황

**한국 엣지 AI 시장:**

- **2024년**: 3억 1,490만 달러 (약 4,400억 원)
- **2030년**: 13억 5,000만 달러 (약 1조 8,900억 원)
- **연평균 성장률**: **27.7%**

**엣지 AI 활용 분야:**

- 제조업: 생산라인 품질 검사, 결함 탐지
- 의료: 웨어러블 건강 모니터링
- 스마트 홈: 음성 명령, 보안 시스템
- 소매업: 고객 행동 분석
- 자율주행: 실시간 장애물 감지

### 5-2. 엣지 AI 배포 워크플로우

**실제 개발 워크플로우:**

```
1. 모델 학습 (클라우드/서버)
   - PyTorch로 이미지 분류 모델 학습

2. 모델 변환
   - ONNX 형식으로 변환

3. 최적화 및 양자화
   - TensorFlow Lite로 최적화
   - INT8/INT4 양자화 적용

4. 패키징
   - Docker 컨테이너에 런타임 + 모델 패키징

5. 배포
   - 엣지 디바이스에 컨테이너 배포
   - OTA(Over-the-Air) 업데이트 설정
```

### 5-3. 실전 배포 체크리스트

**하드웨어 선택:**

- **스마트폰**: Qualcomm Snapdragon (Hexagon NPU), Apple A/M 시리즈 (Neural Engine)
- **엣지 서버**: NVIDIA Jetson, Intel NCS, Google Coral TPU
- **마이크로컨트롤러**: ESP32, Arduino (TinyML)

**소프트웨어 스택:**

| 레이어 | 옵션 |
| --- | --- |
| 프레임워크 | TFLite, ONNX Runtime, Core ML |
| 최적화 | 양자화, 프루닝, 지식 증류 |
| 컨테이너 | Docker, Kubernetes Edge |
| 배포 | Edge Impulse, AWS IoT Greengrass |
| 모니터링 | MLflow, Weights & Biases |

### 5-4. 실전 사례 연구

**사례 1: 스마트 팩토리 품질 검사**

- **문제**: 생산라인에서 실시간 결함 탐지 필요
- **솔루션**: YOLO11 + TFLite + NVIDIA Jetson
- **결과**: 95%+ 정확도, 30ms 이내 추론

**사례 2: 의료 웨어러블**

- **문제**: 실시간 심전도 분석
- **솔루션**: 경량 CNN + Core ML + Apple Watch
- **결과**: 오프라인 동작, 배터리 수명 유지

**사례 3: 스마트 홈 음성 인식**

- **문제**: 프라이버시 보호하며 음성 명령 인식
- **솔루션**: Whisper 경량 버전 + Qualcomm AI Hub
- **결과**: 클라우드 전송 없이 로컬 처리

## 6. FAQ: 자주 묻는 질문

### Q1. SLM이 LLM을 완전히 대체할 수 있나요?

**A. 특정 태스크에서는 가능하지만, 완전한 대체는 어렵습니다.**

```
SLM이 LLM을 대체 가능한 경우:
✅ 요약, 분류, 번역 등 특화 태스크
✅ 도메인 특화 챗봇 (고객 서비스, FAQ)
✅ 실시간 응답이 필요한 앱
✅ 프라이버시가 중요한 환경

LLM이 필요한 경우:
❌ 복잡한 다단계 추론
❌ 광범위한 일반 지식 질문
❌ 창의적 장문 콘텐츠 생성
❌ 최신 정보가 필요한 태스크
```

### Q2. 양자화하면 정확도가 많이 떨어지나요?

**A. 적절한 양자화는 1-5% 정확도 손실만 발생합니다.**

```
양자화 수준별 정확도 손실:
FP32 → FP16: 거의 없음 (0-0.5%)
FP32 → INT8: 미미 (1-2%)
FP32 → INT4: 소폭 (2-5%)
FP32 → INT2: 상당함 (5-10%+)

팁: QAT(양자화 인식 학습)를 사용하면 손실 최소화 가능
```

### Q3. 어떤 온디바이스 프레임워크를 선택해야 하나요?

**A. 타겟 플랫폼에 따라 선택하세요.**

| 타겟 플랫폼 | 추천 프레임워크 |
| --- | --- |
| Android | TFLite, ONNX Runtime, Qualcomm AI Hub |
| iOS | Core ML, TFLite |
| Windows | ONNX Runtime, OpenVINO |
| 임베디드 | TFLite Micro, Edge Impulse |
| 크로스 플랫폼 | ONNX Runtime |

### Q4. SLM을 파인튜닝할 수 있나요?

**A. 네, LoRA/QLoRA로 효율적으로 파인튜닝 가능합니다.**

```
# LoRA 파인튜닝 예시 (PEFT 라이브러리)
from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,                    # LoRA 랭크
    lora_alpha=32,           # 스케일링 파라미터
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05
)

model = get_peft_model(base_model, lora_config)
# 전체 파라미터의 1% 미만만 학습
```

## 핵심 정리: SLM과 온디바이스 AI의 미래

**📱 SLM(Small Language Model)**

- 1B~10B 파라미터의 경량 AI 모델
- LLM 대비 5-10배 저렴, 동급 성능
- 온디바이스 실행으로 프라이버시 보호

**🏆 주요 SLM 모델**

- Microsoft Phi-3/4: GPT-3.5급 성능, 3.8B-14B
- Google Gemma 2: 2B로 GPT-3.5 능가
- Meta Llama 3.2: 1B/3B, 양자화로 56% 경량화

**🔧 모델 압축 기술**

- 양자화: FP32→INT4로 87.5% 메모리 절감
- 프루닝: 최대 90% 파라미터 제거
- 지식 증류: 큰 모델 지식을 작은 모델에 전달

**⚙️ 온디바이스 프레임워크**

- ONNX: 프레임워크 간 호환성
- TFLite: 모바일/임베디드 최적화
- Core ML: Apple Silicon 최적화
- Qualcomm AI Hub: Snapdragon NPU 최적화

**🚀 엣지 AI 시장**

- 2030년 13.5억 달러 (연평균 27.7% 성장)
- 제조, 의료, 스마트홈, 자율주행 확산

**🔮 미래 전망**

- SLM + LLM 하이브리드 아키텍처
- 온디바이스 파인튜닝 확대
- AI PC/AI 스마트폰 대중화

## 외부 참고 자료

더 깊이 알고 싶다면:

- [Microsoft Phi-3 기술 보고서](https://arxiv.org/abs/2404.14219)
- [Google Gemma 2 공식 페이지](https://ai.google.dev/gemma)
- [Meta Llama 3.2 발표](https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/)
- [TensorFlow Lite 공식 문서](https://ai.google.dev/edge/litert?hl=ko)
- [ONNX Runtime](https://onnxruntime.ai/)
- [Apple Core ML](https://developer.apple.com/documentation/coreml)
- [Qualcomm AI Hub](https://aihub.qualcomm.com/)

## 최종 결론

**“작은 것이 아름답다. 그리고 빠르다.”**

SLM과 온디바이스 AI는 **AI의 민주화**를 이끌고 있습니다. 더 이상 수억 원의 GPU 클러스터나 비싼 API 호출 비용 없이도, **스마트폰 하나로 GPT급 AI를 실행**할 수 있는 시대가 왔습니다.

Microsoft Phi-3가 3.8B 파라미터로 GPT-3.5를 따라잡고, Google Gemma 2가 2B로 모든 GPT-3.5 모델을 능가하는 것은 **“크기만이 전부가 아니다”**는 것을 증명합니다. 양자화, 프루닝, 지식 증류 같은 모델 압축 기술과 TFLite, Core ML 같은 온디바이스 프레임워크가 이 혁명을 가능하게 합니다.

2030년까지 연평균 27.7% 성장이 예상되는 엣지 AI 시장에서, SLM과 온디바이스 AI는 **제조, 의료, 스마트홈, 자율주행** 등 모든 산업을 변화시킬 것입니다. 이제 AI는 클라우드에서 내려와 **우리 손안의 기기**에서 실행됩니다.

**Do You Know?에서 AI 기술의 최전선을 함께 탐험하세요!** 🚀

## 같이보기

- 
- [sLLM 완벽 가이드: 작은 고추가 맵다! 온디바이스 AI의 미래를 열다](https://doyouknow.kr/sllm-guide-small-language-model-on-device-ai/)
- [역설의 칩들: 왜 똑같이 AI를 돌리는데 어떤 건 배우지 못하고 추론만 하는가?](https://doyouknow.kr/why-ai-chips-cannot-learn-inference-only-paradox/)
- [AI 하드웨어 전쟁 완전 해부: GPU vs TPU vs NPU – 엔비디아 독주 시대의 종말?](https://doyouknow.kr/nvidia-gpu-google-tpu-npu-ai-hardware-war-b200-trillium-trainium/)
- [ChatGPT 10배 활용법 – Prompt Engineering 완벽 마스터 가이드](https://doyouknow.kr/prompt-engineering-chatgpt-cot-few-shot-tot-guide/)
- [GPT vs Claude vs Gemini – 생성형 AI 완전 해부: Transformer부터 멀티모달까지](https://doyouknow.kr/gpt-claude-gemini-transformer-rlhf-diffusion-multimodal-comparison/)
- [‘AI가 작가에게 2조 원을 낸다고?’ 앤트로픽이 쏘아 올린 저작권 전쟁의 반전 (클로드 4의 비밀)](https://doyouknow.kr/anthropic-copyright-settlement-15billion-claude4-2025/)
- [AI가 차별하는 충격적 이유 – 데이터 편향과 공정성의 모든 것](https://doyouknow.kr/ai-bias-fairness-ethics-aif360-fairlearn-eu-ai-act/)
- [추천 시스템 – AI가 당신의 취향을 아는 방법](https://doyouknow.kr/recommendation-system-collaborative-filtering-netflix-youtube/)

### 이 글 공유하기:

- [Facebook으로 공유하기 (새 창에서 열림)Facebook](https://doyouknow.kr/slm-small-language-model-ondevice-ai-guide/?share=facebook)
- [X에 공유 (새 창에서 열림)X](https://doyouknow.kr/slm-small-language-model-ondevice-ai-guide/?share=x)
-

### 이것이 좋아요:

좋아하기로드 중...

### *관련*

### 관련된 글:

1. [sLLM 완벽 가이드: 작은 고추가 맵다! 온디바이스 AI의 미래를 열다](https://doyouknow.kr/sllm-guide-small-language-model-on-device-ai/)
2. [LLM 양자화 & 경량화 완벽 가이드: 70B 모델을 4GB로 압축하는 마법! GPTQ, AWQ, GGUF 총정리](https://doyouknow.kr/llm-quantization-gptq-awq-gguf-pruning-distillation-guide/)
3. [sLLM와 LLM의 차이점: 제작 방법, 대표 모델, 성능·속도와 현장 활용](https://doyouknow.kr/llm-vs-sllm-complete-guide/)
4. [AI 하드웨어 전쟁 완전 해부: GPU vs TPU vs NPU – 엔비디아 독주 시대의 종말?](https://doyouknow.kr/nvidia-gpu-google-tpu-npu-ai-hardware-war-b200-trillium-trainium/)

## One Comment

1. 핑백: [[AI 101] Transformer - AI 혁명의 시작 - Do You Know?](https://doyouknow.kr/transformer-attention-mechanism-bert-gpt-chatgpt/)

### 댓글 남기기[응답 취소](/slm-small-language-model-ondevice-ai-guide/?t=1785822301#respond)