---
title: "AI 환각(Hallucination) 완벽 분석: 왜 AI는 자신있게 거짓말을 하는가? 원인, 탐지, 해결법까지!"
id: "460"
type: "post"
slug: "ai-hallucination-causes-detection-solutions-rag-grounding"
published_at: "2025-11-30T06:42:39+00:00"
modified_at: "2026-07-19T10:46:26+00:00"
url: "https://doyouknow.kr/ai-hallucination-causes-detection-solutions-rag-grounding/"
markdown_url: "https://doyouknow.kr/ai-hallucination-causes-detection-solutions-rag-grounding.md"
excerpt: "AI는 모르면 모른다고 말하지 않는다! AI 환각(Hallucination) 완벽 분석: 다음 단어 예측 학습의 한계, 사실 오류/출처 날조/코드 환각 유형, ChainPoll/UQLM 탐지 기술, RAG/Grounding/RLHF/자기검증 해결법, OpenAI 연구(환각은 구조적 문제, 평가 방식 개선 필요)까지!"
taxonomy_category:
  - "AI"
  - "컴플라이언스"
taxonomy_post_tag:
  - "AI"
  - "AI 거짓말"
  - "AI 신뢰성"
  - "AI 오류"
  - "AI 환각"
  - "ChainPoll"
  - "ChatGPT 환각"
  - "Grounding"
  - "Hallucination"
  - "LLM 환각"
  - "OpenAI"
  - "RAG"
  - "RLHF"
  - "TruthfulQA"
  - "자기 검증"
  - "할루시네이션"
  - "환각 탐지"
  - "환각 해결"
---

## 핵심 요약

**“AI는 모르면 ‘모른다’고 말하지 않는다. 대신 자신있게 지어낸다.”**

ChatGPT에게 “아담 칼라이의 생일은?”이라고 물으면, AI는 “모르겠습니다”라고 하지 않고 **“10월 15일입니다”**라고 자신있게 답합니다. 문제는 이 날짜가 **완전히 틀렸다**는 것입니다. 이것이 바로 **AI 환각(Hallucination)**입니다.

**핵심 통찰:**

- **AI 환각이란**: 모델이 사실과 다른 정보를 자신있게, 유창하게 생성하는 현상
- **근본 원인**: 다음 단어 예측 학습, 옳고 그름 판단 능력 부재, “찍으면 점수 받는” 평가 시스템
- **환각 유형**: 사실 오류, 출처 날조, 논리 오류, 코드 환각
- **탐지 방법**: ChainPoll, UQLM, NLI 기반 자동 검증
- **해결 방법**: RAG(검색 증강 생성), Grounding, RLHF, 자기 검증, “모르겠다” 학습
- **OpenAI 연구**: 환각은 구조적 문제이며, 평가 방식 개선이 핵심

## 📍 목차

1. AI 환각이란 무엇인가?
2. 왜 AI는 환각을 일으키는가? – 근본 원인 분석
3. AI 환각의 유형과 실제 사례
4. AI 환각 탐지 방법
5. AI 환각 해결 방법: RAG, Grounding, RLHF
6. OpenAI 연구: 환각은 피할 수 없는가?
7. FAQ: 자주 묻는 질문

## 1. AI 환각이란 무엇인가?

### 1-1. 정의: 자신있게 거짓말하는 AI

**AI 환각(Hallucination)**은 대규모 언어 모델(LLM)이 **사실과 다른 정보를 유창하고 자신있게 생성**하는 현상입니다.

[위키백과](https://ko.wikipedia.org/wiki/%ED%99%98%EA%B0%81_(%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5))
에 따르면, AI 환각은 “트레이닝 데이터를 통해 판단하지 않는 것처럼 보이는 AI에 의한 **확신적 답변**“입니다.

쉽게 비유하자면:

> AI 환각은 **시험 중 모르는 문제에 자신있게 찍는 학생**과 같습니다. 빈칸으로 두면 0점이지만, 뭔가 적으면 부분 점수라도 받을 수 있으니까요. AI도 마찬가지로 “모르겠다”보다 **“그럴듯하게 지어내는 것”**이 더 좋은 점수를 받습니다.

### 1-2. 환각의 핵심 특성

| 특성 | 설명 |
| --- | --- |
| 유창함 | 문법적으로 완벽하고 자연스러운 문장 |
| 자신감 | 확신에 찬 어조로 답변 |
| 그럴듯함 | 언뜻 보면 맞는 것 같은 내용 |
| 사실 오류 | 실제로는 틀린 정보 |

### 1-3. 환각 ≠ 단순 오류

**핵심 차이점**: 일반적인 오류는 AI가 “잘 모르겠습니다”라며 불확실성을 표현하지만, 환각은 **틀린 답을 확신에 차서 말합니다**.

> **일반 오류**: “이 질문에 대한 정확한 답을 찾기 어렵습니다.”
> **환각**: “아담 칼라이의 생일은 10월 15일입니다.” (완전히 틀림)

## 2. 왜 AI는 환각을 일으키는가? – 근본 원인 분석

### 2-1. 다음 단어 예측 학습의 한계

[OpenAI의 최신 연구](https://openai.com)
에 따르면, 환각의 근본 원인은 **학습 방식 자체**에 있습니다.

**LLM의 학습 방식:**

> “오늘 날씨는 매우 **_**.”

AI는 이 빈칸에 **가장 자연스러운 단어**를 예측합니다. “좋습니다”, “덥습니다”, “춥습니다” 등. 하지만 이 과정에서 AI는 **“진짜인지 거짓인지”를 판단하지 않습니다**. 오직 **“문맥상 자연스러운지”**만 봅니다.

**문제점**: 거짓 정보도 문법적으로 자연스러우면 학습됩니다.

### 2-2. “모르겠다”에 페널티를 주는 평가 시스템

OpenAI 연구진은 **현행 평가 시스템이 환각을 부추긴다**고 지적했습니다.

| 시나리오 | 점수 |
| --- | --- |
| 정답 제출 | 100점 |
| 오답 제출 | 0점 (하지만 부분 점수 가능) |
| “모르겠다” 제출 | 0점 (확정) |

AI 입장에서는 **“모르겠다”보다 “찍는 것”**이 합리적입니다. 찍으면 맞을 확률이 있지만, “모르겠다”는 무조건 0점이니까요.

### 2-3. 훈련 데이터의 오류

AI는 인터넷에서 수집한 **방대한 텍스트 데이터**로 학습합니다. 하지만 이 데이터에는:

| 문제 | 설명 |
| --- | --- |
| 오래된 정보 | 과거에는 맞았지만 현재는 틀린 정보 |
| 잘못된 정보 | 애초에 틀린 정보 |
| 편향된 정보 | 특정 관점만 반영된 정보 |
| 모순된 정보 | 서로 충돌하는 정보 |

AI는 이 모든 것을 **구분 없이 학습**합니다.

### 2-4. 사실 검증 기능의 부재

LLM은 **“진짜인지 거짓인지”를 판단하는 내장 기능이 없습니다**.

> 비유: AI는 **외국어를 유창하게 말하는 앵무새**와 같습니다. 문법은 완벽하지만, 자신이 무슨 말을 하는지 **“이해”하지 않습니다**.

## 3. AI 환각의 유형과 실제 사례

### 3-1. 환각의 유형

| 유형 | 설명 | 예시 |
| --- | --- | --- |
| 사실 오류 (Factual Error) | 틀린 정보를 사실처럼 제시 | “에펠탑은 1789년에 건설되었다” (실제: 1889년) |
| 출처 날조 (Fabricated Sources) | 존재하지 않는 논문/책 인용 | “Smith et al. (2022)에 따르면…” (논문 없음) |
| 논리 오류 (Logical Fallacy) | 그럴듯하지만 논리적으로 틀림 | “고양이는 번식하지 않으므로 멸종 위기다” |
| 코드 환각 (Code Hallucination) | 존재하지 않는 API/함수 제공 | “from ai_helper import ask_gpt()” (없는 라이브러리) |
| 수치 환각 | 틀린 숫자/통계 제시 | “한국 인구는 1억 2천만 명이다” |

### 3-2. 실제 환각 사례

**사례 1: 구글 바드의 제임스 웹 망원경 오류**

구글 바드가 제임스 웹 망원경에 대해 답변하면서 **“최초로 태양계 외 행성 사진을 찍었다”**고 주장했습니다. 하지만 이는 사실이 아니었고, 이 오류로 인해 구글 주가가 **하루 만에 1,000억 달러** 하락했습니다.

**사례 2: 변호사의 ChatGPT 인용 사건**

뉴욕의 한 변호사가 ChatGPT를 사용해 법정 문서를 작성했는데, ChatGPT가 **존재하지 않는 판례 6건**을 날조했습니다. 변호사는 징계를 받았습니다.

**사례 3: 의료 환각**

ChatGPT에게 약물 상호작용을 물었을 때, **존재하지 않는 부작용**을 자신있게 경고한 사례가 보고되었습니다.

## 4. AI 환각 탐지 방법

### 4-1. 자동 탐지 기술

**ChainPoll (체인폴)**

[ChainPoll](https://arxiv.org/abs/2310.18344)
은 **LLM 자체를 활용**하여 환각을 탐지하는 방법입니다.

**작동 원리:**

1. LLM에게 생성된 텍스트가 환각인지 판단하도록 요청
2. **Chain-of-Thought(CoT)** 프롬프트로 상세한 추론 유도
3. 여러 번 반복하여 **일관성 검증**
4. 결과 집계로 최종 환각 여부 판정

**UQLM (불확실성 정량화)**

UQLM은 **불확실성 정량화(Uncertainty Quantification)** 기술을 활용합니다.

| 접근법 | 설명 |
| --- | --- |
| 블랙박스 | 모델 내부 접근 없이 출력만으로 판단 |
| 화이트박스 | 모델의 확률 분포 분석 |
| LLM-as-a-Judge | 다른 LLM이 평가자 역할 |
| 앙상블 | 여러 방법 결합으로 정확도 향상 |

**NLI (자연어 추론) 기반**

| 방법 | 설명 |
| --- | --- |
| 근거 문서 비교 | 답변과 출처 문서의 일치 여부 자동 판별 |
| Fact-checking 파이프라인 | 외부 지식 베이스와 대조 검증 |

### 4-2. 인간 평가

| 방법 | 설명 |
| --- | --- |
| 전문가 검토 | 도메인 전문가가 내용 검증 |
| Crowd-sourcing | 다수 평가자의 합의 |
| A/B 테스트 | 환각 유무에 따른 사용자 반응 비교 |

### 4-3. 환각 탐지 벤치마크

| 벤치마크 | 설명 |
| --- | --- |
| HaluEval | 환각 평가 전용 데이터셋 |
| FEVER | 사실 검증 데이터셋 |
| TruthfulQA | 진실성 평가 데이터셋 |
| RealHall | 최신 LLM 환각 탐지 벤치마크 |

## 5. AI 환각 해결 방법: RAG, Grounding, RLHF

### 5-1. RAG (검색 증강 생성)

[RAG(Retrieval-Augmented Generation)](https://arxiv.org/abs/2005.11401)
는 **외부 지식을 검색하여 답변에 반영**하는 기술입니다.

**작동 원리:**

1. 사용자 질문 수신
2. 벡터 DB에서 **관련 문서 검색**
3. 검색된 문서를 **컨텍스트로 LLM에 제공**
4. LLM이 문서 기반으로 답변 생성

**효과**: 모델이 자신의 기억에만 의존하지 않고, **신뢰할 수 있는 외부 소스**를 참조합니다.

**한계**: RAG를 사용해도 환각이 완전히 사라지지 않습니다. 모델이 검색 결과를 무시하고 자신의 지식을 우선하는 경우가 있습니다.

### 5-2. Grounding (그라운딩)

**Grounding**은 AI의 답변을 **실제 정보에 기반**하게 하는 기술입니다.

**구글 Grounding:**

- 구글 검색 결과를 실시간으로 참조
- 최신 정보를 반영한 답변 생성
- “오늘 달러 환율”처럼 실시간성이 필요한 질문에 효과적

**AWS Nova Web Grounding:**

- 웹 검색을 자동으로 수행하여 최신 정보 통합
- 별도 벡터 DB 구축 없이 RAG 기능 활용

### 5-3. RLHF (인간 피드백 기반 강화 학습)

**RLHF(Reinforcement Learning from Human Feedback)**는 인간 평가자의 피드백으로 모델을 개선합니다.

**작동 원리:**

1. 모델이 답변 생성
2. 인간 평가자가 답변 점수화
3. 부정확한 답변에 **페널티**, 정확한 답변에 **보상**
4. 강화 학습으로 모델 개선

**한계**: 인간 평가 작업에 **비용과 시간**이 많이 소요됩니다.

### 5-4. “모르겠다” 학습 (SUM)

OpenAI 연구진이 제안한 혁신적 방법입니다.

**핵심 아이디어**: 모델에게 **“모르겠다”라고 답해도 된다**고 가르칩니다.

**방법:**

- 훈련 데이터에 “답이 없는 문항” 10% 포함
- 이런 문항에서 “모르겠다”라고 답하면 **보상**
- 모델이 불확실할 때 솔직하게 인정하도록 학습

**효과**: 환각성 답변 감소, 전체 신뢰도 향상

### 5-5. 자기 검증 (Self-Verification)

**Self-Consistency (자기 일관성):**

- 같은 질문에 여러 번 답변 생성
- 가장 일관된 답변 선택

**Self-Verification (자체 검증):**

- 모델이 자신의 답변을 다시 검토
- “이 답변이 맞는지 확인해줘”

**효과**: [한컴테크 연구](https://tech.hancom.com)
에 따르면, CoT + RAG + 자기 일관성 + 자체 검증을 결합하면 환각 발생률이 **획기적으로 감소**합니다.

## 6. OpenAI 연구: 환각은 피할 수 없는가?

### 6-1. 환각은 “구조적 문제”

OpenAI의 최신 연구는 충격적인 결론을 내렸습니다:

> **“환각은 운 나쁜 사소한 오류가 아니라, 예측 가능한 통계적 현상이다.”**

즉, 환각은 **LLM의 구조적 한계**에서 비롯되며, 단순한 버그 수정으로 해결될 문제가 아닙니다.

### 6-2. IIV 이론: 환각의 수학적 하한

연구진은 **IIV(Implicit Invalidity Value)** 이론을 제시했습니다.

**핵심 발견:**

> 생성 오류율은 이진 분류 오분류율의 **최소 두 배**입니다.

즉, 아무리 좋은 모델이라도 **일정 수준의 환각은 피할 수 없다**는 수학적 하한이 존재합니다.

### 6-3. 평가 방식 개선이 핵심

연구진은 **평가 시스템 개선**이 환각 감소의 핵심이라고 주장했습니다.

| 현행 평가 | 개선된 평가 |
| --- | --- |
| “모르겠다” = 0점 | “모르겠다” = 부분 점수 |
| 찍으면 맞을 수 있음 | 찍으면 페널티 |
| 환각을 부추김 | 솔직함을 장려 |

### 6-4. 현실적 접근법

OpenAI가 제안하는 현실적 접근법:

| 전략 | 설명 |
| --- | --- |
| 불확실성 표현 | 모델이 확신 수준을 함께 제공 |
| 출처 명시 | 답변의 근거 출처 표시 |
| 인간 검증 | 중요한 결정에는 인간 확인 필수 |
| 벤치마크 개선 | “모르겠다” 허용하는 평가 도입 |

## 7. FAQ: 자주 묻는 질문

### Q1. 환각이 가장 위험한 분야는?

**A. 의료, 법률, 금융 등 고위험 분야입니다.**

| 분야 | 환각 위험 |
| --- | --- |
| 의료 | 잘못된 진단/처방으로 환자 위험 |
| 법률 | 존재하지 않는 판례 인용으로 소송 패배 |
| 금융 | 틀린 수치로 잘못된 투자 결정 |
| 교육 | 잘못된 정보로 학습 방해 |

### Q2. RAG를 쓰면 환각이 완전히 사라지나요?

**A. 아니요, RAG도 환각을 완전히 막지 못합니다.**

[구글 연구](https://www.google.com)
에 따르면, RAG를 사용할 때 **역설적으로 환각이 증가**하는 경우도 있습니다. 모델이 “모르겠다”고 삼가는 대신, 검색 결과를 잘못 해석하여 환각을 일으킬 수 있습니다.

**해결책**: “충분한 맥락” 신호와 자체 신뢰도를 결합하여 답변 여부 결정

### Q3. 환각을 완전히 없앨 수 있나요?

**A. 현재 기술로는 불가능합니다.**

OpenAI 연구에 따르면, 환각은 **LLM의 구조적 한계**에서 비롯됩니다. 완전히 없애기보다 **최소화하고 탐지**하는 것이 현실적 목표입니다.

### Q4. 어떤 LLM이 환각이 가장 적나요?

**A. GPT-4, Claude 3, Gemini Ultra 등 최신 모델이 상대적으로 적습니다.**

| 모델 | 환각 수준 |
| --- | --- |
| GPT-4 | 낮음 |
| Claude 3 | 낮음 |
| Gemini Ultra | 낮음 |
| GPT-3.5 | 중간 |
| 오픈소스 소형 모델 | 높음 |

단, 모든 모델에서 환각은 발생합니다.

### Q5. 사용자로서 환각을 피하려면?

**A. 다음 습관을 권장합니다.**

| 방법 | 설명 |
| --- | --- |
| 교차 검증 | AI 답변을 다른 출처로 확인 |
| 출처 요청 | “출처를 알려줘”라고 요청 |
| 구체적 질문 | 모호한 질문 대신 구체적으로 |
| 최신 정보 주의 | AI의 지식 컷오프 날짜 확인 |
| 중요 결정 회피 | 생명/재산 관련 결정은 AI만 믿지 않기 |

## 핵심 정리: AI 환각의 세계

| 개념 | 핵심 내용 |
| --- | --- |
| AI 환각 | 사실과 다른 정보를 자신있게 생성하는 현상 |
| 근본 원인 | 다음 단어 예측 학습, 사실 검증 기능 부재, “찍으면 점수” 평가 |
| 환각 유형 | 사실 오류, 출처 날조, 논리 오류, 코드 환각, 수치 환각 |
| 탐지 방법 | ChainPoll, UQLM, NLI 기반, 인간 평가 |
| 해결 방법 | RAG, Grounding, RLHF, “모르겠다” 학습, 자기 검증 |
| OpenAI 결론 | 환각은 구조적 문제, 평가 방식 개선이 핵심 |

## 외부 참고 자료

더 깊이 알고 싶다면:

- [OpenAI 연구](https://openai.com)
- [위키백과: AI 환각](https://ko.wikipedia.org/wiki/%ED%99%98%EA%B0%81_(%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5))
- [한컴테크: LLM 환각 완화 전략](https://tech.hancom.com/llm-hallucination-reduction-research/)
- [IBM: 모델 붕괴](https://www.ibm.com/kr-ko/think/topics/model-collapse)
- [TruthfulQA 벤치마크](https://github.com/sylinrl/TruthfulQA)

## 최종 결론

**“AI는 거짓말쟁이가 아니다. 다만 진실과 거짓을 구분하지 못할 뿐이다.”**

AI 환각은 **LLM의 구조적 한계**에서 비롯됩니다. “다음 단어 예측”으로 학습한 AI는 **“자연스러운 문장”**을 만들 뿐, **“진실인 문장”**을 만드는 것이 아닙니다. 게다가 현재의 평가 시스템은 “모르겠다”에 페널티를 주어, AI가 **찍는 것을 장려**합니다.

하지만 희망이 없는 것은 아닙니다. **RAG, Grounding, RLHF, 자기 검증, “모르겠다” 학습**… 다양한 기술이 환각을 줄이고 있습니다. OpenAI 연구진이 제안한 **평가 방식 개선**은 환각 문제 해결의 핵심 열쇠입니다.

AI를 사용할 때는 **“AI도 틀릴 수 있다”**는 사실을 항상 기억하세요. 중요한 결정에는 **교차 검증**을, 생명과 재산에 관한 문제에는 **전문가 확인**을 거쳐야 합니다.

**AI가 “모르겠다”고 솔직히 말할 수 있는 날이 오길 기대합니다.** 🤥➡️😇

**Do You Know?에서 AI 환각과 신뢰성의 모든 것을 계속 탐험하세요!** 🤖🔍

## 같이보기

- [ChatGPT 10배 활용법 – Prompt Engineering 완벽 마스터 가이드](https://doyouknow.kr/prompt-engineering-chatgpt-cot-few-shot-tot-guide/)
- [AI가 차별하는 충격적 이유 – 데이터 편향과 공정성의 모든 것](https://doyouknow.kr/ai-bias-fairness-ethics-aif360-fairlearn-eu-ai-act/)
- [EU AI Act 완벽 해부: 세계 최초 AI 규제법의 모든 것 – 위반 시 매출 7% 벌금, 당신의 AI는 안전한가?](https://doyouknow.kr/eu-ai-act-complete-guide-risk-levels-compliance/)
- [GPT vs Claude vs Gemini – 생성형 AI 완전 해부: Transformer부터 멀티모달까지](https://doyouknow.kr/gpt-claude-gemini-transformer-rlhf-diffusion-multimodal-comparison/)
- [AI 블랙박스 99% 못 믿는 이유 – 설명가능한 AI(XAI) 완벽 가이드](https://doyouknow.kr/explainable-ai-xai-shap-lime-gradcam-blackbox-solution/)
- [합성 데이터(Synthetic Data) 완벽 가이드: AI가 AI를 위해 데이터를 만든다! 실제 데이터 부족을 해결하는 마법](https://doyouknow.kr/synthetic-data-guide-gan-vae-diffusion-ai-training/)
- [역설의 칩들: 왜 똑같이 AI를 돌리는데 어떤 건 배우지 못하고 추론만 하는가?](https://doyouknow.kr/why-ai-chips-cannot-learn-inference-only-paradox/)
- [AI 보안 완벽 가이드: 당신의 AI를 해킹하는 6가지 방법과 막는 법 – 공격과 방어의 모든 것!](https://doyouknow.kr/ai-security-guide-adversarial-attack-defense/)
- [생성형 AI 윤리 & 저작권 완벽 가이드: ChatGPT가 당신의 창작물로 학습했다면?](https://doyouknow.kr/generative-ai-ethics-copyright-eu-ai-act-deepfake-hallucination-guide/)
- [Constitutional AI & RLHF 심화 완벽 가이드: Claude의 “헌법”이 GPT의 “피드백”을 이기는 이유! 안전한 AI의 미래](https://doyouknow.kr/constitutional-ai-rlhf-alignment-claude-anthropic-guide/)

### 이 글 공유하기:

- [Facebook으로 공유하기 (새 창에서 열림)Facebook](https://doyouknow.kr/ai-hallucination-causes-detection-solutions-rag-grounding/?share=facebook)
- [X에 공유 (새 창에서 열림)X](https://doyouknow.kr/ai-hallucination-causes-detection-solutions-rag-grounding/?share=x)
-

### 이것이 좋아요:

좋아하기로드 중...

### *관련*

### 관련된 글:

1. [ChatGPT의 한계를 넘다 – RAG 완벽 가이드: 사내 문서 챗봇부터 프로덕션까지](https://doyouknow.kr/rag-retrieval-augmented-generation-langchain-llamaindex-vector-db-chatbot/)
2. [GPT vs Claude vs Gemini – 생성형 AI 완전 해부: Transformer부터 멀티모달까지](https://doyouknow.kr/gpt-claude-gemini-transformer-rlhf-diffusion-multimodal-comparison/)
3. [생성형 AI 윤리 & 저작권 완벽 가이드: ChatGPT가 당신의 창작물로 학습했다면? 2025년 핵심 쟁점 총정리](https://doyouknow.kr/generative-ai-ethics-copyright-eu-ai-act-deepfake-hallucination-guide/)
4. [Constitutional AI & RLHF 심화 완벽 가이드: Claude의 “헌법”이 GPT의 “피드백”을 이기는 이유! 안전한 AI의 미래](https://doyouknow.kr/constitutional-ai-rlhf-alignment-claude-anthropic-guide/)

## 2 Comments

1. 핑백: [강화학습 심화 완벽 가이드: RLHF부터 DPO, GRPO까지! ChatGPT가 말 잘 듣게 된 비밀 - Do You Know?](https://doyouknow.kr/reinforcement-learning-rlhf-dpo-ppo-grpo-deepseek-guide/)
2. 핑백: [RAG 완전 정복: 청킹부터 Agentic RAG까지! 검색 증강 생성 심화 가이드 2025 - Do You Know?](https://doyouknow.kr/rag-advanced-chunking-vector-db-ragas-graphrag-agentic-guide/)

### 댓글 남기기[응답 취소](/ai-hallucination-causes-detection-solutions-rag-grounding/?t=1785822251#respond)
