지원 챗봇은 고객에게 환불에 14일이 걸린다고 알려줍니다. 실제 정책은 7이라고 합니다. 대답은 유창하고 정중하며 틀렸습니다. 이는 AI 환각이며 AI 기능에 신중한 설계와 테스트가 필요한 주요 이유 중 하나입니다.

본 가이드에서는 원인을 알기 쉽게 설명하고 실질적인 예방에 중점을 두고 있습니다. 마지막 부분의 자동 확인은 우리가 직접 작성한 예제 답변에 대해 실행한 작은 Python 스크립트입니다. 실제 AI 모델에 대해 실행되지 않았습니다.

AI 환각이란 무엇입니까?

환각은 생성 AI 시스템이 사실적으로 잘못되었거나, 구성되었거나, 제공된 정보에 의해 뒷받침되지 않는 콘텐츠를 생성하면서 이를 사실인 것처럼 제시하는 경우를 말합니다. 이 용어는 은유입니다. 모델은 사물을 보지 못합니다. 사실에 얽매이지 않고 좋은 답변의 패턴에 맞는 텍스트를 생성하는 것입니다.

위험한 부분은 자신감이다. 환각적인 답변은 일반적으로 동일한 어조, 구조 및 세부 사항을 지닌 올바른 답변과 똑같아 보입니다.

언어 모델이 환각을 느끼는 이유

대규모 언어 모델은 엄청난 양의 훈련 데이터의 패턴을 기반으로 다음 텍스트인 토큰을 예측하도록 훈련됩니다. 그로부터 몇 가지 사항이 이어집니다.

• 그럴듯한 것은 사실과 다릅니다. 모델은 답변이 어떤 경향이 있는지 학습합니다. 사실이 부족하더라도 가장 그럴듯해 보이는 연속이 만들어질 수 있습니다.
• 간격과 컷오프. 훈련 데이터에는 공백이 있고 특정 날짜에 끝납니다. 모델은 모른다고 말하기보다는 누락된 사실을 채울 수도 있습니다.
• 훈련 보상 응답. 모델이 환각을 느끼는 이유에 대한 2025년 OpenAI 논문을 포함한 연구에서는 일반적인 훈련 및 평가 방법이 잘못된 답에 대한 불이익이 없는 객관식 테스트와 마찬가지로 불확실성을 인정하는 것보다 추측을 보상한다고 주장합니다.
• 모호한 프롬프트. 모호한 질문은 모델이 세부 사항을 가정하도록 유도합니다.
• 길거나 지저분한 맥락. 긴 입력에 묻혀 있으면 중요한 사실이 간과될 수 있습니다.

일반적인 유형의 환각

연구자들은 종종 이러한 오류를 현실 세계와 모순되는 사실성 오류와 모델에 제공된 원본 자료와 모순되는 신실성 오류로 나눕니다. 자신의 문서를 기반으로 구축된 비즈니스 앱의 경우 일반적으로 가장 직접적으로 테스트할 수 있는 것이 충실성입니다.

조작된 코드에는 특별한 경고가 필요합니다. 보조자가 존재하지 않는 패키지 설치를 제안하면 공격자는 해당 이름으로 악성 패키지를 게시할 수 있습니다. 제안된 모든 종속성을 설치하기 전에 실제적이고 신뢰할 수 있는지 확인하세요.

가장 중요한 곳

환각에 빠진 영화 사실은 무해합니다. 환각 약물 복용량, 법적 인용, 환불 정책 또는 재무 수치는 그렇지 않습니다. 변호사가 AI 도구로 발명된 사건 인용을 통해 법원 서류를 제출하는 사례가 잘 보고되어 있습니다. 오답으로 인한 비용을 기준으로 사용 사례의 순위를 매기고 해당 비용이 높은 곳에 가장 강력한 제어 기능을 적용하세요.

환각을 줄이는 방법

1. 신뢰할 수 있는 데이터를 바탕으로 답을 찾아보세요. 기억에 의존하기보다는 모델에 관련 사실을 제공하세요.
2. “모름”을 허용합니다. 정보를 사용할 수 없는 경우 모델에 명시적으로 알려주고 이를 좋은 결과로 처리합니다.
3. 구체적으로 설명하세요. 명확하고 좁은 질문은 발명할 여지가 적습니다. 우리의 신속한 엔지니어링 가이드에서 이에 대해 자세히 다루고 있습니다.
4. 제공된 출처에서 인용이나 인용을 요청한 다음 자동으로 확인하세요.
5. 고정 필드가 있는 JSON과 같은 구조화된 출력을 사용하면 답변을 더 쉽게 검증할 수 있습니다.
6. 계산, 날짜, 실시간 데이터 조회 등 모델이 취약한 작업에는 도구를 사용하세요.
7. 사람이 중요한 결정을 내리도록 하세요.

자체 데이터 기반

RAG(Retrieval-Augmented Generation)는 가장 일반적인 접지 패턴입니다. 시스템은 문서에서 질문과 관련된 구절을 검색하고 해당 구절에서만 대답하라는 지침과 함께 이를 프롬프트에 포함시킵니다. 허위 사실을 대폭 줄여주지만 치료법은 아니다. 모델은 여전히 ​​문구를 잘못 읽거나, 문구를 잘못 결합하거나, 자체 지식에 의존할 수 있으며, 검색 단계에서 잘못된 문서를 반환할 수 있습니다. 따라서 접지된 시스템에는 여전히 점검이 필요합니다.

간단한 자동 확인

여기에 우리가 만든 저렴한 가드가 있습니다. 원본 텍스트에 나타나지 않는 답변의 숫자에 플래그를 지정하세요. 조잡하지만 가격, 날짜, 한도와 같은 숫자는 비용이 많이 드는 환각이 나타나는 곳입니다.

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

일반적인 모델 출력을 모방하기 위해 작성된 세 가지 답변을 테스트했습니다.

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

‘환각’ 답변에는 14일 환불과 500루피 이상 무료 배송을 요구했는데, 두 숫자 모두 적발됐다. “일부” 답변에는 정확한 배송 시간이 있었지만 “또는 특급 배송 시 1일”이 추가되었는데, 이는 정책에서 언급되지 않았으며 그 역시 적발되었습니다. 두 번째 검사에서는 인용된 문구가 실제로 소스에 나타나는지 확인합니다.

{'paid within 7 days': True, 'no questions asked': False}

이러한 검사에는 분명한 한계가 있습니다. 숫자가 없으면 잘못된 단어, 단위, 뒷받침되지 않는 주장을 놓치고 올바른 계산을 잘못 표시하게 됩니다. 많은 팀에서는 두 번째 모델이 소스와 비교하여 각 주장을 확인하는 “판사로서의 LLM” 단계를 추가합니다. 더 많은 것을 잡을 수 있지만 잘못될 수도 있으므로 측정하세요.

환각 테스트

환각률을 감정이 아닌 측정하는 품질 지표로 간주하세요. 실용적인 접근 방식:

• 알려진 정답과 소스를 사용하여 실제 질문의 테스트 세트를 구축하세요.
• 답이 데이터에 없기 때문에 시스템이 거부해야 하는 질문을 포함하세요.
• 정확성, 출처에 대한 충실성, 적절한 거부에 대한 답변에 점수를 매기세요.
• 프롬프트, 모델 또는 검색 설정이 변경될 때마다 세트를 실행합니다.
• 인적 검토를 위한 샘플 제작 대화입니다.

회귀 테스트 원칙이 여기에도 적용됩니다. 즉, 고정된 사례 집합이 모든 변경 사항에 대해 실행되고 시간 경과에 따른 결과가 비교됩니다. 시스템 접지 방법을 선택할 때 RAG, 미세 조정 및 신속한 엔지니어링 비교를 통해 장단점을 설명할 수 있습니다.

일반 사용자를 위한 조언

• 원본 출처에서 사실, 수치, 인용문 및 인용을 확인하세요.
• 의료, 법률, 금융 정보에 특히 주의하십시오.
• 원본 텍스트를 붙여넣고 보조자에게 그 텍스트에서만 답변하도록 요청하세요.
• “당신은 얼마나 자신감이 있고, 이것은 무엇에 근거한 것인가요?”라고 질문하세요. 하지만 대답이 틀릴 수도 있다는 점을 기억하세요.

환각을 없앨 수 있나요?

현재 기술로는 그렇지 않습니다. 최신 모델과 더 나은 교육으로 인해 많은 벤치마크에서 환각 비율이 감소했으며 접지가 큰 도움이 되었지만 모든 시스템은 여전히 ​​실수를 범합니다. 현실적인 목표는 시스템 설계, 테스트 및 사용자에게 명확한 신호를 통해 오류를 드물게 만들고 감지하기 쉽게 하며 영향을 최소화하는 것입니다.

AI 코딩 도구의 환각

개발자는 클래스에 존재하지 않는 방법, 오래된 구성 옵션 또는 실제로 다른 원인으로 인해 발생하는 오류에 대한 자신 있는 설명 등 코딩 도우미에서 매일 환각을 경험합니다. 방어는 이미 휴먼 코드에 사용하고 있는 방어입니다. 결과를 컴파일하거나 유형을 확인하고, 테스트를 실행하고, 이전에 사용하지 않은 API에 대한 공식 문서를 읽어보세요. 그럴듯해 보이는 코드가 미묘하게 안전하지 않을 수 있는 인증, 암호화, 입력 유효성 검사 등 보안에 민감한 코드에는 각별히 주의하세요. AI 제안을 빠르지만 신뢰할 수 없는 동료의 초안으로 취급하십시오. 종종 유용하지만 자동으로 수정되지는 않습니다.

마무리

환각은 언어 모델이 작동하는 방식에서 비롯됩니다. 확인된 사실이 아니라 가능성 있는 텍스트를 생성합니다. 끌 수는 없지만 주변에 디자인할 수는 있습니다. 신뢰할 수 있는 데이터에 대한 답을 찾고, 모델이 “모르겠어요”라고 말하게 하고, 중요한 세부 사항에 대한 자동 검사를 추가하고, 결과를 지속적으로 측정합니다.

자주 묻는 질문

계속 학습하세요