LLM에서 왜 할루시네이션이 발생하는가?

개요

Q. LLM에서는 왜 할루시네이션이 발생하는가?

A. 학습데이터의 품질, 알고리즘 설계의 한계, 과적합(Overfitting) 등의 여러 요인으로 인해 발생합니다.

 

내용

할루시네이션(Hallucination)은 AI 분야에서는 인공지능 모델이 사실과 다른 정보를 생성하거나, 존재하지 않는 내용을 마치 사실처럼 그럴듯하게 만들어내는 현상을 뜻합니다. 챗봇이 실제로 존재하지 않는 사건이나 인물을 언급하거나, 이미지 생성 모델이 왜곡된 결과물을 만들어내는 경우가 할루시네이션의 사례입니다.

 

LLM(대규모 언어 모델)에서 할루시네이션은 AI 모델이 학습한 데이터의 품질 문제, 알고리즘 설계의 한계, 과적합(Overfitting), 그리고 문맥 이해 부족 등 여러 요인에서 발생합니다. 따라서 생성형 AI를 사용할 때는 결과물이 사실인지 검증하는 과정이 필요합니다.

 

할루시네이션이 발생하는 주요 이유는 다음과 같습니다.

• 학습데이터 품질: 데이터가 편향되거나 부족한 경우 잘못된 정보를 생성할 가능성이 높음
• 모델 작동 방식: LLM은 확률 기반으로 다음 단어를 예측하는데, 이 과정에서 사실이 아닌 그럴듯한 문장을 생성할 수 있음
• 과적합 및 일반화: 학습데이터에 지나치게 맞춰진 경우 또는 학습데이터 외 신규 도메인을 처리할 경우 잘못 출력 가능
• 전이 학습 한계: 전이 학습을 통해 신규 도메인 지식을 학습할 경우, 기존 도메인과 신규 도메인 간 불일치 발생 가능
• 모델 구조 설계: 아키텍처 설계 결함으로 잘못된 출력이 발생할 수 있음
• 기타 요인: 적대적 공격 또는 제한된 도메인 지식 등으로 할루시네이션 발생 가능

할루시네이션을 예방하기 위한 가장 좋은 방법은 발생하기 전 이를 차단하는 것입니다.

• 고품질 학습데이터: 편향을 최소화하기 위해 다양하고 균형 잡힌 고품질 데이터로 학습함
• 제공 목적 정의: 사용 목적을 정의하여 LLM의 책임과 한계를 확립함
• 데이터 템플릿: 사전 정의된 형식을 제공하여 LLM이 정의된 아웃풋을 생성하도록 함
• 응답 제한: 일관성과 정확성 개선을 위해 확률적 임곗값을 사용하여 AI 모델의 경계를 정의함
• 지속적 테스트 및 개선: 지속적으로 모델 평가 및 테스트, 재학습을 수행함