인공지능, 특히 생성형 인공지능 모델에서 언급되는 용어로 생성형 인공지능이 존재하지 않는 정보나 사실관계가 확인되지 않은 정보를 마치 진짜인 것처럼 만들어내는 현상을 뜻한다. 사람이 환각을 보듯이 인공지능이 데이터를 바탕으로 만들어 낸 가짜 정보를 진짜라고 믿고 생성한다는 뜻으로 할루시네이션이라고 칭한다. 예를 들면, 챗봇에 질문을 입력했을 때 존재하지 않는 사실을 그럴듯하게 말하거나 질문과 전혀 관련 없는 답변을 하면서 진짜인 것처럼 제시하는 경우다. 번역에 있어서도 원문에 없었던 내용을 추가하거나 문맥에 맞지 않는 번역을 하면서 문장의 구조 등의 측면에서 그럴듯하게 보이게 제시하는 경우도 해당한다. 이미지 생성에서도 존재하지 않는 물체나 왜곡된 장면을 생성하는 경우가 해당한다.

생성형 인공지능에서 할루시네이션이 발생하는 이유에 대해서는 학습 데이터에 특정 정보가 부족하거나 편향되었을 경우가 대표적으로 지적되고 있다. 동시에 과대적합(Overfitting)의 문제도 제기되고 있는데 모델이 너무 복잡해짐에 따라 데이터 속성의 분산이 커짐에 따라 모형이 훈련 데이터에 너무 가깝게 구축되어 데이터의 유의미한 특징뿐 아니라 노이즈(noise)까지 포착하면서 새로운 데이터에 대해서는 성능이 떨어지는 결과를 낳는다. 또는 모델이 최대한 정확한 정보를 생성하도록 설계되기 보다는 유창하고 그럴듯한 텍스트를 생성하도록 애초에 설계된 경우 사실과 다른 정보를 확인하지 않고 그럴듯하게 생성할 가능성이 높아진다. 이 밖에도 문장의 상관관계를 잘못 학습하거나 데이터를 혼합하는 과정에서 문제가 발생한 경우, 사용된 정보를 중복해서 사용하며 오류가 발생하는 등 할루시네이션이 발생하는 원인은 다양하게 제기되고 있다.

생성형 인공지능의 활용범위가 확대되고 있는 만큼 할루시네이션은 정보의 신뢰성을 떨어뜨리고 사람들은 정보의 진실성을 구분하지 못하게 될 수 있다. 또 할루시네이션은 다른 기술들과 결합하면서 오정보를 확산할 수 있다는 점에서도 문제가 제기되고 있다. 이용자의 입장에서 할루시네이션을 구분할 수 있는 경우도 있지만 교묘하게 숫자나 출처가 바뀐 경우는 구분하기 어렵다. 할루시네이션을 방지하기 위해서 고품질, 다양한 데이터를 사용하여 모델을 학습하거나 데이터를 증강해 데이터의 양을 늘리고 일반화 능력을 향상시키는 방안이 강구되고 있다. 모델이 생성한 텍스트에 대한 피드백을 통해 보상을 제공하는 강화학습 역시 모델의 구조를 제거하기 위해 시도되고 있는 방법이다. 챗지피티 등을 사용할 때 결과에 대해 평가할 수 있도록 작은 버튼이 마련되어 있는 것이 관련된 예시다. 생성된 텍스트를 이미 구성되어 있는 지식베이스와 비교하여 사실 여부를 확인하는 팩트체크 역시 할루시네이션의 해결책으로 제시되고 있다. 기술기업의 입장에서도 데이터의 출처를 명확하게 제기하는 방식으로 할루시네이션에 대응하고 있으며, 이용자에게 프롬프트를 좀 더 정밀하게 입력하도록 요구하기도 하고 있다.

작성자: 이정현(중앙대학교 인문콘텐츠연구소 HK연구교수)