최근 OpenAI에서 발표한 연구에 따르면,
대형 언어 모델이 여전히 환각을
일으키는 이유와 이를 줄일 수 있는
방법에 대해 논의하고 있습니다.
AI 환각이란?
OpenAI는 환각을 ‘언어 모델이
생성한 그럴듯하지만
사실이 아닌 문장’이라고 정의합니다.
현재까지 많은 개선이 있었지만,
환각은 여전히 모든 대형 언어 모델에
남아 있는 근본적인 문제 중 하나입니다.
연구진은 “널리 사용되는
챗봇에 아담 타우만 칼라이의
박사 논문 제목을 물었을 때,
세 가지 다른 답변을 받았고,
모두 틀렸습니다”라고 예시를 들었습니다. 🤔
왜 이런 문제가 발생할까?
연구진은 환각이 모델의
사전 훈련 과정에서 비롯된다고 말합니다.
훈련 과정에서 모델은 올바른
답변을 내놓는 것에 집중하고,
정확한 사실 여부에 대한
라벨은 부여받지 않습니다.
“철자와 괄호는 일관된
패턴을 따르기 때문에,
규모가 커지면서 오류가
사라지지만, 애완동물의
생일과 같은 임의의 저빈도
사실은 패턴만으로 예측할 수
없습니다.”
새로운 해결책은?
제안된 해결책은 초기
사전 훈련 과정이 아닌,
큰 언어 모델의 평가
방식에 초점을 맞춥니다.
현재의 평가 방식은
문제 자체를 발생시키는
것이 아니라, 잘못된 인센티브를
설정한다고 연구진은 설명합니다.
“모델이 정확성만으로
평가될 때, 정답을 맞출
확률이 낮아도 추측을 하게
됩니다.”
연구진은 “정답이 틀렸을
경우 더 많은 페널티를,
확신이 없는 경우 덜
처벌하며, 적절한 불확실성
표현에 대해 부분 점수를
부여해야 한다”고 말합니다. 🎯
이러한 평가 방식의 변화는
단순한 몇 가지 테스트에
그치지 않고, 널리 사용되는
정확성 기반 평가를 업데이트하여,
모델이 추측을 피하도록
해야 한다고 주장합니다.
출처: TechCrunch 기사
