애플의 놀라운 발견 🍏
애플의 AI 연구팀이
새로운 연구를 통해
대형 언어 모델의
논리적 추론 능력에서
중대한 약점을
발견했습니다. 🤔 이 연구는
arXiv에 게재되었으며,
애플이 오픈AI, 메타
등의 선도적인
개발자들의 언어 모델을
평가한 결과를
다루고 있습니다.
패턴 매칭의 한계
조금만 질문의
표현을 바꿔도
모델의 성능이 크게
달라질 수 있다는 사실이
드러났습니다.
이는 논리적 일관성이
필요한 상황에서
신뢰성을 저해할 수
있습니다. 애플은
언어 모델의
지속적인 문제로
패턴 매칭에 의존하고
있음을 지적합니다. 🙄
실험 사례
연구진은
질문에 불필요한 정보를
추가했을 때 모델들이
어떻게 다른
답변을 내놓는지
실험으로 증명했습니다.
키위 수집 문제에서
키위 크기에 대한
불필요한 정보를
넣자, OpenAI의 o1
및 Meta의 Llama
모델은 잘못된
최종 합계를
내놓았습니다.
진짜 논리의 부재
“단순히 이름을
바꾸는 것만으로도
결과가 달라질 수 있다”는
점은 AI의 미래에
잠재적 위험을
시사합니다.
모든 모델,
작은 오픈 소스
버전의 Llama부터
OpenAI의 GPT-4o까지,
입력 데이터의
사소한 변화에도
성능 저하를
보였습니다.
향후 방향성
애플은 AI가 신경망과
전통적인 심볼
기반 추론을
결합한 뉴로심볼릭 AI를
통해 더 정확한
의사결정 및 문제
해결 능력을
얻어야 한다고
제안합니다.
