Reflection 70B, 과연 진짜인가?
최근 인공지능(AI) 업계의 화제작, Reflection 70B가 논란의 중심에 섰습니다.
이 모델은 하이퍼라이트(HyperWrite)라는 스타트업에 의해 개발됐고, 스스로 문제를 해결하는 능력을 갖췄다고 주장했죠. 🤔
하지만, 성능에 대한 의문이 제기되고 있습니다.
처음 발표된 성능 결과를 다른 전문 기관이 재현하지 못했기 때문입니다.
초기 발표와 반론
하이퍼라이트의 CEO, 매트 슈머는 자신감을 보이며 “세상 최고의 오픈 소스 모델”이라고 발표했죠.
그러나, 그 다음날인 9월 7일, 인공지능 분석 전문 기관인 아티피셜 애널리시스는
“Reflection 70B의 MMLU 점수가 Llama 3.1보다 낮다”고 주장했습니다. 🧐
이런 주장은 하이퍼라이트의 초기 주장과 큰 차이가 나며,
사용자들 사이에서도 의구심이 커지고 있습니다.
성능 저하 원인?
슈머는 “업로드 과정에서 문제가 발생했다”고 해명했습니다.
그러면서 모델의 가중치가 여러 모델이 섞인 상태로 올라갔다고 밝혔습니다.
이런 해명이 과연 설득력이 있을까요? 🤷♂️
그 후, 아티피셜 애널리시스는 비공식 API에서 성능을 확인했지만,
여전히 초기 주장에 못 미쳤다고 전했습니다.
비판과 옹호
논란이 커지면서,
일부 사용자들은 슈머를 방어하기도 했습니다.
그는 문제 해결에 능숙한 사람이라는 주장이었습니다. 🙌
결국, AI의 과대 광고와 신뢰 문제는
하이퍼라이트와 슈머에게 큰 시험대가 되고 있습니다.
AI 연구 커뮤니티는 기대와 우려 속에서
그의 답변과 업데이트를 기다리고 있습니다. ⏳
출처 : 테크크런치
