Reflection 70B의 발표
2024년 9월 5일, Hyperwrite AI의 공동 창업자이자 CEO인 Matt Shumer가 소셜 네트워크 X를 통해
Meta의 오픈 소스 Llama 3.1-70B를 기반으로 한
대형 언어 모델, Reflection 70B를 발표했습니다.
그는 이 모델이 “세계 최고의 오픈 소스 모델”이라고 주장했죠.
하지만, 발표 직후 여러 연구자들이
이 모델의 성능을 재현하지 못하면서
논란이 일기 시작했습니다. 🤔
성능 논란과 커뮤니티 반응
AI 연구 및 호스팅 커뮤니티에서는
Reflection 70B의 성능을 재현하는 데
어려움을 겪었고, 이는 사기라는
비난으로 이어졌습니다.
이에 대해 Shumer는
Glaive의 창립자 Sahil Chaudhary와
함께 문제를 검토하겠다고
약속했습니다.
이후 Chaudhary는
Reflection 70B의 포스트모템 보고서를
출시했습니다. 하지만,
보고서에서도 모든 벤치마크 결과를
재현하지 못하며
여전히 의문점이 남아 있습니다. 😐
보고서의 세부 사항
Chaudhary는 보고서에서
초기 코드에 버그가 있었음을
밝혔습니다. 이 버그는
특정 작업에서 점수를
부풀리는 결과를 초래했다고
설명했습니다.
보고서에 따르면,
Reflection 70B는
이전 보고서보다
낮은 점수를 기록했지만,
여전히 강력한 성능을
보이고 있다고 합니다.
Chaudhary는
모델의 투명성을 회복하고
신뢰를 재구축하기 위해
여러 리소스를 공개했습니다. 🔍
커뮤니티의 반응과 의혹
AI 커뮤니티는
Chaudhary의 보고서에
대해 여전히 회의적인 입장을
보이고 있습니다.
일부 연구자들은
Reflection 70B의 API가
다른 모델의 결과를
전달하는 것 아니냐는
의혹을 제기하기도 했습니다. ❓
마무리와 향후 계획
Chaudhary는
보고서에서 투명성을 강조하며
향후 Reflection 70B의
신뢰를 회복할 수 있기를
희망한다고 밝혔습니다.
그는 “반영 튜닝” 접근법이
잠재력이 있다고 믿으며,
AI 커뮤니티가
이를 계속 탐구하기를
기대하고 있습니다.
출처: VentureBeat
