AI2의 새로운 모델
AI2가 드디어
새로운 오픈소스 모델을
선보였어요! 🎉
이 모델은 OLMoE라고 하는데,
대형 언어 모델(LLM)로서
강력한 성능과 비용 효율성을
모두 갖춘 모델이라고 해요.
OLMoE의 특징
OLMoE는 70억 개의
파라미터를 가지고 있지만,
입력 토큰 당 10억 개의
파라미터만 사용합니다.
이 모델은 두 가지 버전으로,
OLMoE-1B-7B와 OLMoE-1B-7B-Instruct가
있는데, 후자는
명령어 튜닝을 위한 모델이에요.
완전한 오픈소스
AI2는 OLMoE가
완전히 오픈소스라고 강조했어요.
이는 대부분의 혼합 전문가 모델이
폐쇄형 소스인 것과는
대조적이죠. 🔒
연구자들을 위한 기회
AI2의 연구 과학자인
Nathan Lambert는 OLMoE가
정책 수립에 도움을 줄 것이라고
전했어요. 많은 연구자들이
이 모델을 통해 새로운 기회를
얻을 수 있을 거예요.
저비용, 고성능
OLMoE는 비용이
상당히 낮으면서도
다른 모델들과 비슷한 성능을
보여줍니다.
AI2는 이번 모델이
연구자들에게 유용할 것이라고
확신하고 있어요.
기술 발전이 기대됩니다! 🚀
자세한 내용은
여기서 확인해보세요.
