AI2의 새로운 모델 AI2가 드디어 새로운 오픈소스 모델을 선보였어요! 🎉 이 모델은 OLMoE라고 하는데, 대형 언어 모델(LLM)로서 강력한 성능과 비용 효율성을 모두 갖춘 모델이라고 해요. OLMoE의 특징 OLMoE는 70억 개의 파라미터를 가지고 있지만, 입력 토큰 당 10억 개의 파라미터만 사용합니다. 이 모델은 두 가지 버전으로, OLMoE-1B-7B와 OLMoE-1B-7B-Instruct가 있는데, 후자는 명령어 튜닝을 위한 모델이에요. 완전한 오픈소스