AI 모델, 적은 데이터로도 충분히 학습 가능?

새로운 연구 결과 공개 🎓\n\n상하이 교통대학교의\n연구자들이 흥미로운\n사실을 발견했어요.\n바로 대규모 언어 모델\n(LLM)이 방대한 데이터가\n아니라 소수의 잘 구성된\n예제로도 복잡한\n추론 작업을 수행할 수\n있다는 점이죠. \n\n## ‘Less is More’ 접근법 💡\n\n기존에는 수 만 개의\n훈련 사례가 필요하다고\n생각했지만, 이번 연구는\n’적게, 그러나 정교하게’\n훈련하면 된다는\n사실을 보여주고 있어요.\n이 방법은 모델의\n사전 학습 단계에서\n얻은 지식을\n최대화하게 해줍니다.\n\n## 데이터 효율성의 향상 🚀\n\n연구팀은 LIMO라는\n새로운 개념을 제안합니다.\n이 방법을 통해 수백 개의\n예제로도 복잡한\n수학적 추론을\n성공적으로 수행할 수\n있다는 것을 증명했어요.\n\n예를 들어, Qwen2.5-32B-Instruct\n모델은 LIMO를 통해\n817개의 예제로만\n훈련하여 AIME 벤치마크에서\n57.1%의 정확도를,\nMATH에서 94.8%의\n정확도를 기록했습니다.\n이는 대규모 데이터로\n훈련된 모델을 능가하는\n수준입니다.\n\n## 기업에 미치는 영향 💼\n\n이 연구는 기업들이\n데이터와 컴퓨팅 자원 없이도\n맞춤형 AI 모델을\n개발할 수 있는\n방법을 제시해줍니다.\n\n특히, 추론 작업은\n대량의 데이터 없이도\n가능하다는 점에서\n많은 기업들이\n관심을 가질만한\n발견입니다.\n\n더 많은 정보는\nVentureBeat에서\n확인하세요.