MIT 출신 연구원이 설립한 Liquid AI가
새로운 멀티모달 AI 모델을
공개했습니다. 이 모델들은 2017년
논문 ‘Attention Is All You Need’에
기반한 트랜스포머 아키텍처 대신,
엔진이나 자동차, 비행기를
설계하는 원리로 만들어졌어요.
Liquid의 목표는 GPT를 넘어서
기초 모델을 구축하는 것이며,
이번에 공개된 LFM 모델들은
이미 Meta의 Llama 3.1-8B나
Microsoft의 Phi-3.5 3.8B보다
뛰어난 성능을 자랑합니다. 🎉
LFM 모델의 특징
이 모델들은 ‘Liquid Foundation Models (LFMs)’
로 불리며, 3가지 크기와 변형으로
제공됩니다. ‘B’는 모델의
파라미터 수를 의미하며, 파라미터가
많을수록 더 다양한 작업에서
능력을 발휘할 수 있습니다. Liquid AI는
LFM 1.3B 버전이 Meta의
Llama 3.2-1.2B 및 Microsoft의
Phi-1.5보다 많은 주요
벤치마크에서 뛰어난 성능을
보인다고 밝혔어요. 이는
비-GPT 아키텍처가 처음으로
트랜스포머 기반 모델을
능가한 사례입니다.👏
메모리 효율성
LFM 모델들은 메모리 효율성을
최적화하도록 설계되었으며,
LFM-3B 모델은 Meta의
Llama-3.2-3B 모델이 48GB 이상의
메모리를 요구하는 반면,
16GB만으로도 충분합니다. Liquid AI의
Maxime Labonne는 X 계정에서
LFMs가 트랜스포머 기반 모델을
능가하면서도 메모리가
적게 사용된다고 강조했어요.
다양한 활용 가능성
이 모델들은 금융 서비스,
생명공학, 소비자 전자 제품 등
여러 산업 분야에서 사용할 수
있도록 설계되었습니다. 또한
에지 디바이스에서도
효율적으로 작동할 수 있어
다양한 용도로 활용될 수
있습니다. 하지만, 이 모델들은
오픈 소스로 제공되지 않으며,
Liquid의 추론 플레이그라운드나
Lambda Chat, Perplexity AI를
통해 접근해야 합니다.
Liquid는 새로운 LFMs를
훈련하기 위해 ‘동적 시스템 이론,
신호 처리, 수치 선형 대수’에
기반한 계산 단위를 사용했다고
밝혔어요. 이 모델들은 비디오,
오디오, 텍스트, 시계열 데이터,
신호 등 다양한 순차 데이터를
모델링할 수 있도록 설계되었습니다.
LNN의 장점
기존의 딥러닝 모델들과는 달리,
Liquid Neural Networks(LNNs)는
적은 수의 뉴런으로도
혁신적인 수학적 공식을
결합하여 동일한 결과를
달성할 수 있습니다. Liquid AI의
새 모델들은 이러한 적응성을
유지하면서도 실시간
추론 중에도 메모리 사용을
최소화하면서 최대 100만 개의
토큰을 효율적으로 처리할 수
있습니다.
향후 계획
Liquid AI는 NVIDIA, AMD, Apple, Qualcomm,
Cerebras의 하드웨어에서 모델을
최적화하고 있으며, 현재
프리뷰 단계에 있습니다. Liquid AI는
초기 사용자와 개발자들에게
모델을 테스트하고 피드백을
제공해줄 것을 요청하고 있습니다.
오는 2024년 10월 23일 MIT의
Kresge Auditorium에서 열리는
정식 출시 행사에서 더 많은
정보를 공개할 예정입니다. 참석
희망자는 여기서 RSVP를
제출할 수 있습니다.
자세한 내용은 여기에서 확인하세요.
