애플과 NVIDIA의 협력
애플이 NVIDIA와 협력하여 대형 언어
모델(LLM)의 성능을 크게 개선한다고
합니다. 🖥️ 이번 협력을 통해 애플은
새로운 텍스트 생성 기술을 도입하여
AI 애플리케이션의 속도를 크게
향상시킬 계획입니다.
ReDrafter 기술 공개
애플은 올해 초 Recurrent Drafter
(ReDrafter)라는 기술을 공개했는데,
이것은 빔 서치와 동적 트리
어텐션 방법을 결합하여 텍스트
생성을 가속화합니다. 빔 서치는
여러 가능한 텍스트 시퀀스를 동시에
탐색하여 더 나은 결과를 얻을 수
있게 하고, 트리 어텐션은 중복된
부분을 정리하여 효율성을
향상시킵니다. 🌟
NVIDIA TensorRT-LLM
통합
이제 애플은 이 기술을 NVIDIA의
TensorRT-LLM 프레임워크에
통합했습니다. 이 프레임워크는
NVIDIA GPU에서 실행되는
LLM을 최적화하며, 애플에 따르면
“최신 성능”을 달성했다고 합니다.
테스트에서는 수십억 개의 매개변수를
포함하는 모델에서 초당 생성되는
토큰 수가 2.7배 증가했다고 합니다.
사용자 경험 개선
애플은 이 개선이 사용자 지연을
줄이고 GPU 사용량과 전력 소비를
감소시킨다고 말합니다. “LLM은 점점
더 많은 프로덕션 애플리케이션에
사용되고 있으며, 추론 효율성을
개선하면 계산 비용과 사용자 지연을
줄일 수 있습니다.”라고 애플의
머신러닝 연구 블로그에서
언급했습니다. 🚀
ReDrafter를 구현하고자 하는 개발자는
애플의 웹사이트와 NVIDIA의
개발자 블로그에서 자세한 정보를
찾을 수 있습니다.
출처: MacRumors
