AWS에서 드디어 일반에 공개한 Trainium2 칩이
AI 업계에 큰 반향을 일으키고 있습니다.
이번 re:Invent 컨퍼런스에서 발표된
Trainium2 칩은 이전 세대보다
4배 더 빠른 성능을 자랑하며,
16개의 T2 칩으로 구성된
단일 EC2 인스턴스가
최대 20.8 페타플롭스의
컴퓨팅 성능을 제공합니다. 😮
대규모 언어 모델에
최적화된 성능
특히, 이 칩은 Meta의
거대한 Llama 405B 모델의
추론을 수행할 때
다른 주요 클라우드
제공업체의 솔루션보다
3배 높은 토큰 생성
처리량을 제공합니다.
AWS의 베드록 LLM 플랫폼을
통해 이 성능을 경험할 수 있습니다.
EC2 Trn2 UltraServers
출시
AWS는 또한 64개의
Trainium2 칩을
상호 연결한
EC2 Trn2
UltraServers를
도입했습니다.
이 서버들은 최대
83.2 페타플롭스의
성능을 제공하며,
FP8 정밀도와
희소 모델에서
이 성능을 발휘합니다.
AWS는 Anthropic과 협력하여
이 UltraServers로
거대한 클러스터를
구축 중입니다.
이 클러스터는 현재
세계 최대의 AI
컴퓨팅 클러스터로
기록될 예정입니다. 🚀
다음 세대: Trainium3
이번 발표에서 AWS는
Trainium3 칩의
출시도 예고했습니다.
Trainium3는 3나노미터
공정으로 제작되며,
2025년 말에
출시될 예정입니다.
이 칩은 UltraServers에서
또한 4배의 성능 향상을
제공할 것이며,
더욱 큰 모델을 더
빠르게 구축할 수 있도록
할 것입니다.
AWS의 발표에 따르면,
Trainium2는 AWS 역사상
가장 성능이 뛰어난
칩이라고 합니다. 🤖
이번 발표는 AWS의
미래 비전을 보여주는
중요한 순간으로,
AI 모델의
훈련과 배포에
새로운 장을
열어줄 것입니다.
출처: TechCrunch
