AMD가 첫 번째 소형 언어 모델(Small Language Model, SLM)을 출시했습니다. 이름은 AMD-135M으로, 빠른 추론 속도를 자랑하는 "추측 디코딩(Speculative Decoding)" 기술을 탑재했습니다. 이는 대형 언어 모델(Large Language Model, LLM)의 한계를 보완하며, 특정 용도에 최적화된 성능을 제공합니다.
이 모델은 AMD Instinct™ MI250 가속기를 사용하여 6700억 개의 토큰으로 훈련되었습니다.
일반 데이터를 학습한 AMD-Llama-135M과 추가로 코드 데이터를 학습한 AMD-Llama-135M-code.
AMD-Llama-135M 모델은 일반 데이터를 사용하여 6일 동안 6700억 개의 토큰으로 훈련됨
AMD-Llama-135M-code 모델은 추가로 200억 개의 코드 데이터 토큰으로 4일 동안 미세 조정됨
훈련과정
MI250 가속기를 사용해 6700억 개의 데이터를 학습했으며, 코드 모델은 200억 개의 추가 데이터를 학습하여 최적화되었습니다.
"추측 디코딩" 기술을 통해 기존보다 훨씬 빠르게 결과를 생성할 수 있으며, 메모리 효율도 크게 개선되었습니다.
이 모델의 훈련 코드, 데이터셋 및 가중치는 오픈 소스로 제공
Speculative Decoding 으로 추론 성능 최적화
대형 언어 모델은 일반적으로 자회귀 접근 방식을 사용하여 추론함
이 접근 방식의 주요 한계는 각 전진 패스에서 단일 토큰만 생성할 수 있다는 점임
추측 디코딩의 도입으로 이 문제를 해결함
작은 초안 모델을 사용하여 후보 토큰 세트를 생성하고, 이를 더 큰 목표 모델이 검증함
이 접근 방식은 각 전진 패스에서 여러 토큰을 생성할 수 있게 하여 메모리 접근 소비를 크게 줄이고 속도를 크게 향상시킴
성능 테스트 (추론 성능 가속)
AMD-Llama-135M-code 모델을 사용한 결과, 데이터센터용 MI250 가속기와 AI PC용 Ryzen AI 프로세서에서 추론 속도가 비약적으로 증가했습니다. 이 성능 개선 덕분에, 소형 모델(SLM)과 대형 모델(LLM) 모두 효율적인 AI 워크플로우를 제공합니다.
AMD-Llama-135M-code를 CodeLlama-7b의 초안 모델로 사용하여 추론 성능을 테스트
MI250 가속기와 Ryzen™ AI 프로세서(NPU 포함)에서 추측 디코딩을 사용한 경우와 사용하지 않은 경우를 비교함
특정 구성에서 추측 디코딩을 사용한 경우 속도 향상을 확인함
다음 단계
AMD는 이 모델을 오픈소스로 공개하여 AI 커뮤니티의 발전에 기여하고 있습니다. 개발자들은 이를 활용해 다양한 AI 모델을 개발할 수 있으며, 관련 코드와 데이터셋은 GitHub에서 확인할 수 있습니다.
AMD의 첫 SLM 모델인 AMD-135M은 AI 기술의 발전을 이끌고 있으며, 더 넓은 범위에서 활용될 것입니다.
기사에 대한 나의 생각..
AMD의 첫 소형 언어 모델(SLM)인 AMD-135M 출시는 AI 업계에서 중요한 의미를 가집니다. 대형 언어 모델(LLM)이 인공지능의 발전을 주도해온 상황에서, 소형 모델(SLM)은 더욱 특화된 용도와 효율적인 성능을 제공하며 새로운 방향을 제시하고 있습니다.
LLM은 매우 강력하지만, 많은 자원이 필요해 실시간 애플리케이션이나 특정한 작업에는 적합하지 않다는 점 때문에 SLM이 요즘 주목을 받고 있는 가운데,,, AMD의 SLM은 적은 자원을 필요로 하면서도 특정 작업에 최적화되어 있어, 더 많은 개발자와 기업이 AI 기술을 효율적으로 사용할 수 있는 기회를 제공될 것 같습니다.
AMD가 모델, 코드, 데이터셋을 오픈소스로 공개한 것은 매우 긍정적인 신호로 보입니다. 이를 통해 AI 연구와 개발이 더욱 활발해지고, 다양한 분야에서 혁신이 이루어질 것입니다.
"추측 디코딩" 기술은 기존 AI 모델들의 속도 문제를 해결하는 데 큰 도움을 줍니다. 실시간 애플리케이션이나 고속 데이터 처리 작업에서 이 기술은 매우 유용할 것이며, 더 나은 사용자 경험을 제공할 수 있을 것입니다.
아직은 AMD-135M이 실제로 어떻게 활용될지에 대한 구체적인 사례가 부족합니다. SLM의 잠재력이 분명하지만, 다양한 분야에서 실질적인 성공 사례가 축적될 필요가 있습니다.
AMD는 이번 발표로 AI 시장에 본격적으로 진입했지만, 이미 LLM과 SLM 시장에는 경쟁사들이 존재합니다. AMD가 앞으로도 지속적으로 차별화된 성능과 효율성을 제공할 수 있을지, 특히 Nvidia와 같은 경쟁사들과 비교했을 때 어떤 위치를 차지할지 지켜봐야 할 것입니다.
댓글 영역