AMD, 첫 번째 소형 언어 모델 AMD-135M 공개

AMD가 첫 번째 소형 언어 모델(Small Language Model, SLM)을 출시했습니다. 이름은 AMD-135M으로, 빠른 추론 속도를 자랑하는 "추측 디코딩(Speculative Decoding)" 기술을 탑재했습니다. 이는 대형 언어 모델(Large Language Model, LLM)의 한계를 보완하며, 특정 용도에 최적화된 성능을 제공합니다.

 

이 모델은 AMD Instinct™ MI250 가속기를 사용하여 6700억 개의 토큰으로 훈련되었습니다.

 

https://community.amd.com/t5/ai/amd-unveils-its-first-small-language-model-amd-135m/ba-p/711368

AMD Unveils Its First Small Language Model AMD-135M

 

기사내용 요약

AMD-135M의 주요 특징

• 두 가지 모델
  • 일반 데이터를 학습한 AMD-Llama-135M과 추가로 코드 데이터를 학습한 AMD-Llama-135M-code.
  • AMD-Llama-135M 모델은 일반 데이터를 사용하여 6일 동안 6700억 개의 토큰으로 훈련됨
  • AMD-Llama-135M-code 모델은 추가로 200억 개의 코드 데이터 토큰으로 4일 동안 미세 조정됨
• 훈련과정
  • MI250 가속기를 사용해 6700억 개의 데이터를 학습했으며, 코드 모델은 200억 개의 추가 데이터를 학습하여 최적화되었습니다.
• "추측 디코딩" 기술을 통해 기존보다 훨씬 빠르게 결과를 생성할 수 있으며, 메모리 효율도 크게 개선되었습니다.
• 이 모델의 훈련 코드, 데이터셋 및 가중치는 오픈 소스로 제공

Speculative Decoding 으로 추론 성능 최적화

• 대형 언어 모델은 일반적으로 자회귀 접근 방식을 사용하여 추론함
• 이 접근 방식의 주요 한계는 각 전진 패스에서 단일 토큰만 생성할 수 있다는 점임
• 추측 디코딩의 도입으로 이 문제를 해결함
• 작은 초안 모델을 사용하여 후보 토큰 세트를 생성하고, 이를 더 큰 목표 모델이 검증함
• 이 접근 방식은 각 전진 패스에서 여러 토큰을 생성할 수 있게 하여 메모리 접근 소비를 크게 줄이고 속도를 크게 향상시킴

성능 테스트 (추론 성능 가속)

AMD-Llama-135M-code 모델을 사용한 결과, 데이터센터용 MI250 가속기와 AI PC용 Ryzen AI 프로세서에서 추론 속도가 비약적으로 증가했습니다. 이 성능 개선 덕분에, 소형 모델(SLM)과 대형 모델(LLM) 모두 효율적인 AI 워크플로우를 제공합니다.

• AMD-Llama-135M-code를 CodeLlama-7b의 초안 모델로 사용하여 추론 성능을 테스트 
• MI250 가속기와 Ryzen™ AI 프로세서(NPU 포함)에서 추측 디코딩을 사용한 경우와 사용하지 않은 경우를 비교함
• 특정 구성에서 추측 디코딩을 사용한 경우 속도 향상을 확인함

다음 단계

AMD는 이 모델을 오픈소스로 공개하여 AI 커뮤니티의 발전에 기여하고 있습니다. 개발자들은 이를 활용해 다양한 AI 모델을 개발할 수 있으며, 관련 코드와 데이터셋은 GitHub에서 확인할 수 있습니다.

AMD의 첫 SLM 모델인 AMD-135M은 AI 기술의 발전을 이끌고 있으며, 더 넓은 범위에서 활용될 것입니다.

 

 

기사에 대한 나의 생각..

AMD의 첫 소형 언어 모델(SLM)인 AMD-135M 출시는 AI 업계에서 중요한 의미를 가집니다. 대형 언어 모델(LLM)이 인공지능의 발전을 주도해온 상황에서, 소형 모델(SLM)은 더욱 특화된 용도와 효율적인 성능을 제공하며 새로운 방향을 제시하고 있습니다.

• LLM은 매우 강력하지만, 많은 자원이 필요해 실시간 애플리케이션이나 특정한 작업에는 적합하지 않다는 점 때문에 SLM이 요즘 주목을 받고 있는 가운데,,, AMD의 SLM은 적은 자원을 필요로 하면서도 특정 작업에 최적화되어 있어, 더 많은 개발자와 기업이 AI 기술을 효율적으로 사용할 수 있는 기회를 제공될 것 같습니다.
• AMD가 모델, 코드, 데이터셋을 오픈소스로 공개한 것은 매우 긍정적인 신호로 보입니다. 이를 통해 AI 연구와 개발이 더욱 활발해지고, 다양한 분야에서 혁신이 이루어질 것입니다.
• "추측 디코딩" 기술은 기존 AI 모델들의 속도 문제를 해결하는 데 큰 도움을 줍니다. 실시간 애플리케이션이나 고속 데이터 처리 작업에서 이 기술은 매우 유용할 것이며, 더 나은 사용자 경험을 제공할 수 있을 것입니다.
• 아직은 AMD-135M이 실제로 어떻게 활용될지에 대한 구체적인 사례가 부족합니다. SLM의 잠재력이 분명하지만, 다양한 분야에서 실질적인 성공 사례가 축적될 필요가 있습니다.
• AMD는 이번 발표로 AI 시장에 본격적으로 진입했지만, 이미 LLM과 SLM 시장에는 경쟁사들이 존재합니다. AMD가 앞으로도 지속적으로 차별화된 성능과 효율성을 제공할 수 있을지, 특히 Nvidia와 같은 경쟁사들과 비교했을 때 어떤 위치를 차지할지 지켜봐야 할 것입니다.