거대 인공신경망 학습, 추론을 위한 지능형 반도체 기반 소프트웨어 플랫폼 기술동향

 

1. 서론

현재의 인공지능 및 기계학습 분야에서 거대 인공신경망은 놀라운 발전을 이룩하고 있습니다. 이러한 발전은 복잡한 작업에 대한 성능 향상을 제공하며, 생성형 언어 모델부터 영상, 음성, 그래픽스 등 다양한 분야에 활용되고 있습니다. 이에 따라 고성능 지능형 반도체 하드웨어와 소프트웨어 플랫폼의 중요성이 더 커지고 있습니다. NPU, HBM, PIM과 같은 지능형 반도체 기술이 활발히 개발되고 있으며, 이에 맞춰 소프트웨어 플랫폼도 발전하고 있습니다. 이러한 플랫폼은 신경망 처리 연산 및 데이터를 효율적으로 분산시키고 병렬로 처리함으로써 거대 인공신경망의 처리를 지원합니다. 이에 따라 앞으로의 발전 방향은 더욱 효율적이고 성능 뛰어난 소프트웨어 플랫폼과 지능형 반도체의 통합이 될 것으로 전망됩니다.

 

PMI시스템 소프트웨어 국내기술동향

 

 

2. PMI 시스템 소프트웨어 기술 동향

가. 국낸 기술 동향

삼성전자는 HBM-PIM 반도체 하드웨어와 관련된 소프트웨어 스택을 개발하였습니다. 이 스택은 기존의 신경망 프레임워크와 호환되어 변경 없이도 삼성전자가 개발한 HBM-PIM 하드웨어에 적용 가능한 기술을 제공합니다. 이를 통해 사용자의 코드를 분석하여 PIM에서 실행할 연산을 추출하고 변환하여 실행하는 마이크로커널 코드로 변환하며, 이 소프트웨어 스택은 소프트웨어 개발의 용이성을 높이면서도 최적의 성능을 보장합니다. SK하이닉스는 PIM 하드웨어 기술을 개발하고 GDDR6-AiM 제품을 출시했으며, 국내에서는 삼성전자와 SK하이닉스를 중심으로 PIM 하드웨어 및 소프트웨어 플랫폼 개발을 위한 협의회가 구성되어 협력하고 있습니다.

 

PMI시스템 소프트웨어 국외기술동향

 

 

 

나. 국외 기술 동향

프랑스 기업 UPMEM은 자체 개발한 PIM 하드웨어를 활용하기 위한 SDK를 공개했습니다. 이 SDK는 LLVM 컴파일러를 포함하여 C 및 Rust 언어를 지원하며, DPU 라이브러리, AWS FPGA 에뮬레이터, 소프트웨어 시뮬레이터, 그리고 서버 셋업을 위한 펌웨어로 구성되어 있습니다. UPMEM은 이 SDK를 학계에 제공하여 성능 평가 및 다양한 응용 사례를 연구하고 있으며, DNA 매핑 및 변이 분석 등의 작업을 수행하는 시간을 크게 단축하는 사례를 보여주고 있습니다. 또한, 2022년에는 PIM 시스템을 활용하여 다양한 응용 분야에 대한 벤치마크를 실행한 결과를 공개했습니다. 이 벤치마크에는 선형대수, 데이터베이스, 데이터 분석, 그래프 연산, 뉴럴 네트워크, 바이오인포매틱스, 이미지 처리 등이 포함되어 있습니다. 미국 기업 Mythic은 PIM 구조를 고려한 컴파일러와 최적화된 인공신경망 모델을 개발하여 효율적으로 활용하고 있습니다. 해당 컴파일러는 다양한 응용 소프트웨어를 수행할 수 있는 인공신경망 모델을 제공합니다.

 

NPU 시스템 소프트웨어 국내기술동향

 

 

 

 

3. NPU 시스템 소프트웨어 기술 동향

가. 국내 기술 동향

사피온코리아는 2022년에 NPU X220을 개발하여 인공지능 추론을 위한 성능을 향상시켰습니다. 현재는 NPU에서 신경망 연산을 최적화된 실행 코드로 변환하는 소프트웨어 기술을 개발 중이며, 이미지 분류와 물체 탐지 속도에서 엔비디아를 능가하는 성능을 보입니다. 또한, AI PACK과 업스테이지와 협력하여 소프트웨어 플랫폼 최적화를 진행 중입니다. 퓨리오사는 NPU 워보이(Warboy) 및 소프트웨어 스택을 개발하여 다양한 신경망 프레임워크를 지원하고 최적화된 통합 프레임워크를 제공하며, 업스테이지와 협력하여 OCR 관련 통합 솔루션을 개발할 예정입니다. 리벨리온은 NPU 아이온(ION), 아톰(ATOM), 리벨(REBELL)에 최적화된 솔루션을 비브스튜디오스와 협업하여 개발 중이며, AI 기반 메타버스 콘텐츠 서비스를 주로 목표로 하고 있습니다. 한국전자통신연구원(ETRI)은 NPU를 개발하고 있으며, ONNX 프레임워크와의 연계를 통해 AI-Ware를 구축 중입니다. AI-Ware는 ONNX 모델을 해석하고 NPU에서 효율적으로 처리할 수 있도록 환경을 제공합니다.

 

 

 

나. 국외 기술 동향

구글은 TPU(Tensor Processing Unit)라는 AI 반도체를 개발하여 데이터 분석과 딥러닝에 최적화되었으며, TensorFlow와 특히 최적화되어 있습니다. 또한, Cerebras Systems는 CS-2 액셀레이터를 개발하여 단일 칩을 가속기로 사용할 수 있도록 했습니다. 이는 초거대 인공신경망 모델을 실행할 수 있고 빠른 수행 속도를 제공합니다. Georgia Tech Univ.에서는 계층적 인터커넥트 구조를 고려한 collective communication scheduling 기법을 개발하였습니다.

 

4. 병렬/분산 처리 지원 소프트웨어 기술 동향

가. 국내 기술 동향

아크릴의 Jonathan Flightbase는 서로 다른 서버의 GPU 자원을 가상화하여 다중 GPU 환경에서 모델을 학습할 수 있도록 지원합니다. 이 솔루션은 멀티 GPU 클러스터링과 분산학습을 가능하게 하며, GPUDirect RDMA 기술을 활용한 효율적인 통신을 제공합니다. 또한 GUI를 통해 간편한 학습 환경 구축과 모델 추론 기능을 제공하며, Tensorflow, Pytorch 등의 딥러닝 프레임워크를 포함한 도커 컨테이너를 제공합니다. 네이버 클라우드 플랫폼은 NVIDIA GPU와 NVLink를 활용하여 고성능 연산을 제공하는 CUDA Toolkit 및 Library를 최대 4대의 서버에서 병렬/분산 처리할 수 있는 서비스를 제공합니다.

 

나. 국외 기술 동향

구글은 TPU의 4세대 버전인 TPU v4를 활용하여 대규모 AI 모델 속도를 높이는 머신러닝 클러스터를 구글 클라우드로 제공합니다. 영국의 Graphcore는 BOW IPU 기반의 POD와 Popular 소프트웨어를 개발했습니다. 이 소프트웨어는 ML Frameworks 연계, 디바이스 드라이버, 리소스 관리 소프트웨어 등으로 구성되어 있습니다. 또한, Microsoft는 DeepSpeed와 brainwave 기술을 개발하여 GPU 클러스터를 효율적으로 처리할 수 있도록 했습니다. DeepSpeed는 GPU 메모리 사용량을 줄이고 큰 모델을 학습하고 추론할 수 있도록 설계되었으며, brainwave 기술은 FPGA 기반의 딥러닝 플랫폼을 제공합니다.

 

지원소프트웨어 국외기술동향

 

5. 결론

거대 인공신경망은 다양한 분야에서 뛰어난 성능을 보이며, 이를 처리하기 위한 시스템은 GPU와 NPU 등의 하드웨어로 주로 구성됩니다. 최근에는 대용량 데이터 처리를 위한 HBM-PIM 하드웨어가 주목을 받고 있으나, 이를 학습하기 위해선 효율적인 병렬 및 분산 처리 기술이 필수적입니다. 현재 국내외 기업과 기관은 이러한 하드웨어의 개발과 함께 소프트웨어 플랫폼의 개발을 진행하고 있으나, 각각의 하드웨어에 특화된 형태로 진행되어 통합 시스템을 지원하고 최적화하는 기술이 부족합니다. HBM-PIM-NPU 통합 시스템은 메모리와 연산을 효율적으로 조화시켜 대용량 데이터 처리에 유리한 모델입니다. 이를 지원하는 소프트웨어 플랫폼과 효율적인 병렬 및 분산 처리 기술의 개발이 중요한 연구 과제로 떠오르고 있습니다.

---

본 내용의 출처는 IITP 정보통신기획평가원의 주간기술동향 2123호 자료를 참고해서 작성했습니다.

 

 

---

 

공감과 댓글은 아이티신비에게 큰 힘이 됩니다.

블로그 글이 유용하다면 블로그를 구독해주세요.♥