- AI인프라 핵심 구성요소인 AI반도체와 AI시스템SW를 통합 설계
- 최신 GPU 대비 약 44% 낮은 전략 소모 등 평균 60% 성능 향상

박종세 KAIST 교수가 NPU(신경망처리장치) 핵심 기술에 대해 발표하고 있다.[KAIST 제공]

[헤럴드경제=구본혁 기자] 오픈AI ChatGPT4, 구글 Gemnini 2.5 등 최신 생성형AI 모델들은 높은 메모리 대역폭(Bandwidth) 뿐만 아니라 많은 메모리 용량를 필요로 한다. 마이크로소프트, 구글 등 생성형AI 클라우드 운영 기업들이 엔비디아 GPU를 수십만 장씩 구매하는 이유다.

고성능 AI 인프라 구축의 핵심 난제를 해소할 방안으로, 국내 연구진이 최신 GPU 대비 약 44% 낮은 전력 소모에도 평균 60% 이상 생성형 AI 모델의 추론 성능을 향상시킬 NPU(신경망처리장치) 핵심 기술을 개발하는데 성공했다.

KAIST는 전산학부 박종세 교수 연구팀과 (주)하이퍼엑셀이 연구 협력을 통해, ChatGPT와 같은 생성형AI 클라우드에 특화된 고성능·저전력 NPU 핵심 기술을 개발했다고 4일 밝혔다.

이번 연구의 핵심은 추론 과정에서 경량화를 통해 정확도 손실을 최소화하면서도 메모리 병목 문제를 해결해 대규모 생성형AI 서비스의 성능을 개선하는 것이다. 이번 연구는 AI인프라의 핵심 구성요소인 AI반도체와 AI시스템SW를 통합 설계했다는 점에서 그 가치를 높게 인정 받았다.

기존 GPU 기반 AI 인프라는 높은 메모리 대역폭과 메모리 용량 요구를 충족하기 위해 다수의 GPU 디바이스가 필요한 반면, 이번 기술은 메모리 사용의 대부분을 차지하는 KV 캐시의 양자화를 통해 적은 수의 NPU 디바이스 만으로 동일 수준의 AI 인프라를 구성할 수 있어, 생성형 AI 클라우드 구축 비용을 크게 절감할 수 있다.

연구에서 제안한 하드웨어 모듈 및 이들을 통합한 NPU 아키텍처.[KAIST 제공]

연구팀은 기존 NPU 아키텍처의 연산 로직을 변경하지 않으면서 메모리 인터페이스와 통합될 수 있도록 설계했다. 이번 하드웨어 아키텍처 기술은 제안된 양자화 알고리즘을 구현할 뿐만 아니라, 제한된 메모리 대역폭 및 용량을 효율적으로 활용하기 위한 페이지 단위 메모리 관리 기법과 양자화된 KV 캐시에 최적화된 새로운 인코딩 기법 등을 개발했다.

또한 최신 GPU 대비 비용·전력 효율성이 우수한 NPU 기반 AI 클라우드를 구성할 경우, NPU의 고성능, 저전력 특성을 활용해 운영 비용 역시 크게 절감할 수 있을 것으로 기대된다.

박종세 교수는 “추론의 정확도를 유지하면서 메모리 요구량을 줄이는 경량화 기법과, 이에 최적화된 하드웨어 설계를 결합해 최신 GPU 대비 평균 60% 이상 성능이 향상된 NPU를 구현했다”고 말했다.

이어 “생성형AI에 특화된 고성능·저전력 인프라 구현 가능성을 입증했으며, AI클라우드 데이터센터뿐 아니라 능동적인 실행형 AI인 ‘에이전틱 AI ’등으로 대표되는 AI 대전환(AX) 환경에서도 핵심 역할이 기대된다”고 강조했다.

Copyright © 헤럴드경제. 무단전재 및 재배포 금지.