【와티비커뮤니티-WATVcommunity】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 스포츠뉴스 : 안구정화 놀이터홍보 놀이터후기공유 피해사례공유

로그인

채팅

글쓰기

[IT뉴스]HBM만으로 감당하기 벅찬 AI 메모리 수요…'CXL' 급부상

온카뱅크관리자

2026-09-26 09:07:25

<div id="layerTranslateNotice" style="display:none;"></div> 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="z1c6fS6bCn">
 KV 캐시·대용량 데이터 외부로…공유·풀링 메모리 확산
 HBM은 I/O·대역폭 고도화…차세대 AI 서버 구조 재편
 <hr class="line_divider" contents-hash="1750feb7875dad96950ee3f3e2783ea5ba4fa01c78773ab477ba4a26028e5994" dmcf-pid="b3Dx6yx2Td" dmcf-ptype="line">
 <figure class="figure_frm origin_fig" contents-hash="aabf80a16a4392c6986642659078b363f1d77f6a90c44188412826cae74b07e8" dmcf-pid="K0wMPWMVWe" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/26/552796-pzfp7fF/20260926090023482cyln.png" data-org-width="640" dmcf-mid="uOC2bO2uTo" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/26/552796-pzfp7fF/20260926090023482cyln.png" width="658">
 </figure>
 [디지털데일리 고성현기자] 인공지능(AI) 서버용 메모리 시장에서 고대역폭메모리(HBM)의 중요성이 갈수록 커지고 있습니다. 그래픽처리장치(GPU)를 비롯한 가속기의 연산 성능이 빠르게 높아지면서 데이터를 제때 공급할 수 있는 덕이죠.
 상황이 이렇다 보니 굳이 컴퓨트익스프레스링크(CXL)를 도입해 굳이 컴퓨팅 구조를 바꿔야 하냐는 의문도 따라붙고 있습니다. HBM의 성능을 계속 높이면 해결할 수 있는 문제에 굳이 새로운 메모리 장치와 인터커넥트, 이를 관리할 소프트웨어까지 더해야 하느냐는 겁니다. 실제 HBM은 세대가 바뀔수록 용량과 대역폭이 함께 높아지고 있습니다. 향후 HBM4와 HBM4E로 넘어가면 연산장치와 데이터를 주고받는 입출력(I/O) 성능 역시 크게 높아질 수 있죠.
 그럼에도 CXL이 꾸준히 거론되는 이유는 AI가 요구하는 메모리의 양이 워낙 빠르게 늘고 있어서입니다. 가속기에 데이터를 빠르게 공급하는 것만큼 거대한 AI 모델과 추론 과정에서 만들어지는 데이터를 담아둘 공간도 중요해졌습니다. HBM의 성능만 높이는 것으로는 해결하기 어려운 또 다른 문제가 생긴 겁니다.
 HBM은 여러 개의 D램을 수직으로 쌓고 넓은 입출력(I/O)을 통해 GPU와 대량의 데이터를 주고받는 메모리입니다. 기존 D램보다 훨씬 높은 대역폭을 확보할 수 있어 AI 연산에서 발생하는 메모리 병목을 줄이는 데 유리합니다. 최근 HBM이 8단에서 12단, 향후 16단까지 높아지는 것도 대역폭뿐 아니라 더 많은 데이터를 담기 위한 용량 수요와 맞닿아 있습니다.
 문제는 HBM의 용량을 계속 늘리는 데 한계가 있다는 점입니다. D램을 더 높게 쌓거나 GPU 주변에 더 많은 HBM을 배치하면 용량을 확보할 수 있지만 패키지 면적과 전력, 제조 난도가 함께 높아집니다. 일반 D램보다 가격도 크게 비싸죠. AI가 사용하는 모든 데이터를 HBM에 넣는 방식은 성능 측면에서는 유리해도 비용과 시스템 설계 측면에서는 부담이 될 수밖에 없습니다.
 CXL은 이 지점에서 역할을 맡습니다. CXL은 CPU와 GPU, 메모리 등 서로 다른 장치를 고속으로 연결하는 인터커넥트 기술입니다. 이를 활용하면 GPU에 직접 붙어 있는 HBM 외에도 서버 내부나 외부에 별도의 D램을 두고 메모리 용량을 확장할 수 있습니다. 여러 가속기가 하나의 대용량 메모리 공간을 나눠 쓰는 구조도 만들 수 있죠.
 <div contents-hash="9544559d568e5bc6f5b5278c560cb4716e25c33d43e26633eaa351395aca64b8" dmcf-pid="65A8Vl8Bv8" dmcf-ptype="general">
 쉽게 말하면 모든 데이터를 가장 빠르고 비싼 HBM에 넣을 필요가 없어지는 겁니다. 당장 연산에 필요한 데이터는 GPU와 가까운 HBM에 두고, 상대적으로 빠른 접근이 덜 중요한 데이터는 CXL로 연결된 D램에 저장하는 식입니다. 메모리마다 잘하는 일을 나눠 맡기는 이른바 '계층형 메모리(Memory Tiering)'입니다.
 </div>
 <figure class="figure_frm origin_fig" contents-hash="141dcace64a7463d1deb12f97b41719d226fd0bc98bc4cc2e0b2879d766a4412" dmcf-pid="P1c6fS6bl4" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/26/552796-pzfp7fF/20260926090024864sxhj.png" data-org-width="640" dmcf-mid="7byjgpjJlL" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/26/552796-pzfp7fF/20260926090024864sxhj.png" width="658">
 </figure>
 최근 AI 추론에서 중요성이 커진 키값(KV) 캐시가 대표적인 사례입니다. KV 캐시는 생성형 AI가 이전에 계산했던 내용을 다시 계산하지 않도록 중간 결과를 저장해두는 공간입니다. 대화가 길어지고 한 번에 처리하는 사용자 수가 많아질수록 KV 캐시도 함께 커지죠. 이를 모두 HBM에 올려두면 정작 빠른 연산에 필요한 데이터가 사용할 공간까지 줄어들 수 있습니다.
 이에 따라 필요한 KV 캐시는 HBM에 두고 나머지는 CPU D램이나 CXL 메모리로 옮기는 연구가 활발해지고 있습니다. CXL을 활용해 GPU 로컬 메모리에서 일부 데이터를 빼내더라도 필요한 시점에 다시 불러오는 방식입니다. HBM의 높은 대역폭을 포기하지 않으면서 부족한 용량을 상대적으로 저렴한 D램으로 채우려는 시도인 겁니다.
 실제로도 이와 같은 연구가 현실화되는 움직임이 나타나고 있습니다. 프라임마스와 마이크론은 지난 8월 열린 FMS 2026에서 CXL 기반 공유 메모리 시스템 '아바코(Abaco)'를 공개했습니다. 미국 에너지부 산하 퍼시픽노스웨스트국립연구소(PNNL)에 구축할 이 시스템은 하나의 랙에서 100테라바이트(TB)가 넘는 CXL 기반 공유·풀링 메모리를 제공하도록 설계됐습니다. CPU와 GPU 클러스터가 수백TB 규모의 DDR5 메모리를 함께 활용하는 구조입니다.
 함께 공개한 'SLiM'은 AI 추론 과정에서 빠르게 커지는 KV 캐시를 겨냥했습니다. 여러 서버가 수십TB 규모의 공유 D램에 접근하도록 해 HBM 등 로컬 메모리가 떠안던 용량 부담을 낮추는 방식입니다. 실제 AI 인프라에서도 모든 메모리를 가속기 주변에 몰아넣기보다 데이터의 성격에 따라 위치를 나누려는 시도가 시작된 셈입니다.
 이런 구조가 확산된다고 해서 HBM의 역할이 줄어드는 것은 아닙니다. 오히려 CXL이 대용량 메모리 확장을 맡으면 HBM은 본래 강점인 높은 대역폭과 빠른 데이터 공급에 더 집중할 수 있습니다. HBM이 AI 시스템에 필요한 모든 메모리 용량을 책임지는 대신 GPU가 당장 연산할 데이터를 처리하는 '고속 메모리'로 역할이 더욱 뚜렷해지는 겁니다.
 HBM의 기술 개발 방향도 이와 맞닿아 있습니다. HBM4는 연산장치와 연결되는 I/O 수를 기존 1024개에서 2048개로 두 배 늘렸습니다. HBM4E에서는 핀 하나가 처리하는 데이터 속도까지 더 높이는 방향으로 개발이 이어지고 있습니다. D램을 얼마나 많이 쌓느냐뿐 아니라 같은 시간에 얼마나 많은 데이터를 가속기로 전달하느냐가 HBM 경쟁의 중요한 축으로 자리 잡고 있다는 의미입니다.
 물론 CXL이 당장 모든 AI 서버에 적용될 가능성은 높지 않습니다. HBM보다 데이터 접근 속도가 느리고 새로운 하드웨어와 소프트웨어 체계도 갖춰야 합니다. HBM을 충분히 탑재하는 기존 구조만으로 성능과 비용을 맞출 수 있다면 굳이 시스템을 복잡하게 바꿀 이유도 없습니다.
 다만 AI 모델과 추론 데이터가 계속 커진다면 얘기가 달라질 수 있습니다. 가장 빠른 HBM에 모든 데이터를 담는 것보다 데이터의 중요도와 사용 빈도에 따라 여러 종류의 메모리를 나눠 쓰는 편이 효율적일 수 있어서입니다. CXL이 주목받는 이유도 HBM을 대신해서라기보다 이런 선택지를 만들어준다는 데 있습니다.
 결국 CXL과 HBM의 관계는 경쟁보다는 역할 분담에 가깝습니다. HBM은 가속기 가까이에서 높은 대역폭을 담당하고, CXL은 부족한 메모리 용량을 넓히고 여러 장치가 이를 공유할 수 있도록 돕습니다. 내년부터는 관련 연구가 실제 상용화 단계로 올라오는 만큼, 앞으로의 컴퓨팅 구조가 어떻게 바뀔지도 지켜 볼 대목입니다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

"10년간 넷플 시청한 나, 분석해줘"…AI에 분석 맡겼더니 흥미로운 답변 "부산 호텔 예약해줘" AI에 믿고 맡겼는데…'찜찜하네' [홍민성의 테토남]

댓글 총 0개

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기