HBM의 아버지 김정호 교수 인터뷰
AI 연산 주도권, GPU에서 HBM으로
韓 반도체 기업, 제 2의 엔비디아될 기회
프레임워크·광통신·냉각 기술 확보해야

[이데일리 임유경 기자] 고대역폭 메모리(HBM)가 인공지능(AI) 연산 성능을 좌우하는 핵심 부품으로 자리잡은 가운데, HBM의 아버지로 불리는 김정호 KAIST 전기및전자공학부 교수가 향후 10~15년 이내 AI 컴퓨팅 기술의 주도권이 그래픽처리장치(GPU)에서 HBM으로 옮겨가게 될 것이라고 전망해 주목된다. 그는 HBM이 GPU를 보조하는 메모리 역할을 넘어 직접 연산 기능을 수행하는 장치로 진화할 것으로 관측하면서 우리나라 반도체 산업이 이 흐름을 주도하기 위한 준비를 지금부터 시작해야 한다고 당부했다.

김 교수는 최근 이데일리와의 인터뷰에서 “다가오는 HBM 센트릭 컴퓨팅(HCC) 시대를 대비해야 한다”면서 이같이 강조했다.

김 교수는 2040년 상용화될 것으로 예상되는 HBM8까지 기술 로드맵을 소개하면서 “지금은 중앙처리장치(CPU)가 프로그램을 작동시키는 역할을 하고 GPU가 행렬 계산을 하고 HBM은 여기에 필요한 메모리 기능만 하고 있는데 앞으로는 CPU와 GPU 기능 상당 부분이 HBM에 포함될 것”이라고 전망했다.

김정호 KAIST 전기및전자공학부 교수(사진=KAIST)

내년 본격 상용화가 예상되는 HBM4부터 역할 확장이 시작될 것으로 그는 내다봤다. HBM4은 기존 최신 제품인 HBM3E와 비교해 대역폭이 크게 늘어나면서 데이터 처리 속도가 크게 향상된다. HBM은 여러 층의 메모리를 수직으로 쌓고 층간을 입출력(IO) 단자로 연결해 만드는데, HMB4는 이 IO 수가 2048개로 기존 대비 2배 늘면서 더욱 높은 대역폭을 제공할 수 있게 됐다. GPU와 HBM 사이에 대역폭은 AI 연산 속도를 결정하는 중요 요소다.

더 중요한 변화는 건물의 로비 및 중앙 통제실 역할을 하는 베이스 다이를 맞춤형으로 제작할 수 있게 된다는 점이다. 이 같은 커스텀 베이스 다이를 채택하면서 엔비디아 등 팹리스 기업에서 요구하는 다양한 기능을 넣을 수 있게 됐다. 김 교수는 여기에 GPU 연산 기능 일부가 들어가게 될 것으로 예상했다. 그는 “HBM4에선 소수점 8자리(FP8)의 간단한 계산이 가능해질 것”이며 “데이터 압축, 데이터 에러 교정 이런 같은 메모리 근처에서 해야 하는 계산 일부는 GPU까지 갈 필요 없이 HBM 베이스 다이에서 이뤄질 것”이라고 설명했다. HBM 베이스 다이에 연산 기능이 포함되면 발열 문제 해결이 필요해진다. 이에 따라 HBM5부터는 HBM 패키지 전체를 냉각수에 완전히 잠기게 하는 액침 냉각(Immersion Cooling)이 도입될 것으로 봤다.

이후 AI 연산의 효율성을 높이기 위해 컴퓨팅 구조가 HBM 중심으로 크게 재편될 것이라는 게 김 교수의 예상이다. 그는 HBM의 구조는 기존의 단순 스택형에서 ‘타운’ 형태로 진화할 것으로 전망했다. 각 HBM 스택이 독립적인 연산 기능과 통신 기능을 갖는 모듈처럼 동작하며, HBM 옆에는 플래시 메모리(HBF), DDR 메모리, 네트워크 인터페이스가 붙는 ‘메모리 타운’ 개념이 본격화된다. HBM 자체가 하나의 시스템 반도체로서 작동하게 되는 것이다.

김 교수는 “GPU와 HBM은 백화점과 주상복합 아파트처럼 근접한 관계로 배치돼 있다”며 “고속 데이터 전달을 위해 지하로 고속도로를 깔고, 고층 아파트처럼 D램을 쌓고, 층간 데이터를 수직으로 연결하기 위해 엘리베이터 역할을 하는 TSV를 배치한다”고 비유했다. 이어 “지금은 데이터가 HBM에서 옆 건물에 있는 GPU로 갔다 와야 하는데, 같은 건물에서 모든 데이터 처리가 이뤄지면 일종의 층간 엘리베이터만 타면되기 때문에 훨씬 속도가 올라간다. HBM에서 엘리베이터 역할을 하는 TSV 개수를 늘리면서 대역폭을 확대할 수도 있다”고 부연했다.

[이데일리 김일환 기자]

[이데일리 김일환 기자]

냉각 기술에 진화도 동시에 이뤄져, HBM 메모리의 3D 적층 구조 안으로 냉각수를 직접 흘려보내는 ‘임베디드 쿨링(Embedded Cooling)’ 방식이 도입될 것으로 봤다. 김 교수는 “HBM7부터는 3D 적층 구조 내 발생하는 열을 효과적으로 방출하기 위한 냉각 솔루션이 필요해진다”며 “반도체 내부를 냉각수가 직접 지나가야 한다”고 말했다.

HBM8부터는 기판(인터포저) 반대쪽에도 HBM이 실장되는 ‘풀 3D’ 구조가 완성될 것으로 내다봤다. 그는 “기판 상단에 GPU 및 HBM 이 실장되어 있는 2.5D 구조 대비 저지연·고성능 대역폭 제공, 및 메모리 용량 확장이 가능해진다”고 설명했다.

HBM8부터는 광통신이 주요 기술로 부상한다. 김 교수는 “TSV가 신호를 광속으로 보내야 되는데 광속으로 보내는 과정에서 역TSV하고 노이즈 커플링이 생긴다”며 “이에 따라 TSV도 차폐 구조가 돼야 한다”고 설명했다. 또 “HBM과 HBM끼리도 GPU나 CPU를 거치지 않고 광통신을 통해 데이터를 주고 받아야 한다”고 했다.

이 같은 HBM 센트릭 컴퓨팅 시대에 얼마나 잘 준비가 되어 있느냐에 따라 우리나라 반도체 기업들의 명운이 달라질 수 있다. 김 교수는 “삼성전자나 SK하이닉스가 HBM 센트릭 컴퓨팅 시대 주도권을 잡을지, 아니면 엔비디아가 메모리 반도체 기업을 인수해 또한번 주도권을 가져갈지, 이제 새로운 반도체 전쟁이 시작됐다”고 진단했다. 이어 “메모리에 강한 우리나라 반도체 기업들이 이 기회를 잡기 위해 잘 준비해야 한다”며 “HBM을 위한 쿠다 같은 프레임워크, HBM 간 광통신, HBM와 플래시 메모리의 통합, 냉각 기술이 중요해질 것”이라고 강조했다.

임유경 (yklim01@edaily.co.kr)

Copyright © 이데일리. 무단전재 및 재배포 금지.