[이코노미스트 김두용 기자] ‘AI(인공지능) 에이전트’ 시대가 열리면서 데이터 병목 현상 해결이 가장 큰 과제로 꼽히고 있다. 삼성전자와 SK하이닉스 모두 적층 구조로 병목 현상을 해결하겠다고 나선 가운데 차세대 기술에 대한 관심이 높아지고 있다. 

삼성전자와 SK하이닉스는 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 ‘AI 인프라 서밋’에서 차세대 메모리 기술을 제시했다. 

먼저 삼성전자는 차세대 HBM(고대역폭 메모리) 기술로 메모리를 3차원(3D)으로 엊는 ‘zHBM’ 개념을 세계 최초로 제시했다. zHBM은 3D 적층 차세대 고대역폭 메모리로 AI 가속기 위에 메모리를 직접 올리는 구조로 병목을 줄이고 응답 속도를 10배 끌어올리겠다는 비전이 담긴 기술이다. 

김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무는 zHBM을 언급하면서 "현재 대화형 AI 시스템의 응답속도는 이용자당 초당 100토큰 수준이다. 앞으로 에이전트형 AI를 위해 이를 초당 1000토큰으로 10배 끌어올리는 양자 도약(퀀텀 점프)을 목표로 하고 있다"고 밝혔다.

그는 기존 AI 가속기 옆에 HBM를 나란히 배치하는 2.5D 방식에서 벗어나, 가속기 상단에 HBM을 직접 얹는 수직 적층형 'zHBM'이 유일한 돌파구라고 강조했다.

김 상무는 "호텔 객실 내에 1층 로비로 직행하는 전용 엘리베이터를 두는 것"이라고 비유했다.

zHBM을 통해 HBM5(8세대)와 비교해 최대 8배 성능과 3배 이상의 전력 효율을 구현할 수 있다는 설명이다. 

이 과정에서 가속기에서 발생한 열이 메모리로 전해져 생길 수 있는 발열 문제는 AI 가속기 고객사들과 초기 설계 단계부터 맞춤형으로 협력하는 공동 설계 체계를 구축해 해결하겠다는 방침이다.

SK하이닉스는 이날 ‘연산 가능 메모리’(PIM·Processing-In-Memory)를 통해 병목 현상을 해결하겠다는 비전을 제시했다. 

임의철 SK하이닉스 솔루션AT 담당 부사장은 그래픽처리장치(GPU)와 HBM 중심 AI 인프라의 한계를 PIM으로 극복하겠다고 밝혔다. PIM은 데이터를 메모리에서 GPU 등 AI 가속기로 옮겨 계산한 뒤 다시 메모리로 전송하던 기존 구조와 달리 간단한 연산은 메모리 내부의 연산장치가 직접 처리하는 방식이다.

임 부사장은 현재 AI 업계에서 초고속 추론이 필요할 때 주로 S램을 사용한다는 점을 언급하면서 "S램(Static Random Access Memory) 기반 체계는 높은 대역폭을 제공하지만 용량과 비용 측면에서는 명확한 한계가 있다"고 지적했다.

그러면서 "PIM은 같은 면적에서 S램 대비 약 300배에 달하는 대용량을 제공하면서도 높은 내부 대역폭을 유지한다"고 설명했다. S램은 D램과 달리 데이터를 주기적으로 재충전할 필요가 없어 읽기 및 쓰기 속도가 매우 빠르다는 장점이 있지만 구조가 복잡하고 회로 면적을 많이 차지한다는 단점이 뚜렷하다. 

임 부사장은 회로 면적 증가에 따른 메모리 용량 부족과 단가 상승 등 그간 PIM의 한계로 거론돼온 요소에 대해선, 메모리 다이와 연산 다이를 따로 제작해 수직 연결하는 '혼합접착'(하이브리드 본딩) 기술로 한계를 해결할 수 있다고 강조했다.

또 PIM을 개별 칩 단위를 넘어 서버 랙 수준으로 확장하는 개념도 소개했다. 임 부사장은 모든 AI 서비스를 GPU와 HBM 조합 한 가지만으로 처리하는 단일 인프라 시대를 넘어 PIM과 고대역폭 플래시(HBF) 등 메모리 계층 전반에 걸친 하드웨어 혁신과 소프트웨어 최적화, 통합 설계가 이뤄져야 한다는 점을 강조했다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지