이 기사는 2023년 12월 06일 07:58 thebell 에 표출된 기사입니다.

"초거대 인공지능(AI)이 메모리의 새로운 응용처로 급부상하고 있다. 특히 PC, 스마트폰과 같이 사용자 기기에 AI를 구현할 수 있는 온디바이스(On-device) AI가 확산되면서 수요는 더욱 확대될 것이다."

이정배 삼성전자 메모리사업부장(사장)의 말처럼 메모리 시장에서 AI는 핵심 키워드가 됐다. 특히 초거대 AI는 기존 AI보다 수백배 이상 데이터 학습량이 필요해 이를 감당할 수 있는 고성능·고용량·저전력 메모리가 요구되고 있다. 그러면서도 총소유비용(TCO)까지 낮출 수 있어야 한다.

삼성전자는 고대역폭 메모리(HBM), 프로세스 인 메모리(PIM), 저지연성 와이드(LLW) D램 등 다양한 라인업을 통해 대응에 나선 상태다.


◇한발 늦은 HBM, 추격 본격화…내년 말 역전 목표

올해 메모리 업계에서 최대 화두는 HBM이었다. 이 제품은 D램 여러 개를 실리콘관통전극(TSV) 공정으로 쌓은 고부가 메모리다. AI 서버에서 쓰이는 그래픽처리장치(GPU) 성능이 대폭 올라가면서 일반 D램으로 소화가 어려워지자 HBM이 주목을 받은 것이다. 대역폭은 전송속도와 비례해서 높을수록 데이터 처리가 빨라진다.

HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E) 순으로 개발되고 있다. 삼성전자는 3세대까지는 다소 앞섰으나, 추가 투자에 소극적인 경향을 나타내면서 4세대부터 SK하이닉스에 뒤처지게 됐다. 엔비디아발 첨단 GPU 공급으로 HBM 시장이 4세대에 이르러 터지면서 SK하이닉스가 먼저 D램 부문 흑자전환하는 등 관련 수혜를 사실상 독점 중이다.

5세대 역시 SK하이닉스가 내년 2분기 양산 예정으로 삼성전자(내년 3분기)보다 먼저다. 이에 삼성전자는 판세를 뒤집기 위해 HBM 물량 확대를 예고했다. 2024년 생산능력(캐파)을 2023년 대비 2.5배 늘리기 위해 대규모 시설투자를 단행 중이다. 올해 삼성전자는 불황 속에서도 반도체 분야에 50조원 이상을 투입할 전망인데, 내년도 이 수준을 유지할 것으로 관측된다.

지난 2분기 기준으로 HBM 캐파는 삼성전자2만5000개, SK하이닉스 3만5000개로 추정된다. 업계에서는 양사 투자 속도와 규모에서 차이가 나는 만큼 내년 4분기에는 각각 15만~17만개, 12만~14만개 수준으로 삼성전자가 역전할 것으로 보고 있다.

이 사장은 "HBM은 AI 시대에 고객에게 새로운 가치를 제공할 수 있는 핵심 제품 중 하나다. 2016년 고성능컴퓨팅(HPC)향 HBM2를 업계 최초 상용화하면서 해당 시장을 개척했고, 이는 오늘날 AI향 HBM 시장 초석이 됐다"면서 "HBM3 양산 중, HBM3E 개발 중으로 앞으로도 다년간의 양산 경험을 통해 검증된 기술력과 다양한 고객과의 파트너십을 적극 활용할 것"이라고 강조했다.

◇연산 가능한 'PIM', 온디바이스 AI 특화 'LLW D램'

PIM, LLW D램 등도 향후 AI 산업에서 비중 있는 역할을 할 것으로 관측된다. PIM은 D램에 연산이 가능한 프로세서 기능을 더한 반도체다. 통상 메모리와 프로세서가 완전히 분리돼 두 칩간 데이터가 오가는 과정에서 병목 현상이 잦았다. AI 분야에서의 데이터 급증으로 과부하가 더욱 커졌는데, 이를 어느 정도 해소할 수 있도록 PIM의 개념이 등장했다.

삼성전자는 더 나아가 HBM과 PIM를 결합하기로 했다. HBM-PIM이 주인공이다. PIM 기술을 통해 프로세서를 HBM에 바로 구현해 일부 데이터 연산 작업을 자체 처리할 수 있게 했다. 결과적으로 데이터 이동을 줄이고 AI 에너지 및 데이터 효율성을 향상시킨 것이다.


앞서 삼성전자는 AMD의 GPU 'MI-100' 가속기 카드에 HBM-PIM을 탑재한 바 있다. 리사 수 AMD 최고경영자(CEO)는 "PIM을 활용하면 기존 메모리로 정보 처리할 때보다 85% 이상 전력을 절감할 수 있다"고 밝혔다.

아직 PIM 고도화가 이뤄지지 않아서, 본격적으로 도입되기까지는 시간이 필요한 상태다. 삼성전자는 HBM과 PIM에 대한 투자를 동시다발적으로 진행하면서 시너지를 내겠다는 계획이다.

LLW D램은 데이터가 드나드는 통로인 입출구(I/O)를 늘려 로우파워(LP)더블데이터레이트(DDR) 대비 대역폭을 높인 특수 D램이다. 이러한 특성으로 기기 자체에서 AI를 구현하는 '온디바이스 AI'에 적합하다는 평가를 받는다.

삼성전자의 경우 LLW D램을 확장현실(XR) 기기 등에 적용할 방침이다. 회사는 2020년 전후로 온디바이스 AI 경량화 알고리즘을 개발하는 등 관련 경쟁력을 향상하고 있다.

◇무궁무진한 삼성 메모리 확장

이외에도 어드밴스드 솔리드스테이트드라이브(SSD), 컴퓨트 익스프레스 링크(CXL) 인터페이스 등도 AI 시대 대안을 꼽힌다. 삼성전자는 시맨틱 SSD, 스마트 SSD 등 기존품 대비 성능을 대폭 높인 SSD를 개발했다.

작은 크기의 데이터를 읽고 쓰는 데 최적화된 시멘틱 SSD를 AI 사용하면 성능을 최대 20배 높일 수 있다는 후문이다. 스마트 SSD는 AMD 어댑티브 플랫폼 기반으로 PIM과 유사하게 스토리지에 프로세서를 장착한 제품이다.

CXL은 프로세서와 메모리 사이 고속 및 고용량 연결을 위한 개방형 표준이다. 삼성전자는 CXL의 고유한 강점을 활용해 하이퍼스케일 애플리케이션 성능과 효율성을 개선하겠다는 심산이다. 대표적으로 CXL-프로세서 니어 메모리(PNM)가 있다.

역시 PIM과 유사한 개념으로 중앙처리장치(CPU)와 메모리 사이 데이터 이동을 감소시키는 것이 골자다. 궁극적으로 AI 모델의 로딩 속도를 2배, 용량을 최대 4배까지 향상하는 것으로 알려진다.