이 기사는 2023년 06월 30일 07:49 thebell 에 표출된 기사입니다.

KT와 KT클라우드가 인공지능(AI) 풀스택 구현을 위한 차세대 메모리 협력을 맺었다. 초거대 AI '믿음' 출시를 앞두고 데이터 처리 성능을 높인 차세대 메모리 솔루션 역량을 확보하기 위해 3사가 손을 잡았다.

핵심은 '메모리 병목현상' 해소를 위한 협업이다. 챗GPT 같은 언어 생성형 AI 모델이 제대로 구현되려면 빠른 데이터 전송이 필요한데 현재 반도체 기술로는 많은 시간을 소비해 시스템 효율이 떨어진다. 이 부분이 AI 기술 발전의 주요 걸림돌로 지목되고 있다.

◇삼성전자, 네이버 이어 KT AI에도 PIM·PNM 테스트

KT와 자회사 KT클라우드는 삼성전자와 함께 '한국형 AI 풀스택 구현을 위한 차세대 메모리 기술협력' MOU를 29일 체결했다. 삼성전자로선 네이버와 네이버클라우드 이후 또 다른 빅테크와의 협력이다. 삼성전자와 손잡은 네이버와 KT는 모두 AI란 공통분모를 갖고 있다.

협력의 핵심은 PIM(Processing-in-Memory)과 PNM(Processing-near-Memory)이란 메모리 반도체 솔루션이다. PIM은 데이터 저장기능에 특화된 메모리 반도체에 AI 반도체의 연산기능을 더한 제품이다. PNM은 메모리 반도체 가까운 위치에 연산 기능을 배치해 데이터 전송시간을 최소화하는 기술이다.


3사는 이번 협약을 통해 삼성전자의 PIM과 PNM 환경에서 KT 초거대 AI 믿음을 통한 △초거대 AI 모델의 메모리 영향성 분석 △AI 반도체 플랫폼 연구 △차세대 클라우드 솔루션 등 AI 풀스택 역량 강화를 위해 협력할 예정이다.

KT와 KT클라우드가 삼성전자와 손을 잡을 배경에는 AI의 난제인 메모리 병목현상이 있다. AI는 두뇌 역할을 하는 신경망처리장치(NPU)나 그래픽처리장치(GPU)가 데이터 저장에 특화된 메모리 반도체와 한 세트처럼 움직인다. AI 반도체가 메모리에 저장된 데이터를 꺼내와 초고속으로 연산해 추론과 판단을 하는 구조다.

오가는 데이터 양과 이동횟수가 많을수록 도로에서 차량이 정체되는 것처럼 데이터 이동이 느려지고 전력소비도 커진다. 특히 믿음 같은 초거대 AI는 방대한 양의 데이터를 초고속으로 연산하기 때문에 데이터 이동횟수가 기하급수적으로 늘어난다. 이에 따라 AI 서비스를 사용할 때 답변이 뚝뚝 끊기는 병목현상이 생긴다.

◇초거대 AI 믿음 출시 '눈앞'…난제 '병목현상' 솔루션 필수

삼성전자는 지난 3월 28일(현지시간) 미국 캘리포니아주 마우틴뷰에서 열린 '멤콘(MemCon) 2023'에서 이 같은 AI 병목현상의 대안으로 고성능 메모리에 연산기능을 내장한 고대역폭메모리(HBM)-PIM과 연산기능이 메모리 주변에 위치한 PNM을 제시했다.

PIM은 메모리 반도체 안에서 간단한 연산을 수행할 수 있어 데이터 이동횟수가 줄고 병목현상이 감소시키는 장점이 있다. PNM의 경우 데이터 전송시간을 최소화해 속도와 전력효율성을 높인다. 챗GPT와 같은 대규모 언어모델에서 메모리가 연산을 담당하는 프로세서로 데이터를 전달하는 데 많은 시간을 소비해 시스템 효율이 떨어지는 점을 해소하기 위한 솔루션이다.

삼성전자는 챗GPT에 HBM-PIM 기술을 적용할 경우 HBM만 탑재된 GPU 가속기에 비해 AI 모델 생성성능이 3.4배 이상 개선된다고 설명했다. PNM 기술 역시 기존 GPU 가속기 대비 메모리 용량은 4배 증가하고 AI 모델 처리 속도가 2배 이상 향상된다고 밝혔다.

KT는 AI 연산에 최적화된 반도체 NPU를 토종 반도체 설계업체(팹리스) 리벨리온과 함께 지난 5월 KT클라우드에 상용화했다. 이제는 소프트웨어와 인프라부터 AI 응용 서비스까지 모두 아우르는 제품과 서비스인 풀스택 역량을 갖출 계획이다. 국내 반도체 1인자인 삼성전자와 손을 잡은 이유다.