초전력 요구되는 모바일 D램에 AiM 적용
PIM이 가속기 넘어 메인 메모리 역할까지 가능하도록 해야
모바일 AP 시스템에서 어떻게 통합할 것인지도 과제
[시사저널e=고명훈 기자] “회사가 온디바이스 인공지능(AI)에 이 정도로 관심을 가졌던 적이 없습니다. 아무리 큰 기회가 왔어도 잘 만들지 못하면 안 되기에 열심히 개발중입니다.”
권용기 SK하이닉스 솔루션개발팀장은 17일 서울 서초구 한국컨퍼런스센터에서 열린 ‘2024 온디바이스 AI 기반 임베디드 최신 기술 동향 세미나’에서 “차세대 메모리에서 PIM의 경우 데이터센터형과 클라우드형 제품도 준비하겠지만, 차세대 AiM의 키 챌린지로는 아무래도 모바일 메모리를 준비하고 있다”고 말했다.
SK하이닉스는 온디바이스 AI 수요가 급증함에 따라 기존 AI 서버용으로 개발해온 프로세싱인메모리(PIM) 솔루션을 모바일용 메모리 제품으로 확대하는 것을 검토중이다.
SK하이닉스는 지난 2022년 PIM을 적용한 ‘GDDR6-AiM’을 처음 개발하고, 작년에는 이를 기반으로 한 생성형 AI 가속기 카드 ‘AiMX’ 시제품을 만들어 서버 시스템에서 시연하기도 했다. 향후에는 서버용 D램뿐만 아니라 초저전력이 요구되는 모바일 D램(LPDDR)에 AiM을 적용할 수 있는 기술을 적극 연구할 방침이다.
권 팀장은 AiM을 모바일 D램에 적용하기 위해 가속기와 메인 메모리 두 가지 모두에서 활용하는 방법과 함께, AiM을 모바일 AP 시스템에 어떻게 통합할 것인지에 대한 부분이 가장 큰 과제가 될 것이라고 전망했다.
그는 “모바일은 굉장히 협소한 환경이라서 모바일 AP 칩 위에 메모리를 꽂는 방법도 있을 수 있겠지만, 현재는 어려운 상황”이라며 “PIM이 생성형 AI가 실행되는 디바이스 환경에서는 가속기의 역할도 하겠지만 메인 메모리 역할도 해야 하기 때문”이라고 설명했다.
권 팀장은 “LLM 파라미터가 모두 D램에 있어야 성능을 낼 수 있으나, 다양한 앱을 구동해야 하므로 평소에는 AI 모델 파라미터를 UFS(Universal Flash Storage)에 저장해 둬야 하며, LLM 앱 구동 시에 빠르게 모바일 스토리지에서 AI 모델을 D램으로 로딩해 동작시켜야 한다”라며, “이용자가 원하는 앱을 실행했을 때 앱이 얼마나 빨리 런칭되는 지가 스마트폰의 주요 경쟁력 중 하나가 되는 것”이라고 말했다.
또 “최신 AP 칩을 사용하고 작은 사이즈의 거대언어모델(LLM)을 사용한다고 해도, 최대 성능으로 초당 일정 단어 수 이상 생성이 힘들며 에너지 소모도 클 것으로 예상되므로 보다 낮은 파워 소모로 높은 성능을 낼 수 있는 솔루션 필요하다”며 “앱이 켜진 상태에서 명령 후 얼마나 빨리 답변을 주는지 또는 이때 전력을 얼마나 적게 소모하는지가 LLM 앱의 가장 큰 경쟁력”이라고 부연했다.
앞서 삼성전자도 지난해 개최한 글로벌 반도체 학술행사 ‘핫칩스 2023’에서 LPDDR5-PIM을 공개한 바 있다. 모바일용 D램에 PIM을 결합한 엣지 디바이스용 제품으로, 회사에 따르면 기존 D램 대비 전력 소모량을 72% 감축했다.
과학기술정보통신부에 따르면 PIM 반도체 세계 시장 규모는 2025년 최대 374조원 규모로 성장할 것으로 전망된다. 온디바이스 AI 영역으로 활용 범위가 확대되면 성장세는 더욱 가파라질 것으로 예상된다.
SK하이닉스는 향후 PIM 개발에서도 비용 최적화에 방점을 두고 연구를 지속할 계획이라고 밝혔다. 권 팀장은 “1순위도 비용, 2순위도 비용, 3순위도 비용이었기 때문에 PIM을 처음 개발할 당시 다양한 타입의 메모리 중에서도 비용을 절감할 수 있는 솔루션으로 생각했다”며 “앞으로도 보다 비용 효율적인 클라우드 및 엣지 생성 AI 솔루션을 위한 차세대 AiM을 탐색해나갈 것”이라고 강조했다.