대용량 데이터 처리 가능하고 전력 소모 줄여
작은 메모리 공간에서 여러 AI 모델 작용하도록 지원
[시사저널e=고명훈 기자] 삼성전자가 인공지능(AI) 시스템온칩(SoC) 솔루션으로 차세대 AI로 지목되는 ‘에이전틱 AI’ 시장을 공략한다. 기존 생성형 AI는 클라우드와 온디바이스 AI 방식을 병행해서 구동됐다면, 향후엔 AI 시스템을 하나의 반도체에 통합함으로써 전력 효율성을 높이고 비용은 줄이겠단 구상이다.
박봉일 삼성전자 시스템LSI사업부 시스템온칩(SoC)사업팀 상무는 20일 더케이호텔서울에서 개최한 ‘2024 인공지능반도체 미래기술 컨퍼런스’에서 “우리가 생각하는 AI는 현재 클라우드와 온디바이스로 양분된 것을, 온칩으로 나와 있는 AI SoC로 가는 것”이라면서 “AI를 효과적으로 서비스하고 전력 효율성을 높이고 비용을 절약할 수 있는 솔루션으로 온칩 형태의 AI SoC를 제공할 생각이며, 이런 부분에 대해서 내부적으로 계속 논의하고 있다”고 말했다.
AI SoC는 AI 알고리즘과 학습 모델의 계산 요구 사항을 처리하도록 특별히 설계된 칩으로, 대량의 데이터를 빠르고 지능적으로 처리할 수 있단 장점이 있다. 삼성전자는 AI SoC 방식을 활용하면 온디바이스와 클라우드 방식의 각 단점을 모두 해소할 수 있다고 설명했다.
이를 통해 에이전틱 AI 시장을 공략한단 방침이다. 기존 생성형 AI가 훈련된 데이터를 기반으로 콘텐츠를 생성하는 모델이라면, 에이전틱 AI는 사용자의 의도를 파악해서 자율적으로 생각하고 행동하는 AI를 말한다. 여러 AI 모델들이 같이 구동된다는 특징이 있다.
현재 PC, 스마트폰 등에서 사용하는 생성형 AI는 기기 자체에서 데이터를 처리하는 온디바이스 방식을 주로 활용하되, 대용량의 데이터는 클라우드 방식으로 처리하는 게 일반적이다. 그러나 클라우드 방식으로 처리할 경우 데이터를 서버로 보내는 과정을 거쳐야 해서 전력 소모량이 많고 보안 관련 문제도 발생할 수 있는 우려가 있다.
박 상무는 “클라우드 AI는 대용량 서버와 전력소모, 공간 등으로 인해 비용이 많이 들지만, 온디바이스는 사용자 기기에서 데이터가 처리되기에 비용 측면에서 효과적”이라며 “다만 생성형 AI는 명령했을 때 한가지 액션만 지원하면 되지만, 에이전틱 AI는 멀티모달, 디퓨전 등 여러 가지 모들을 동시에 지원해야만 구현할 수 있어 온디바이스에서 여러 한계점들이 있다”고 설명했다.
그러면서 “AI 프로세서 내부에 있는 성능, 모델을 제작하기 위한 스토리지 요소와 같은 부분들을 효과적으로 저장하고 처리할 수 있는 방안들이 필요하다”고 말했다.
삼성전자는 AI SoC 구현을 위해 작은 메모리 공간에서 여러 AI 모델들이 작용할 수 있도록 압축하는 기법과 SoC 내부에 연산기를 지원하는 등 여러 방안을 검토 중이라고 밝혔다.
박 상무는 “스토리지를 기존 서버향에선 고대역폭메모리(HBM)나 HBM-PIM 등을 적용하고 있는데, 이를 온디바이스에 적용하기엔 전력 소모가 너무 크기 때문에 저전력으로 가능한 LPDDR을 사용한다”며 “적은 메모리 공간에서 많은 모델이 작용할 수 있도록 압축하는 기법들, 그리고 이 압축을 더 효과적으로 하는 양자화 기법들을 적용하고 있다”고 설명했다.
이어 “연산의 효율성을 높이기 위해 AI SoC 내부에 효율적으로 처리할 수 있는 연산기를 지원하고 있으며, 이외에도 소프트웨어 호환성을 지원하기 위해 여러 가지 비용들도 지원하고 있다”고 부연했다.