퀄컴 “생성형 AI 비용 줄이려면 하이브리드 모델이 최적”

[시사저널e=고명훈 기자] “한국 의료시스템이 세계로부터 각광받고 있는 것이 바로 대형 병원과 중소형 병원의 업무 분담입니다. CT, MRI 등 의료 기기들이 보급된 중소형 병원에서 1, 2차 검진을 받고, 3차 병원으로 가는 시스템이죠. 사회적 비용을 줄이려면 이를 최대한 활용해야 합니다. 퀄컴이 추진하는 하이브리드 AI가 바로 이와 같은 맥락입니다.”

글로벌 팹리스 퀄컴이 생성형 인공지능(AI)의 비용을 줄이기 위한 핵심 모델로 하이브리드 AI를 지목했다. 기기 자체에서 학습과 추론을 처리하는 ‘온디바이스 AI’ 솔루션을 통해 클라우드 AI로 가는 과부하를 줄이겠단 계획이다.

김상표 퀄컴 부사장은 24일 열린 ‘한국전자전(KES) 2023’ 오프닝 키노트에서 “생성형 AI 시대에서 비용을 고려한 에코시스템을 구축하기 위해서는 하이브리드 AI가 맞는 모델이라고 생각한다”고 말했다.

이어 “기기 내에서 처리가 가능하다고 판단되는 부분은 바로 처리하고 어려울 때만 클라우드의 도움을 받는 것”이라며 “고깃집으로 따지면 초벌구이를 해주는 것”이라고 부연했다.

디바이스상에서 이미 한번 AI 알고리즘을 사용해 전처리를 해주면, 클라우드에서 책임져야 할 부하가 많이 줄게 된단설명이다. 퀄컴은 하이브리드 AI 구현을 위한제품으로 생성형 AI 전용 엔진인 헥사곤 프로세서를 소개했다. 

김 부사장은 “핵사곤 프로세서가 혼자 일하는 건 아니고 그 주변에 있는 블록들, 예를 들어 그래픽처리장치(GPU)와 센싱 허브, 메모리 등의 효율적 관리를 통해서 생성형 AI의 퍼포먼스를 극대화하려 한다”라며, “실제 모바일 플랫폼에서 테스트한 결과 파워 관점에서 퀄컴의 AI 성능을 100%라고 봤을 때 시장에 나와 있는 다른 솔루션들은 30~50% 수준이었고, 피크 퍼포먼스 기준으로 다른 솔루션은 30~40% 수준”이라고 설명했다.

퀄컴은 실제 지난해 11월 출시한 AP칩 스냅드래곤8 2세대에 최신 헥사곤 프로세서를 탑재한 바 있다. 

김 부사장은 “헥사곤에서 돌렸을 때가 GPU나 중앙처리장치(CPU) 대비 훨씬 출력도 빠르면서도 전력 사용량은 3분의 1정도 수준에 그쳤다”고 강조했다.

그는 “최근 대용량의 모델로 많은 애플리케이션이 나오고 있으며 여러 형식의 입력과 출력이 유기적으로 이뤄져야 한다. 또 모델이 작더라도 생산역량(capability)은 계속 증가하는 상황”이라며, “하드웨어 측면에서 컴퓨팅 파워와 커뮤니케이션 대역폭, 메모리에 대한 한계가 있고, 소프트웨어도 서비스의 개선될 부분이 많다”고 말했다.

퀄컴은 제조사와 개발자를 위한 종합 인프라를 위해 AI 스택을 구축하고, AI 개발 환경을 조성할 계획이다.

김 부사장은 “파트너사들과의 협업을 위해 AI 스택을 준비했으며 퀄컴 AI 스튜디오라는 개발 환경도 제공하고 있다”며 “이들을 활용하면 서로 다른 종의 기기 간 변환도 쉽게 할 수 있을 것”이라고 말했다.