지난해 韓서버 매출 전년 比 72.7% 성장···엔비디아 GPU 도입↑

국내 GPU 서버 비중 45%로 확대···2년 연속 세자리수 성장 이재명 정부, GPU 5만개 이상 확보 등 100兆 AI 투자 계획

2025-06-08     고명훈 기자
엔비디아의 서버용 H200 텐서 코어 그래픽처리장치(GPU) / 사진=엔비디아

[시사저널e=고명훈 기자] 지난해 국내 서버 매출액 규모가 큰 폭의 성장률을 기록하며 5조원을 돌파한 것으로 나타났다. 인공지능(AI) 산업 확대에 따라 빨라진 그래픽처리장치(GPU) 서버로의 전환이 서버 시장 성장을 견인한 것으로 분석된다.

시장조사업체 한국IDC에 따르면 지난해 매출액 기준 국내 서버 시장은 전년(2조 9782억원) 대비 72.7% 증가한 5조 1425억원으로 집계됐다. 전년 대비 매출이 5.1% 감소했던 지난 2023년과 달리, 이번엔 큰 폭의 성장세를 거뒀다.

GPU 서버의 성장세가 두드러졌다. 2023년에 이어 작년에도 세자리수의 높은 성장률을 기록하며 전체 서버 시장의 성장을 주도한 것으로 분석된다. 특히, 평균판매단가(ASP)가 높은 8개의 GPU를 탑재한 서버가 크게 성장했다. 이로 인해 매출액 기준 국내 서버 시장에서 GPU 서버 비중은 지난 2023년 26.2%에서 지난해 45%까지 확대됐다.

논(non)-GPU 서버 또한 전년 대비 29.6% 성장한 것으로 나타났다. 팬데믹 이후 하드웨어 공급이 안정화되면서, 그간 지연돼왔던 제조 및 디지털 서비스 사업자의 랙서버 도입이 본격화된 것으로 파악된다.

최근 국내에선 생성형 AI 서비스의 급격한 확산으로 GPU 서버에 대한 수요가 빠르게 증가하는 추세다. 업계에선 병렬 연산에 강점을 둔 GPU 서버를 대규모 AI 모델의 학습 및 추론에 최적화된 솔루션으로 지목하고 있다. 기존엔 직렬 연산 형태의 중앙처리장치(CPU)가 서버 인프라의 중심이었다면, 복잡한 연산을 요구하는 AI 모델에선 수많은 연산을 동시에 처리할 수 있는 GPU가 유리하기 때문이다.

서버 시장의 주도권이 CPU에서 GPU로 전환되면서 미국 GPU 전문 팹리스 기업 엔비디아가 AI 반도체 시장을 독점하게 됐다. 엔비디아는 고성능 GPU 하드웨어뿐만 아니라 쿠다(CUDA)를 중심으로 한 소프트웨어 생태계에 강점을 두고 있다. 이에 생성형 AI 서비스를 제공하는 글로벌 기업들은 엔비디아 GPU를 중심으로 필요한 AI 인프라를 구축하고 있다. IDC에 따르면 엔비디아는 GPU 내장 서버 시장에서 90% 이상의 시장 점유율을 보유 중인 것으로 전해진다.

다만, 엔비디아 최신 서버용 고성능 GPU는 가격대가 높고, 전 세계적으로 수요가 많아 공급 물량이 부족하단 문제점이 지적된다. 국내 산업에서도 AI 경쟁력 강화를 위해 GPU 등 하드웨어 도입에 대한 필요성이 높아지고 있지만, 이를 구하기 어려운 상황이다.

이재명 대통령은 후보 시절 공약에서 GPU 최소 5만개 이상 확보를 주 골자로 한 AI 투자 100조원 계획을 제시한 바 있다. 당시 이 대통령은 “국가 AI 데이터 집적 클러스터를 조성해 글로벌 AI 허브의 기반을 만들겠다”며, “AI 핵심 자산인 GPU를 최소 5만 개 이상 확보하고, AI 전용 NPU 개발과 실증을 적극 지원해 기술 주권을 확보하겠다”고 말했다.

김민철 IDC 수석연구원은 “최근 많은 기업의 IT 예산이 AI 및 생성형 AI 인프라 확충을 위한 GPU 도입에 집중하고 있지만, AI 분야에 대한 집중 투자 못지않게 중요한 것은 기존 IT 인프라에 대한 지속적인 관리와 투자”라며, “특히 노후화된 장비의 교체, 운영 중인 시스템에 대한 기술 지원 및 안정성 확보는 전체 IT 환경의 신뢰성과 연속성을 유지하는 데 핵심적인 요소”라고 설명했다.

그러면서 “AI 중심의 예산 편성과 더불어, 기존 장비에 대한 점검과 교체, 유지보수에도 균형 잡힌 투자가 병행돼야 한다”고 덧붙였다.