엔비디아 GPU, 최신 프레임워크 계속 활용 예정
차세대 엑사원 더불어 독자 파운데이션 모델 개발도 가속
[시사저널e=고명훈 기자] LG AI연구원이 엔비디아와 인공지능(AI) 모델 개발에 대한 기술 협력체계를 이어간다. 대표 AI 모델인 ‘엑사원(EXAONE) 3.0’과 올해 발표한 ‘엑사원 4.0’에 이어 차세대 모델에서도 엔비디아 그래픽처리장치(GPU)와 최신 플랫폼 등을 지속 활용한단 계획이다.
조현직 LG AI연구원 스쿼드 리더는 18일 서울 코엑스에서 열린 ‘엔비디아 AI 데이 서울’ 세션에서 발표를 마치고 기자와 만나 “엑사원 4.0에서도 엔비디아의 NeMo를 그대로 사용했고 GPU는 H200을 활용했다”며, “차세대 엑사원에서도 엔비디아 최신 기술을 받거나 또는 우리도 계속 개발에 기여하는 형태로 사용할 예정”이라고 말했다.
LG AI연구원은 그간 엑사원 개발 과정에서 엔비디아의 NeMo(신경 모듈) 프레임워크를 활용해왔다. NeMo는 엔비디아에서 개발한 맞춤형 생성형 AI모델 구축을 위한 엔드투엔드(end-to-end) 플랫폼으로, 거대언어모델(LLM)과 비전언어모델(VLM), 비디오 모델 및 음성 AI를 포함한 멀티모달 AI를 개발하고 이를 맞춤형으로 만들어 배포하고 최적화하는 과정까지 지원해준다.
LG AI연구원은 NeMo의 전문가 병렬 처리 기능을 사용해 효율적인 대규모 모델을 학습하고, 조건부 계산 방식을 구현해 추론 기능을 개발하는 등 방식으로 활용하고 있다고 전했다.
엔비디아의 GPU 기반 AI 가속기도 엑사원 모델 개발 과정에서 핵심 역할을 수행해왔다. 지난해 출시한 엑사원 3.0에는 엔비디아 호퍼 아키텍처 기반의 H100이, 올해 발표한 엑사원 4.0에는 그 후속 모델인 H200이 학습과 추론 과정에 활용됐다.
차세대 엑사원 모델에선 ‘메가트론 브릿지’ 등 엔비디아가 최근 개발한 학습 프레임워크도 활용될 것으로 보인다. 메가트론 브릿지는 기존 NeMo를 개선한 프레임워크로, 언어 모델의 학습과 배포 효율성, 확장성을 극대화하는 방향에 초점을 맞춰 설계한 솔루션이다. 개발자에게 더 큰 유연성과 사용자 지정 기능을 제공해 앞으로 NeMo를 대체할 프레임워크로 지목된다.
LG AI연구원은 그간 엔비디아와의 협업을 통해 엑사원 모델의 성능을 고도화했다고 설명했다. 엑사원은 LG AI연구원이 개발한 초거대 멀티모달 AI 모델로, 과학, 기술, 엔지니어링 분야의 전문 지식과 추론 능력에 중점을 두고 만들어졌다.
지난 2023년 엑사원 2.0까진 기업 내부용으로 사용하다가, 지난해 엑사원 3.0과 엑사원 3.5, 올 3월 엑사원 딥, 엑사원 4.0 순으로 매년 새로운 버전을 모델을 공개해왔다. 엑사원 4.0의 경우 자연어 이해·생성·추론 기능을 하나로 묶은 하이브리드 모델로, 32B(매개변수 320억 개) 크기의 전문가 모델 라인업을 특징으로 한다. 최근엔 마이크로소프트(MS)가 공개한 ‘AI 디퓨전 리포트’에서 엑사원 4.0의 추론 성능이 오픈AI의 GPT-5와 불과 6개월 차이라는 분석도 나왔다.
조 리더는 이날 발표에서 “최근 LLM에서 경쟁 모델은 사이즈 자체가 굉장히 큰 반면, 우리는 작은 사이즈임에도 불구하고 추론을 통해 성능을 확보했고, 경쟁 모델 대비 동등 또는 우위의 모습을 보여주고 있다”며, “사실상 글로벌 선진 모델들과 경쟁하는 것이 자본의 싸움에 있어서도 굉장히 어려운 일인데 우리는 4.0에서 많은 영역에서의 전문가들이 어떤 연구를 하고 있는지 계속해서 따라갔고, 성능 고도화를 할 수 있었다”고 설명했다.
그러면서 “LLM은 주어진 단어열을 보고 다음에 나올 단어 예측하는 확률 모델인데 각 학습 단계에서 규모와 적용범위를 확장(스케일링)해야 모델의 성능을 개선할 수 있다. 이는 컴퓨터를 많이 써야 지능도 올라간다는 단순한 법칙에 기인하는 것인데 필연적으로 많은 돈을 요구하게 된다”며, “LG도 큰 그룹이지만 글로벌 빅테크와 비교해선 매년 투자 규모를 비교해봐도 작다는 걸 알 수 있다. 이런 상황에서 우리가 할 수 있는 방법은 작은 자원으로 해낼 수 있는 인적 자원이 있다”고 부연했다.
LG AI연구원은 앞서 정부가 추진 중인 ‘독자 AI 기초 모형 프로젝트’에 참여할 정예팀으로 선정돼 2027년을 목표로 거대 규모의 독자 파운데이션 모델을 개발 중이다. LG경영개발원 AI연구원이 주도하는 이 팀에는 LG유플러스와 LG CNS, 슈퍼브AI, 퓨리오사AI, 프렌들리AI, 이스트소프트, 이스트에이드, 한글과컴퓨터, 뤼튼테크놀로지스 등이 포함된다.
조 리더는 “라지 스케일의 MoE(전문가 혼합)를 목표로 독자 파운데이션 모델을 개발 중이며, 이를 통해 미국과 중국의 라지 모델 가운데서 한국이 여기 있음을 보여주고 싶다”며, “독자 파운데이션 모델은 엑사원과 같이 갈 수도 있고 별도로 만들 수도 있을 것 같다”고 말했다.