시사위크=박설민 기자  KAIST 연구진이 거대 언어 모델(LLM)의 추론 연산 효율을 대폭 향상시킬 수 있는 인공지능(AI) 반도체 개발에 성공했다. 국내 ‘챗GPT’ 등 초거대 AI기반 언어 모델 개발 및 경쟁력 확보에 큰 보탬이 될 것으로 기대된다.

김주영 KAIST 전기및전자공학부 교수팀은 LLM의 추론 연산을 효율적으로 가속하는 AI반도체를 개발했다고 4일 밝혔다. 이번 연구는 김주영 교수가 운영하는 AI반도체 연구 전문 기업 ‘하이퍼엑셀’ 연구팀이 참여했다.

챗GPT에 적용된 LLM은 초거대 AI모델인 ‘GPT-3.5’를 기반으로 구동된다. 1,750억개의 매개변수(AI의 연산능력단위)를 탑재한 이 초거대 AI는 한번에 3,000여개의 단어를 만들어낼 수 있다. 하지만 이 모델을 운영하기 위해선 막대한 양의 고성능 AI반도체가 장착된 ‘슈퍼컴퓨터’가 필수다. 때문에 필연적으로 천문학적인 운영비용이 들어갈 수밖에 없어, 기업과 연구기관에겐 적잖은 부담을 준다.

이런 문제를 해결하고자 김주영 교수팀 연구진은 LLM의 추론 연산을 효율적으로 가속할 수 있는 AI반도체 ‘LPU(Latency Processing Unit)’를 새롭게 고안했다. LPU는 메모리 대역폭 사용을 극대화하고 추론에 필요한 모든 연산을 고속으로 수행 가능한 연산 엔진을 갖춘 AI 반도체다. 또 자체 네트워킹 기술도 적용돼, 다수의 가속기로 확장이 용이하다.

LPU의 최대 장점은 가성비가 기존 AI반도체보다 훨씬 우수하다는 점이다. 연구팀에 따르면 LPU 기반의 가속 어플라이언스 서버는 업계 최고의 고성능 GPU인 엔비디아 A100 기반 슈퍼컴퓨터보다 성능은 최대 50%, 가격 대비 성능은 2.4배가량  높다고 한다. 

이번 연구 성과는 국제 AI반도체 연구계에서도 뜨거운 관심을 받고 있다. 지난달 12일에는 김주형 교수는 지난달 12일 이 연구 결과를 샌프란시스코에서 진행된 국제 반도체 설계 자동화 학회(DAC)에서 발표했으며, ‘공학 부문 최고 발표상(Engineering Best Presentation Award)’을 수상하는 쾌거를 이뤘다. DAC은 국제 반도체 설계 분야의 대표 학회로, 인텔, 엔비디아, AMD, 구글, 마이크로소프트, 삼성, TSMC과 하버드대, MIT, 스탠포드대 등 세계적인 반도체 설계 기업과 대학이 참여한다.

김주영 교수는 “이번 연구 성과를 통해 최근 급격하게 생성형 AI 서비스 수요가 증가하고 있는 데이터센터의 고성능 GPU를 대체할 수 있을 것으로 기대한다”며 “미래 초거대 AI 연산을 위한 새로운 프로세서 시장을 개척하고, 빅테크 기업들의 기술력보다 우위를 선점하겠다”고 전했다.