시사위크=박설민 기자  인공지능(AI) 성능을 높이는 가장 중요한 요소는 ‘학습’이다. 양질의 데이터를 많이 학습할수록 AI는 우수한 결과를 도출해낸다. 이를 통상 ‘학습용 AI’라고 부른다. 하지만 학습용 AI는 막대한 자원이 사용된다는 단점이 있다. 이는 곧 비용·전기사용량 문제로 직결된다. 때문에 일반 기업과 가정용으로 사용하는데 한계가 뚜렷하다.

이때 주목받는 AI가 바로 ‘추론용 AI’다. 추론용 AI란 훈련된 머신 러닝 모델이 새로운 데이터에서 결론을 도출할 수 있는 시스템이다. AI모델이 추론할 수 있는 능력을 갖추면 원하는 결과에 대한 예시 없이도 추론을 수행할 수 있다. 때문에 한정된 자본과 인력을 가진 소기업, 일상화 서비스 등에 적합하다.

최근 반도체 업계에서 추론용 AI에 주목하는 것도 이 같은 이유에서다. 전문가들은 기존 학습용 지능형 반도체가 대세였던 시장의 파이를 ‘추론용 지능형 반도체’가 나눠가질 것으로 전망하고 있다.

◇ ‘맞춤형 AI’ 시장 활성화, ‘추론용 지능형 반도체’ 산업 성장 가속화

최근 반도체 업계에서 추론용 AI에 주목하는 이유는 AI반도체의 특성을 살펴보면 이해가 쉽다. AI반도체는 AI모델의 학습, 추론 등을 최적으로 수행하고자 제작한 반도체다. 이때 사용 방식에 따라서도 분류 가능한데, ‘학습용(Training) 지능형 반도체와 ‘추론용(Inference) 지능형 반도체’가 바로 그것이다.

학습용 지능형 반도체는 말 그대로 AI모델을 학습시키는데 사용된다. 데량의 데이터를 처리 가능한 고성능 연산 능력에 특화돼 있어 AI신경망 학습에 적합하다. 주요 성능 사양 지표도 연산처리 속도 및 소비전력이다. 때문에 데이터센터, 연구기관, 개발 환경 등에서 주로 사용된다. 현재 AI모델 개발에 가장 많이 사용되는 반도체인 그래픽처리장치(GPU) ‘A100’ 등이 학습용 AI반도체의 대표적 예다.

반면 추론용 AI반도체는 이미 학습된 AI모델을 사용, 새로운 데이터에 대한 추론을 수행한다. 때문에 효율성과 반응성이 높은 반도체일수록 우수한 성능을 낼 수 있다. 특히 ‘정수연산(integer operations)’에 최적화돼 있는 것이 특징이다. 따라서 연산처리 속도와 소비전력효율이 주요 성능 지표인 학습용 지능형 반도체와 달리 추론용 AI반도체는 정확도와 연산 반응속도가 핵심 지표라고 볼 수 있다.

‘가벼운’ 작업에 용이한 추론형 지능형 반도체 특성은 AI산업계의 수요를 높이고 있다. 다양한 산업 전반에 AI서비스 적용이 가능해질 수 있어서다. 다양한 산업 전반에 AI서비스 적용이 가능해질 수 있어서다. 

현재 기대되는 적용 분야는 ‘자율주행차’와 ‘의료’다. 두 분야 모두 현장에서 즉각 소통할 수 있는 고성능 AI모델이 필요하다. 이에 따라 차량 내 운전자 지원 AI시스템, 의료영상 및 진단용 AI 개발에 추론형 지능형 반도체의 수요가 높아질 것으로 예상된다.

실제로 관련 산업 규모도 급성장 중이다. 글로벌시장조사업체 ‘베리파이드마켓리서치(Verified market research)’에 따르면 추론용 지능형 반도체 시장은 지난해 기준 158억달러(약 21조1,751억원) 규모였으며 오는 2030년 906억달러(약 121조4,221억원)에 이를 것으로 전망했다.

베리파이드마켓리서는 “다양한 산업 전반에서 AI사용이 증가함에 따라 AI추론 작업을 위해 설계된 특수 프로세서에 대한 필요성이 커지고 있다”며 “추론용 지능형 반도체는 일반 범용 AI반도체보다 에너지 효율이 높고 성능도 우수해 실시간 처리가 필요한 애플리케이션에 적합하다”고 분석했다.

◇ 앞서가는 ‘엔비디아’, 추론용 AI칩 ‘블랙웰’ 공개… 삼성·SK하이닉스 등 메모리 업계 반사이익 기대

이 같은 시장 흐름에 맞춰 반도체 업계 역시 추론용 지능형 반도체 사업 규모를 확장하는 추세다. 가장 앞서가는 기업은 AI반도체 시장을 장악하고 있는 ‘엔비디아(NVIDIA)’다. 엔비디아는 18일(현지시간) 미국 캘리포니아주 세너제이 SAP센터에서 개발자 컨퍼런스 ‘GTC 2024’를 열고 신형 AI용 GPU모델을 공개했다.

이번에 엔비디아가 공개한 AI반도체 모델의 이름은 ‘블랙웰’. ‘B100’과 ‘B200’ 두 가지 타입으로 제작됐다. 해당 제품들은 올 하반기 양산이 시작될 것으로 예상된다.엔비디아에 따르면 블렉웰을 기반으로 AI를 구동할 경우 기존 H100 모델 대비 추론 성능을 최대 30배 향상시킬 수 있다. 또한 GPT와 같은 초거대 AI모델을 90일간 훈련시키기 위해선 H100이 8,000개가 필요하지만 블랙웰은 2,000개만으로 가능하다. H100은 지난 2022년 10월 엔비디아가 출시한 GPU모델이다. 전용 트랜스포머 엔진을 탑재해 조 단위 매개변수를 가진 대형언어모델(LLM) 운영에 효과적이다.

컨퍼런스에서 연설을 맡은 젠슨 황 엔비디아 최고경영자(CEO)는 “블랙웰은 모든 산업에서 AI를 구현시킬 수 있을 것”이라며 “우리 회사 역사상 가장 성공적인 GPU 제품이 될 것으로 기대한다”고 말했다.

이어 “생성형 AI는 우리 시대를 새롭게 정의하는 기술로 그 새로운 산업시대를 구동하는 엔진이 바로 블랙웰”이라며 “아마존, 구글, 메타, 오픈AI, 마이크로소프트 등 글로벌 IT기업들과 협력해 모든 산업에서 AI의 가능성을 실현하도록 하겠다”고 밝혔다.

산업계 전문가들은 이번 블랙웰의 등장으로 AI업계에 전반적 변화를 가져올 것으로 보고 있다. 특히 국내선 ‘삼성전자’와 ‘SK하이닉스’가 긍정적 방향으로 큰 영향을 받을 전망이다. 블랙웰 등 추론용 지능형 반도체의 연산을 보조할 수 있는 메모리 반도체와 파운드리 업체의 성장이 기대되면서다.

김동원 KB리서치 본부장은 “생성형 AI 사업자들은 원활한 추론을 위한 주문형 반도체와 메모리 바녿체 등 충분한 전산 자원을 확보할 수 있는지가 경쟁력의 관건”이라며 “추론 중심의 AI 시장 확대는 메모리 반도체 및 파운드리 업체에 큰 성장의 기회를 제공할 전망”이라고 분석했다.

이어 “2030년 추론용 AI반도체 시장은 1,430억달러로 2023년 60억달러 대비 7년 만에 24배 성장이 예상된다”며 “이 같은 추론용 AI반도체 시장의 급성장은 D램 선두 업체인 삼성전자, SK하이닉스, NPU 디자인 솔루션 1위 업체인 가온칩스의 직접적 수혜로 이어질 전망”이라고 분석했다.