고성능·고전력 필요했던 AI, 저전력으로 기기 내에서 처리
반도체 패러다임도 변화
삼성전자, 시스템·메모리 반도체 경쟁력 동시에 높일 수 있어
“온디바이스 AI는 비행기 엔진의 출력을 경차로 내는 것”
챗GPT가 촉발한 생성형 인공지능(AI)의 다음 화두로 ‘온디바이스 AI’가 떠올랐다.
그동안 관련 업계나 전공자들 사이에서는 익숙한 단어였지만 온디바이스 AI가 대중적으로 알려진 건 지난해 말 삼성이 “세계 최초의 AI폰을 내놓겠다”고 발표한 이후다.
이후 라스베이거스에서 열린 CES 2024에서 온디바이스 AI를 탑재한 가전제품, 서비스, 반도체 등이 공개되면서 온디바이스 AI가 메가 트렌드로 자리 잡았다.
온디바이스 AI는 클라우드나 서버를 거치지 않고 기기 자체에서 AI 서비스를 경험할 수 있는 개념이다. 인터넷 연결 없이도 챗GPT 같은 AI 검색 서비스를 이용하거나 갤럭시 S24가 내세운 ‘실시간 통역’이 가능해진 것이다.
'중앙서버'로 가는 과정 사라졌다
사용자 입장에서는 이게 얼마나 큰 혁신인지 와닿지 않을 수 있다. 지난 1년간 생성형 AI가 빠른 속도로 고도화하면서 이미 많은 사람들이 업무나 일상에서도 AI 서비스를 쉽사리 활용하기 있기 때문이다.
AI가 데이터를 학습하고 연산이나 추론을 하려면 고성능, 고전력이 필수다. 이를 위해서는 어마어마한 데이터센터, 최고 성능의 GPU, 메모리반도체가 잔뜩 탑재돼야 한다. 실제 사용자들이 사용하는 기기에서 AI 연산을 하는 것은 불가능에 가까웠다. 대신 기기에서 수집하고 요청한 정보를 중앙 클라우드 서버로 전송해 분석하고 기기에 보내는 방식으로 진행해왔다.
그렇다 보니 인터넷 연결이 필수였다. 또 데이터의 양이나 인터넷 연결 상태에 따라서 AI 서비스의 품질도 달라졌다.
온디바이스 AI는 이 같은 과정을 없앴다. 스마트폰이나 세탁기, 냉장고 등 기기에서 직접 연산과 추론을 한다. 이를 가능하게 한 건 반도체 성능의 진화였다.
데이터 센터와 연동 없이 기기 내에서 수많은 데이터를 즉시 처리하기 때문에 서버 지연 시간이 감소하고 보안에 강하다. 최종현 연세대 인공지능학과 교수는 “온디바이스 AI는 비행기 엔진의 출력을 경차로 내는 것”이라며 “그동안 AI의 학습과 추론, 연산을 위해서는 대용량 데이터센터나 중앙서버, 인터넷 속도 등을 이용했으나, 온디바이스 AI는 이를 저전력으로 실시간으로 기기에서 처리하는 혁신이라고 할 수 있다”고 설명했다.
온디바이스 AI 포문 연 삼성전자
온디바이스 AI가 상용화되면 인터넷 연결 없이도 AI 사용이 가능하다. 별것 아닌 것 같지만 해외여행이나 출장을 나갔을 때 와이파이를 연결하거나 로밍서비스를 신청하지 않아도 AI 번역, 검색을 활용할 수 있는 것이다.
보안 관점에서는 더 큰 혁신이다. 사용자의 데이터를 외부로 전송하지 않고 기기 내에서 처리하기 때문이다.
AI가 사용자의 데이터를 수집하고 이를 학습하는 만큼 클라우드를 활용한 AI 서비스는 개인정보 침해나 기업 기밀이 유출될 수 있는 위험성이 있다. 많은 기업이 챗GPT 등 생성형 AI 서비스를 금지하는 이유다.
개인 정보 역시 마찬가지다. 초개인화 서비스를 위해 AI는 사용자의선호도, 습관, 취향 등을 학습하고, 이 정보를 활용해 개인에게 맞춤화된 서비스를 제공한다.
하지만 외부로 데이터를 전송하지 않고 AI 서비스를 사용하면 보안 문제가 해결됨과 동시에 내 기기가 학습한 내 정보로 초개인화 서비스가 가능하다.
온디바이스 AI의 포문을 처음 연 기업은 삼성전자다. 삼성전자는 “스마트폰 시대를 넘어 새로운 모바일 AI폰의 시대를 열 것”이라며 갤럭시 S24를 공개했다.
갤럭시 S24는 실시간 통·번역뿐만 아니라 삼성 노트 앱에서 글을 번역하거나 요약 정리하는 것도 가능하다. 녹음한 음성을 텍스트로 변환하고 이를 번역, 요약하는 ‘텍스트 변환 어시스트’ 기능 또한 인터넷 연결 없이 온디바이스 AI로 처리한다.
사진이나 영상에도 온디바이스 AI가 적용돼 AI가 사진을 분석하고 맞춤형 편집 도구를 제안하거나 갤러리 내 영상을 슬로모션으로 재생할 수 있는 효과를 제공한다. 삼성전자에 따르면 갤럭시 S24 시리즈 카메라에는 4년 전의 28배인 112개의 AI 모델이 탑재됐다.
삼성전자는 애플보다 먼저 AI폰 시장을 선점한 만큼 이를 새로운 생존전략으로 삼을 계획이다. 카운터포인트리서치에 따르면 AI폰 시장은 향후 4년간 연평균 83% 성장할 전망이다.
최 교수는 “아직 온디바이스 AI 기술이 완벽하게 고도화됐다고 말할 수는 없지만 삼성전자가 먼저 제품을 출시함으로써 애플보다 시장 선점 효과를 노리는 것이 아닌가 한다”며 “많은 기업이 뛰어들고 있는 만큼 온디바이스 AI가 다양한 분야에 적용될 것이 기대된다"고 말했다.
삼성전자가 AI폰에 사활을 거는 이유는 또 있다. 모바일 사업뿐 아니라 반도체, 패키징, 가전제품 등 삼성전자가 보유한 모든 사업 생태계의 경쟁력을 끌어올릴 수 있기 때문이다.
온디바이스 AI 시대가 도래하면서 반도체 패러다임도 변화하고 있다. 기존 AI 연산은 클라우드 환경에서 CPU나 GPU를 통해서도 처리할 수 있다. 하지만 대부분이 기기에서 멀리 떨어진 서버 안에서만 데이터 처리가 가능하다.
반도체 패러다임도 바뀐다
온디바이스 AI를 위해서는 새로운 반도체인 ‘신경망처리장치(NPU)’가 필수다. NPU는 사용자가 직접 사용하는 에지단에서 수집된 데이터를 데이터센터와의 연동 없이 즉시 처리할 수 있는 저전력, 고성능으로 AI 연산을 처리할 수 있는 반도체다.
PC 시대에도 모바일 시대에도 삼성전자가 디바이스의 ‘두뇌(프로세서)’를 가져본 적은 없었다. CPU의 절대강자는 인텔과 퀄컴, GPU의 최강자는 엔비디아다.
이를 위탁해 생산하는 파운드리 시장마저 대만 TSMC에 밀려 만년 2위에 머물러 있다. 하지만 온디바이스 AI 시대가 열리면 삼성전자가 메모리반도체뿐 아니라 NPU 등 시스템반도체의 경쟁력을 끌어올리고 TSMC 추격에 속도를 낼 수 있다는 전망이 나온다.
AI 성능이 고도화되면 대량의 데이터에 기반한 연산을 빠르게 수행할 수 있는 반도체가 미래 산업의 주도권을 쥐기 때문이다.
김동원 KB증권 리서치센터장은 온디바이스 AI 시대로 접어들면서 “최근 삼성전자 파운드리사업부에 대한 미국, 중국, 일본 등 전 세계 팹리스(반도체 설계) 업체들의 AI 가속기, AI 주문형 반도체(ASIC), NPU 생산 관련 문의가 크게 증가하고 있다”며 “향후 삼성전자의 파운드리 점유율이 지난해 12%에서 2028년 24%로 2배 상승할 것”이라고 예상했다.
AI 반도체 생산에 필요한 메모리뿐만 아니라 파운드리, 패키징, 온디바이스 AI를 구현할 세트(스마트폰·가전) 기술을 모두 갖고 있는 기업은 삼성전자가 유일하기 때문이다.
퀄컴과 인텔 등 기존 AP, CPU 강자 역시 반도체 패러다임 변화를 주도하기 위해 사활을 걸고 있다.
퀄컴은 인터넷 연결 없이도 AI 서비스가 가능한 칩인 '스냅드래곤 X엘리트', 갤럭시S24 울트라에 탑재된 '스냅드래곤8 3세대'를 선보였다. 인텔도 인터넷 연결 없이도 챗GPT 같은 거대언어모델(LLM)을 구동할 수 있는 PC용 칩 ‘인텔 코어 울트라’를 공개했다.
삼성전자와 SK하이닉스가 양분하는 메모리반도체 시장 역시 새로운 기회가 열린다. AI 서버의 데이터 처리 능력을 뒷받침하기 위해 이제는 메모리반도체가 연산 일부를 대신해야 하기 때문이다.
이를 가능하게 하는 반도체가 바로 ‘프로세싱인메모리(PIM)’다. PIM은 기존 메모리반도체의 역할이었던 ‘저장’과 동시에 시스템반도체의 역할이었던 연산과 추론 일부를 동시에 수행하기 때문에 자연스럽게 데이터 전송 과정이 줄면서 처리 속도가 높아지고 전력 소모도 줄어든다.
삼성전자와 SK하이닉스는 PIM이 향후 AI 반도체 시장의 유망 제품으로 발돋움할 것으로 보고 일찍이 기술개발에 매진했다. 현재는 제한적으로 적용되거나 시제품을 출시한 상태지만 갈수록 커지는 AI 서버 규모에 발맞춰 2025년부터 본격적인 경쟁이 예상된다.
AI 반도체 스타트업 모빌린트의 신동주 대표는 “온디바이스 AI가 발전하면 NPU뿐만 아니라 이를 뒷받침할 수 있는 메모리반도체의 수요도 급격하게 늘 것”이라며 “한국 기업들의 핵심 응용처가 확보되는 내년에 PIM 등 고성능 메모리반도체 시장이 빠르게 커질 것으로 보고 있다”고 말했다.
