홍성연 KAIST 인공지능반도체대학원 박사과정생이 16일 열린 연구성과 브리핑에서 발표하고 있다. /사진=박건희 기자


"거대언어모델이 모든 걸 알고 있는 것 같지만 정작 '나'에 대해선 제대로 모른다. 사용자에 대해 속속들이 알고 있으면서도 사생활 유출 걱정은 없는 온디바이스 AI반도체를 만들고자 했다." (유회준 KAIST 인공지능반도체대학원 교수)
사용자의 말투와 취향, 감정까지 실시간으로 배우고 닮아가는 '영혼의 단짝' AI 반도체가 우리나라에서 개발됐다. 유회준 KAIST(카이스트) 인공지능반도체대학원 교수팀이 만든 개인 손오공게임 맞춤형 거대언어모델(LLM) 가속기 '소울메이트'(SoulMateI)다.
앞서 16일 대전 유성구 카이스트 본원 KI빌딩에서 열린 간담회에서 제1저자인 홍성연 박사과정생은 "이름 그대로 '나를 알고, 나를 기억하고, 나에게 맞춰 성장하는' 세계 최초의 초개인화 AI"라고 소울메이트를 소개했다.

황금성오락실

인공지능반도체 '소울메이트'의 시스템을 나타낸 표 /사진=유회준 교수 연구팀


기존 LLM 가속기는 데이터센터에서 미리 학습한 데이터를 기반으로 추론한다. 사용자와의 상호작용을 통해 추가 학습하는 과정이 없다. 소울메이트는 대화를 통해 실시간으로 학습한다. 바다이야기비밀코드 기억된 대화 내용을 바탕으로 맞춤형 답변을 생성하는 '검색증강생성'(RAG) 기술과 사용자의 피드백을 즉각 반영해 학습하는 '로우 랭크 미세조정'(LoRA) 기술이 반도체 내부에 구현됐다.
홍 박사생은 "삼성전자, 애플, 구글 등 세계 최대 기업이 모바일 기기에 AI를 탑재하는 경쟁에 뛰어들었지만, 지금까지의 온디바이스 AI는 막대한 바다이야기고래출현 연산량과 메모리 요구량을 기기 자체로 감당하기 어려웠다"며 "클라우드로 작업을 보낼 수 밖에 없는 구조"라고 설명했다.
외부 서버(클라우드)로 사용자의 개인 데이터가 넘어간다는 뜻이다. 홍 박사생은 "사용자 정보가 클라우드로 넘어가면 심각한 보안 문제가 발생할 수 있는 데다 네트워크 지연 현상이 나타나 사용자와의 상호작용이 불편해진다"며 황금성릴게임사이트 "온디바이스 AI를 오래 써도 AI가 사용자의 특성을 기억하지 못하고 매번 처음 만나는 것처럼 대화하는 이유"라고 했다.



소울메이트 칩 내부 구성도 (왼쪽), 실제 28nm(나노미터) 크기인 소울메이트 칩(가운데), 소울메이트 데모 보드(오른쪽) /사진=박건희 기자


연구팀은 이같은 문제를 해결했다. 소울메이트는 사용자와 주고받은 대화를 기기 안에 저장한다. 이를 통해 익힌 사용자의 취향도 함께 저장한다. 사용자의 피드백에도 즉각 반응한다. AI가 저장한 대화 과정에서 사용자가 마음에 들지 않는 답변을 선택하면, 이를 기반으로 언어 모델을 '미세 조정'한다. 이 과정을 거쳐 대화하는 시간이 길어질수록 점진적으로 사용자에게 최적화된다.
홍 박사생은 "모든 개인화 기능이 완전한 온디바이스 환경에서 구현된다는 게 특징"이라며 "사용자의 데이터는 기기 밖으로 전혀 나오지 않는다"고 강조했다.
배터리 소모를 줄이기 위해 반복되는 문장에 대한 연산은 생략하는 기술도 도입했다. 소울메이트는 9.8밀리와트(mW)라는 초저전력으로도 복잡한 학습과 추론을 동시에 수행한다. 이는 기존 스마트폰 프로세서 소비전력의 500분의 1 수준이다. 사용자에게 응답하는 데까지 걸리는 시간은 약 0.2초다.
연구를 지도한 유 교수는 "홍 박사생을 비롯한 8명의 학생이 수개월에 걸쳐 고생한 결과"라며 "지난달 미국 샌프란시스코에서 열린 ISSCC(국제고체회로설계학회)에서 '하이라이트 논문'으로 선정되는 등 학계의 주목을 받았다"고 소개했다. 학생들을 향한 미국 빅테크의 '러브콜'도 쏟아졌다는 후문이다. 제1저자인 홍 박사생은 이같은 성과를 인정받아 5월부터 엔비디아에서 인턴 과정을 밟는다.
유 교수는 또 "피지컬AI와 연계하기에 최적화된 AI 반도체라는 평가를 받았다"고 업계 반응을 전했다. 반려로봇 AI, 웨어러블AI처럼 즉각적인 개인화 기능과 초저전력 환경이 핵심인 분야에 필요한 AI반도체라는 의미다.
연구팀은 향후 교원 창업기업인 '온뉴로AI'를 통해 2027년쯤 소울메이트를 제품화할 예정이다.
대전=박건희 기자 wissen@mt.co.kr