[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
ACL은 글로벌 기업과 주요 대학, 연구기관이 최신 연구 성과를 발표하는 자리다. 옵트에이아이 관계자는 "온디바이스 AI 분야에서 추진해 온 메모리 효율화 연구 성과를 국제 학회에서 인정받았다는 점에서 의미가 있다"고 했다.
옵트에이아이의 온디바이스 AI팀이 주도한 이번 논문은 온디바이스 AI 구현 과정에서 핵심 과제로 꼽히는 LLM(거대언어모델) 학습의 메모리 병목 문제를 다뤘다. 연구팀은 이를 해결하기 위한 방법으로 MeSP(Memory-efficient Structured Backpropagation)를 제안했다.
기존 온디바이스 학습 방식은 정확한 그래디언트(AI 모델이 얼마나 학습해야 하는지를 알려주는 지표)를 계산하기 위해 많은 메모리를 요구하거나 반대로 메모리 사용량을 낮추는 대신 학습 품질 저하를 감수해야 하는 한계가 있었다.
특히 스마트폰과 같은 제한된 하드웨어 환경에서는 0.5B(5억개 파라미터) 규모의 소형 모델조차 학습이 쉽지 않은 경우가 많았다.
연구팀은 LoRA(Low-Rank Adaptation) 학습 과정에서 역전파(Backpropagation) 중간 연산값을 모두 저장하는 대신, 필요한 시점에 재계산하는 구조화된 역전파 기법을 설계했다. 이를 통해 그래디언트 정확도를 유지하면서도 메모리 사용량을 줄이는 방향을 제시했다.
실험 결과 Qwen2.5-0.5B 모델 기준 최대 메모리 사용량은 361MB에서 136MB로 약 62% 감소했다. Qwen2.5 계열(0.5B~3B) 전반에서는 평균 49%의 메모리 절감 효과를 확인했다.
옵트에이아이는 이번 연구를 바탕으로 올해 하반기 온디바이스 학습 기능을 반영한 AI 솔루션을 선보일 계획이다. 그동안 전장·로봇·모바일 등 정보보안과 실시간 처리가 중요한 산업을 중심으로 하드웨어 인지 AI 최적화 기술을 제공해 왔다.
옵트에이아이 관계자는 "이번 연구 결과는 제한된 메모리 환경에서 온디바이스 LLM 파인튜닝 가능성을 높이는 데 의미가 있다"며 "프라이버시 보호가 중요한 개인화 AI 서비스, 모바일 AI 에이전트, 앱 기반 맞춤형 AI 기능 등 다양한 활용 가능성이 기대된다"고 했다.
[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']