노타, AI 에이전트 '풀스택 최적화'…같은 GPU서 작업시간 최대 47%↓

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

사진=노타

AI 추론 효율화 기업 노타가 AI 모델 경량화와 GPU 최적화에 더해 AI 에이전트의 작업 흐름까지 제어하는 '풀스택 최적화' 기술을 18일 공개했다. 같은 모델과 GPU 환경에서 오픈소스 코딩 에이전트 '클라인(Cline)' 기본 구성 대비 작업 시간을 최대 47%, 출력 토큰을 최대 60% 줄였다.

AI 에이전트는 요청 하나를 처리하는 동안 모델 호출과 도구 사용, 결과 확인을 반복한다. 이 과정에서 불필요한 추론과 재검토가 쌓이면 대기시간과 연산 부담이 커진다.

핵심은 에이전트의 작업 흐름을 관리하는 '하네스' 최적화다. 최근 응답 길이와 파일 수정 이력, 도구 실행 결과 등을 분석해 상황에 맞는 추론 강도를 고르고, 이미 통과한 검증을 되풀이하는 행동을 줄여 필요한 단계에 연산을 집중한다. 여기에 'DFlash2 기반 추측 디코딩'과 하드웨어 맞춤형 GPU 커널 최적화를 결합했다.

노타는 엔비디아 'RTX PRO 6000' 4장 환경에서 코딩 벤치마크 'Terminal-Bench 2.1'과 'SWE-bench Multilingual'로 성능을 평가했다. 추론 강도를 상황에 맞게 조절하는 'Fast' 모드는 문제 해결률을 유지하거나 높이면서 작업 시간을 최대 32%, 출력 토큰을 최대 42% 줄였다. 반복 검증까지 줄이는 'Ultra Fast' 모드는 절감 폭이 최대 47%·60%로 더 컸다. 다만 소프트웨어 오류 수정 평가에서는 해결률이 65.7%에서 62.0%로 낮아졌다.

노타는 코딩 에이전트를 시작으로 기업용 AI 에이전트와 생성형 AI 서비스로 적용 범위를 넓히고, 이를 최적화 소프트웨어 라이선스와 기술 공급 사업으로 연결할 계획이다. 김태호 노타 최고기술책임자(CTO)는 "AI 에이전트가 실제 업무에 쓰일수록 단순 추론 속도보다 작업 하나를 끝내는 데 드는 시간과 연산 비용이 더 중요해진다"며 "고객의 AI 운영비용을 낮추고 최적화 소프트웨어 사업 영역을 넓혀가겠다"고 말했다.

[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]

조회 14 스크랩 0 공유 0
댓글 0
댓글 정렬 옵션 선택
댓글이 없습니다.
첫번째 댓글을 남겨주세요.