박창후 솔트웨어 AI서비스본부장 인터뷰
연성대·쇼핑몰 아이디어스 등에 성공 적용

“기술은 결국 제품화를 하지 않으면 기술로만 남고, 그 기업은 살아남지 못합니다. 모든 기술은 서비스화돼야 합니다. 솔트웨어는 지난해 거대언어모델(LLM) 기반 서비스를 만들어 고객에게 제공했고, 이제 제품군을 다양하게 늘릴 계획입니다.”

박창후 솔트웨어 AI서비스본부장

박창후 솔트웨어 AI서비스본부 본부장은 자체 개발한 LLM을 기반으로 사피봇과 사피레코를 개발한 배경을 이렇게 밝혔다. 회사가 지난해 개발한 LLM은 '호랑이 리더보드'에서 1위를 기록한 바 있다. 이는 sLLM 기반의 챗봇서비스 '사피봇', LLM 기반 추천서비스 '사피레코' '사피LLM' 등 출시로 이어졌다.

기존 챗봇은 딥러닝 모델을 기반으로 고객의 의도를 정답으로 하는 데이터셋을 학습한 추론 모델로 시나리오로 개발한다. 이에 따라 제작기간도 길고 유지보수의 어려움이 있었다. 반면 사피봇은 LLM 기반 챗봇으로서 이미 수많은 데이터를 사용해 기 훈련된 모델을 사용하고, 여기에 검색증강생성(RAG)을 활용해 고객의 질문 의도에 따라 정확한 답변을 제공하는 구조다.

박 본부장은 “이렇게 만들어진 사피봇은 사용자가 질문을 입력하면 해당 문장의 의미를 분석해 벡터 데이터베이스(DB)에서 가장 유사한 정보를 가져오며, 이를 유저의 입력, 시스템 프롬프트 등과 결합해 가장 적절한 답변을 생성하는 구조”라고 했다. 이는 시나리오형 챗봇과 비교할 때 더 유연하면서도 정확도 높은 고품질의 고객 대응을 가능케 한다.

그는 사피봇이 RAG의 품질 측면에서도 챗봇이 가장 정확한 답변을 생성할 수 있도록 전략과 방법론을 적용했다고 했다. 또 벡터화된 데이터를 검색하는 방법 또한 다양한 방법을 결합한 하이브리드 방식으로 정확도면에서 우수하다고 평가했다.

사피레코는 대화형 상품 추천, 테마 생성, 추천 랭킹의 3가지 서비스를 종합적으로 제공하는 추천 서비스다. 과거 추천 서비스는 콘텐츠·아이템·협업 필터링의 도메인별로 모델을 만들어 서비스를 개발하는 형태였다. 이 때문에 추천 영역별 개발 기간이 다소 길고, 알고리즘별 모델 관리도 필요하다. 반면 사피레코는 LLM 기반 시스템으로 추천 서비스에 사용하고자 하는 데이터를 어떻게 전처리할 것인가에 초점을 뒀다. 즉 데이터만 잘 가공되고 적절하게 벡터하면 LLM을 통해 이뤄지는 상품 추천과 테마 생성 품질이 우수한 성능을 발휘한다.

사피봇은 현재 연성대학교에서 대학 입시 문의에 사용되고 있고, 사피레코는 국내 최대의 핸드메이드 쇼핑몰인 아이디어스에 도입돼 대화형 상품 추천, 테마 생성, 추천 랭킹 기능을 성공리에 제공 중이다.

박창후 솔트웨어 AI서비스본부장

솔트웨어는 이들 서비스외에 자체적으로 LLM을 보유하고 고객에게 가장 적합한 형태로 제공하기 위해 사피 LLM을 활용해 고객의 기업용 LLM 수요에 대응하고 있다.

그는 “향후 계약 서비스와 업무 지원 서비스 등 추가적으로 서비스를 개발할 계획”이라며 “ 단기적으로는 LLM을 필요로 하는 기업과 공공기관에 구축형과 클라우드형 LLM 제품을 시기 적절하게 구축, 제공해 레퍼런스를 확장하겠다”고 말했다.

이경민 기자 kmlee@etnews.com

Copyright © 전자신문. 무단전재 및 재배포 금지.