이 기사는 2024년 04월 30일 14:08 thebell 에 표출된 기사입니다.

SK텔레콤이 통신사 서비스에 특화된 '텔코 거대언어모델(LLM)' 개발 마무리 작업에 착수했다. 이르면 6월 중 개발을 마무리하고 하반기에는 고객센터 실무에 인공지능(AI)을 도입할 계획이다.

텔코LLM은 챗GPT, 클로드 등 범용LLM과 달리 통신사 사업 내용을 바탕으로 최적화시킨 AI다. 서비스, 상품 안내를 비롯해 멤버십 혜택 등 통신사가 필요로하는 대고객 업무에 투입할 수 있게 만들었다. SKT는 텔코LLM 국내 도입을 시작으로 글로벌 진출에도 속도를 낼 계획이다.

◇'멀티 LLM' 전략, 자체개발 LLM과 챗GPT·클로드 동시 활용

SKT는 서울 중구 본사에서 텔코 LLM 사업 간담회를 30일 개최했다. 이날 SKT는 국내용 텔코 LLM 개발 막바지 단계에 접어들었으며 이르면 상반기 내로 작업을 완료한다고 밝혔다.

LLM이란 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝모델이다. 기계언어가 아닌 자연어로 명령이 가능해 누구나 쉽게 사용할 수 있다. 질의응답 및 데이터 검색 등 다양한 업무를 수행한다.

SKT 텔코LLM은 '멀티LLM' 방식을 선택했다. 자체 개발한 에이닷엑스(A.X)와 엔트로픽의 클로드, 오픈AI의 챗GPT 등을 함께 사용한다. LLM마다 가지고 있는 장단점이 다르기 때문이다.


대고객 업무에서 AI를 활용하려면 여러가지 변칙적인 질문에도 대응할 수 있어야 하고 광범위한 데이터를 처리해야 한다. SKT는 단일 LLM을 사용해서는 업무 효율을 끌어올리는 데 한계가 있을 것이라고 판단했다. 이에 통신 사업 데이터에 맞춘 미세조정(파인튜닝)과 모델평가(벤치마킹) 과정을 거쳐 여러 LLM을 동시 사용하는 텔코LLM을 완성한다는 방침이다.

비용도 문제였다. 통신사 콜센터는 하루에도 수십만건의 민원 상담을 처리한다. 챗GPT, 클로드 등 외부 LLM을 사용하려면 비용이 부담스러울 수 밖에 없다. 이들은 단어 단위로 가격을 책정해 기업에게 청구하기 때문이다. 직접 LLM을 완벽히 상용화하려면 그 역시 시간과 비용이 어마어마하게 투입된다. 하이브리드 모델을 선택할 수 밖에 없는 이유다.

정민영 SKT AI플랫폼 담당(사진)은 "질문마다 LLM의 답변 품질이 천차만별이었다"며 "각 LLM의 장점은 살리면서 기존 시스템·데이터베이스와도 연동을 해야하기 때문에 멀티 LLM 전략을 선택했다"고 말했다. 이어 "속도와 비용 그리고 품질 세 가지 측면을 모두 고려했다"고 덧붙였다.


◇먼저 출시한 '한국어 LLM', 글로벌 출시도 '곧'

SKT는 텔코LLM 개발 완료 후 연내 자사 고객센터에 이를 도입할 계획이다. 현재는 상담전화 한 건 처리 시 평균 상담 3분, 상담 후 업무처리에 30초 이상 소요된다. AI를 사용하면 상담 중 AI가 적절한 답변을 미리 추출해줘 상담 내역을 크게 줄일 수 있다.

다음 단계는 해외 진출이다. SKT는 별도로 '글로벌 AI플랫폼 코퍼레이션'이라는 손자회사를 설립했다. 미국에 본사를 뒀고 SKT의 100% 자회사인 SK텔레콤아메리카가 전액 출자했다. 이날 간담회에 참석한 정민영 담당은 해당 법인에서 최고제품책임자(CPO)를 겸직하고 있다.

정 담당은 "글로벌 AI 플랫폼 코퍼레이션은 미국에서 '퍼스널 AI 어시스턴트'라는 서비스를 만들려고 한다"며 "미국에 본사가 있고 한국에서 개발 인력 등을 충원하기 위한 별도 법인을 가지고 있다"고 말했다. 이어 "미국서 글로벌 서비스를 출시하기 위한 노력을 계속하고 있다"고 덧붙였다.

통신사 AI 연합인 '글로벌 텔코 AI 얼라이언스'의 사업도 고도화 중이다. 에릭 데이비스 SKT AI 테크 협업 담당(사진)은 "전세계 통신사와 함께 진행 중인 사안인데 아직 계약 절차가 완성되지 않아 세부 논의 중"이라며 "먼저 한국어 버전에 집중한 뒤 글로벌 버전을 내놓겠다"고 말했다.