[아이뉴스24 안세준 기자] KT(대표 박윤영)가 국내외 500개 이상 인공지능(AI) 모델을 하나의 플랫폼에서 이용할 수 있는 AI 플랫폼 '토큰팩토리'를 선보인다. 업무 성격에 따라 적합한 AI 모델을 자동으로 선택해 AI 이용에 필요한 토큰 사용을 최대 25% 줄이는 것이 특징이다.
KT는 27일 서울 종로구 광화문 웨스트빌딩에서 토큰팩토리를 공개하고 오는 30일 정식 출시한다고 밝혔다. 토큰팩토리는 번역·요약·코딩·추론 등 업무 특성에 따라 적합한 AI 모델을 선택하고 이용 현황과 비용 관리, 결제까지 통합 지원하는 플랫폼이다.
급증하는 AI 토큰 수요에 대응⋯토큰팩토리, 모델 선택부터 관리까지
최근 AI 모델이 빠르게 분화하면서 사용량에 따라 비용을 지불하는 토큰 경제가 본격화되고 있다. 오픈라우터 주간 토큰 통계량 조사 결과에 따르면, 최근 1년 간 글로벌 AI 토큰 소비량은 약 35배 급증했다.
KT는 토큰 소비량을 줄이고 업무 목적, 보안 요구사항 등에 최적화된 AI 모델을 제공하기 위해 토큰팩토리를 선보이기로 했다.
핵심 기술은 KT가 자체 개발한 오토 모델 라우터다. 질문 유형과 난이도, 요구 품질, 비용 등을 분석해 최적의 AI 모델을 자동으로 선택한다. 이 기술은 글로벌 AI 모델 선택 성능 평가인 '라우터아레나'에서 종합 1위를 기록했다.
한국어 특성을 고려한 프롬프트 압축 기술도 적용했다. 불필요한 반복 표현 등을 줄여 응답 품질을 유사하게 유지하면서 토큰 사용량을 최대 25% 절감할 수 있다는 설명이다.
보안 기능도 강화했다. KT는 국내 데이터센터에서 자체 AI 추론 서비스를 제공해 데이터의 해외 이전에 대한 우려를 줄였다. 개인정보와 민감정보, 유해 표현 등을 점검하는 자체 가드레일 기술도 적용했다.
글로벌 AI 모델 플랫폼 라우팅사와 파트너십⋯B2C까지 시장 확대
KT는 글로벌 AI 모델 플랫폼 기업 오픈라우터(OpenRouter)와 국내 최초로 공식 파트너십을 체결했다. 이를 통해 500개 이상의 글로벌 AI 모델을 확보했다. 향후 국내 AI 모델의 글로벌 유통도 추진한다.
양사는 향후 오픈라우터 글로벌 AI 모델과 KT 국내 인프라·소버린 AI 모델을 연계해 글로벌 AI 역량 확대에 나선다. KT가 국내에서 제공하는 AI 모델의 글로벌 유통을 추진하는 등 토큰팩토리를 국내외 AI 모델과 이용자를 연결하는 AI 허브로 발전시킬 계획이다.
토큰팩토리는 초기 기업 고객을 대상으로 제공된다. KT는 향후 개인(B2C) 시장으로 서비스 범위를 확대하고 국내외 AI 기업과의 협력을 강화할 방침이다.
박상원 KT AX사업부문장(전무)은 "AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다"며 "토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.
/안세준 기자(nocount-jun@inews24.com)