"경상도 사투리로 읽어줘"⋯카카오, AI '카나나-오' 음성 생성 기술 고도화

[아이뉴스24 정유림 기자] 카카오는 자체 개발 옴니 인공지능(AI) 모델(다양한 형태의 데이터를 동시에 학습·처리) '카나나-오'의 음성 생성 기술을 고도화했다고 4일 밝혔다.

이날 카카오가 공개한 테크 블로그에 따르면 카나나-오 모델은 이용자가 원하는 말투와 감정, 억양까지 자연어 지시 만으로 제어할 수 있도록 음성 생성 기술을 고도화했다. 자체 개발 음성 토크나이저를 통해 생성 속도와 효율을 높였다. 토크나이저는 문자를 AI가 이해할 수 있는 작은 조각(토큰)으로 나누는 도구를 말한다.

기존 음성 AI가 자연스럽게 문자를 읽는 데 초점을 맞췄다면 개선된 AI 모델은 이용자의 지시에 따라 음성 표현 자체를 제어해준다. 이용자가 "아주 빠르게 읽어줘", "낮은 목소리로 읽어줘", "슬픈 목소리로 읽어줘", "경상도 사투리로 읽어줘"와 같이 자연어로 원하는 발화 방식을 말하면 AI가 속도, 음량, 음높이를 비롯해 감정과 억양, 강도까지 반영해 음성을 생성한다.

이밖에 "스포츠 중계하듯", "아나운서처럼", "동화책을 읽어주듯" 등 역할 기반의 지시를 비롯해 "톤을 낮춰서 빠르게 슬픈 목소리로 읽어줘"와 같이 여러 조건을 동시에 담은 복합 지시도 수행할 수 있다. 한국어 데이터를 중심으로 학습했음에도 영어 음성 생성에서 동일한 발화 지시를 무리 없이 수행한다고 카카오 측은 덧붙였다.

카카오에 따르면 카나나-오 모델은 발화 지시 이행 능력을 평가하는 인스트럭트TTSEval 한국어 벤치마크에서 94.5점을 기록했다. 이는 GPT-포오(4o)-미니-tts(91.10점)를 넘어서는 수준으로, 구글 제미나이-2.5-플래시-프리뷰-tts(95.38점)와 견줄 만한 성과다.

속도와 효율도 향상됐다. 카카오는 자체 개발한 음성 토크나이저 'LM-SPT'를 적용했다. 이는 AI가 음성을 더 적은 수의 토큰으로 압축해 표현하는 기술로, AI가 처리해야 하는 데이터의 양을 줄여 더 빠르고 효율적으로 음성을 생성할 수 있도록 한다.

카카오에 따르면 LM-SPT는 다양한 음성 언어 모델의 한국어, 영어 음성 이해와 생성 능력을 비교한 평가에서 미미, 듀얼코덱, 코지보이스2 등 최신 기술을 적용한 모델에 비해 우수한 성능을 보였다. 합성된 음성의 자연스러움과 화자 유사도를 청취 후 지표화하는 전문가 평가에서도 가장 높은 점수를 기록했다.

카카오는 AI 모델의 음성 기술을 발전시킬 계획이다. 음성 이해·생성 능력을 하나의 통합 구조로 처리하는 연구를 통해 음성 처리 기술을 고도화하고 자연스럽고 끊김 없는 음성 경험을 제공하는데 집중한다. 웃음, 한숨, 감탄 같은 비언어적 표현을 자연스럽게 생성하는 기술 등 더 세밀한 음성 제어를 위한 개발을 이어갈 계획이다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "향후 카나나-오 모델을 다양한 서비스에 적용해 더 자연스럽고 편리한 AI 음성 경험을 제공할 것"이라고 밝혔다.