NVIDIA PersonaPlex는 사용자 정의 음성과 역할을 통해 자연스러운 실시간 대화를 가능하게 하는 전이중(Full-Duplex) 대화형 AI 모델입니다. 어색한 멈춤으로 로봇처럼 느껴지는 기존의 계단식 시스템(ASR→LLM→TTS)이나 단일 음성에 고정되는 전이중 모델과 달리, PersonaPlex는 자연스러운 대화 역동성과 페르소나 유연성을 결합합니다. 텍스트 프롬프트를 통해 정의된 모든 페르소나를 유지하면서 동시에 듣고 말하며, 끼어들기, 뒷받침 반응(backchannels), 진정한 턴테이킹을 처리합니다.
PersonaPlex는 동시에 듣고 말하며, 사용자가 말하는 동안 내부 상태를 업데이트하고 즉시 응답을 스트리밍합니다. 이를 통해 계단식 시스템의 지연을 없애고, 멈춤, 끼어들기, "어-허" 또는 "오"와 같은 뒷받침 반응 등 인간과 유사한 신호를 재현합니다.
다양한 음성 중에서 선택하고 텍스트 프롬프트를 통해 현명한 조수, 고객 서비스 에이전트, 판타지 캐릭터 등 어떤 역할이든 정의할 수 있습니다. 모델은 대화 내내 선택된 페르소나를 유지하며, 작업 준수 측면에서 기존 시스템보다 뛰어난 성능을 보입니다.
PersonaPlex는 텍스트 프롬프트를 통한 강력한 지침 수행 능력을 보여줍니다. 고객 서비스 예시에서 신원 확인, 환자 세부 정보 기록, 기밀 보장 등을 수행하며, 동시에 듣고 말하는 중에도 공감 능력과 자연스러운 턴테이킹을 전달합니다.
음성 프롬프트를 사용하여 악센트를 제어할 수 있어, 지역별 고객 서비스나 다국어 상호작용 등 다양한 사용 사례에 맞춤 설정할 수 있습니다.
"처음으로, 필요한 사용자 정의와 대화를 진정으로 인간답게 만드는 자연스러움을 동시에 얻을 수 있습니다."
이 한 문장은 PersonaPlex의 혁신을 잘 보여줍니다: 페르소나 유연성과 대화의 자연스러움 사이의 트레이드오프를 깨뜨린 것입니다. Moshi와 같은 기존 전이중 모델이 자연스러운 상호작용을 제공했지만 고정된 음성과 역할에 갇혔던 반면, PersonaPlex는 텍스트 프롬프트를 통해 어떤 페르소나든 정의하면서 실시간 듣기, 말하기, 끼어들기 처리를 유지합니다. 그 결과, 지침을 따를 뿐만 아니라 인간이 의도와 감정을 읽는 데 사용하는 비언어적 신호까지 재현하는 모델이 탄생했습니다.
자연스러운 상호작용과 페르소나 사용자 정의가 모두 필요한 대화형 AI 애플리케이션(예: 고객 서비스 에이전트, 가상 비서, 인터랙티브 캐릭터)을 구축 중이라면 주목할 만합니다. 계단식 시스템의 로봇 같은 느낌이나 기존 전이중 모델의 경직성에 어려움을 겪었다면 특히 유용합니다. 또한 끼어들기 처리, 뒷받침 반응, 작업 준수 측면에서 기존 시스템보다 뛰어난 성능을 보이므로 대화 역학 연구에도 탐구할 가치가 있습니다.
고려해볼 만한 다른 도구
Loading comments…
제작자
mocha_byte
웹사이트 방문
research.nvidia.com/labs/adlr/personaplex/
프로젝트 정보
제품 키워드
