AI가 핵심 내용을 요약했어요
AI 기술을 활용한 요약 서비스입니다. 보다 정확한 정보를 위해 본문 확인을 권장합니다.
글레오 AI는 차량의 음성·내비게이션·공조·앱 등을 하나로 연결해 자연스러운 대화와 기능 실행을 제공하는 차량 특화 AI 에이전트다. 자동차라는 환경에 맞춰 주행 소음, 좌석 위치, 차량 상태와 안전 조건까지 고려하며 정확성과 신뢰성을 높이고 있다. 향후에는 사용자의 이동 습관과 선호를 기억하고, 필요한 정보를 먼저 제안하는 개인화된 AI로 발전할 계획이다. 자율주행 시대에는 차량과 앱, 경로·충전 등을 연결해 이동의 전 과정을 조율하는 에이전트로 역할을 확장할 전망이다.
자동차의 AI 에이전트는 무엇이 다르고, 어떤 미래를 만들 수 있을까? Gleo AI의 개발을 이끈 포티투닷 이한빈 GL을 만나 현재와 미래에 대한 이야기를 들었다.
현대자동차그룹의 차세대 인포테인먼트 시스템인 ‘플레오스 커넥트(Pleos Connect)’에는 차량 전반의 기능을 음성으로 통합 제어할 수 있는 AI 에이전트 ‘글레오 AI(Gleo AI)’가 적용되어 있다. 대규모 언어 모델(Large Language Model, LLM) 기반의 글레오 AI는 발화자의 의도와 맥락을 종합적으로 고려해 지능적으로 반응하고 작동한다. 예를 들어 “현대모터스튜디오 가자”라는 요청에 이어 “거기 주차 가능해?”라고 물어보면 앞선 대화를 바탕으로 최적화된 정보를 제공한다.
글레오 AI는 자동차라는 사용 환경에 특화되었다는 점에서 차별화되어 있다. 가령 운전자가 “라디오 끄고, 에어컨 켜고, 무드등을 숲속 느낌으로 바꿔줘”라고 요청하면 이를 이해하고 순차적으로 수행하되, 모든 제어 과정에서 차량 상태와 안전 조건을 고려해 작동한다. 글레오 AI의 목표는 이동의 모든 과정을 조율하는 AI 에이전트가 되는 것이다. 글레오 AI를 개발하고 있는 포티투닷 이한빈 글레오 AI 엔지니어링 그룹 리드(Gleo AI Engineering Group Lead, 이하 GL)를 만나 이야기를 나눴다.
안전에 초점을 맞춘 설계 철학
가장 궁금했던 점은 글레오 AI의 설계 철학이었다. 차량용 AI의 구현 조건은 까다롭다. 자동차의 인포테인먼트 시스템이라는 제한된 자원 내에서 안정적으로 구동해야 하며, 무엇보다 주행 상황에서도 안전한 제어가 필요하다. 이한빈 GL은 “글레오 AI는 처음부터 차량 환경의 인지-판단-실행을 위해 설계됐다”며 다음과 같이 말했다.
“포티투닷은 자연스러운 연속 대화, 빠른 응답, 명령 수행 결과의 확인, 개인정보 보호, 사용자가 지원 기능을 쉽게 이해할 수 있는 설계를 추진했습니다. 그리고 기술적으로는 차 안에서 에이전트의 진입점은 하나여야 하고, 여러 도메인을 넘나드는 맥락을 이해하는 것이 중요하다는 관점에서 출발했습니다. 내비게이션, 차량 제어, 앱 실행 등 다양한 기능을 하나의 LLM 기반 에이전트 안에서 연결하고, 차량 상태와 안전 조건까지 함께 고려하도록 했죠.”
글레오 AI는 포티투닷이 개발한 음성 전처리, 언어별 음성 인식, 음성 합성, 좌석 위치 인식, 차량 상태와 안전 조건 확인, 차량 제어, 내비게이션 제어, 앱 실행 등을 하나의 에이전트 구조로 묶었다. 더불어 빠르고 안정적이어야 하는 작업은 내부에서, 고성능 연산이 필요한 작업은 클라우드에서 처리하는 하이브리드 구조로 효율성을 높였다.
글레오 AI의 설계에는 고객의 사용 경험을 위한 사려 깊은 배려도 녹아있다. 이한빈 GL은 “고객의 자연스럽고 편안한 AI 사용 경험을 가장 중요하게 여겼다”고 말했다. 사용자가 요청한 기능의 수행 여부를 쉽게 확인할 수 있고, 나아가 어떤 기능을 사용할 수 있는지도 쉽게 알아볼 수 있도록 다듬은 이유다. 그는 “내비게이션, 차량 제어, 앱 실행처럼 서로 다른 기능을 각각 따로 사용하는 것이 아니라, 하나의 AI를 통해 맥락을 이어가며 이용할 수 있는 경험을 지향했다”고 덧붙였다.
한편, 고객 입장에서 글레오 AI와 같은 차량용 AI는 무엇이 달라야 할지 궁금했다. 이한빈 GL은 “고객이 이미 익숙하게 사용 중인 생성형 AI 서비스들처럼 자연스럽게 말하고, 앞선 대화의 맥락을 이해하며, 원하는 것을 유연하게 요청할 수 있는 경험은 차량에서도 제공되어야 한다. 다만 차량용 AI는 여기에서 한 단계 더 나아가야 한다”며 다음과 같이 강조했다.
“차량용 AI는 단순히 질문에 답하는 것을 넘어 실제 차량의 기능을 실행하고, 그 과정에서 차량 상태와 사용자의 위치, 이동 맥락을 이해해야 합니다. 그렇기에 차량용 AI에서는 안전성과 신뢰성이 매우 중요합니다. 일반적인 AI 서비스에서는 잘못된 답변이 정보의 오류로 끝날 수 있지만, 차량에서는 실제 기능 실행과 연결될 수 있기 때문이죠. 고객이 느끼는 대화 경험은 일반적인 AI처럼 자연스럽되, 자동차에 특화된 안전성, 정확성, 실행 능력이 훨씬 엄격하게 보장돼야 합니다.”
자동차 실내라는 환경에 대응하는 음성 인식 기술
글레오 AI와 같은 차량용 AI 에이전트는 자동차 실내라는 환경에 대응할 수 있는 능력이 필수적이다. 예컨대 주행 상황에서는 타이어 소음과 바람 소리, 음악과 내비게이션 안내음까지 끊임없이 마이크로 흘러든다. 조용한 사무실에서 작동하는 것과, 시속 100km로 달리는 차 안에서 작동하는 것은 전혀 다른 문제다. 이한빈 GL은 이 지점부터 이야기를 풀어갔다.
“사용 환경도 중요한 부분입니다. PC나 스마트폰의 AI와 비교하면 차 안에서는 주행 소음과 잔향, 음악, 내비게이션 안내가 계속 마이크에 유입됩니다. 따라서 차량 환경에 맞는 기술 개발에도 집중했습니다. 적은 연산량으로 빠르게 동작하는 호출어 검출 모델을 자체 개발했으며, 발화자의 좌석과 차량 상태를 이해하고 안전 조건을 확인한 뒤, 기능을 안정적으로 수행하도록 음성 시스템을 고도화하고 있습니다.”
글레오 AI는 발화자의 좌석 위치까지 식별한다. 가령 운전자가 “창문 열어줘”라고 이야기한 뒤, 동승자가 “나도 열어줘”라고 말하면 운전석과 동승석의 창문을 내리는 동작을 수행할 수 있다. 더불어 “지금 너무 더운데?”와 같은 간접적인 표현에도 상황을 해석해 공조를 조절하거나 시트 열선을 끄는 등 능동적으로 반응한다. 이를 위해서는 정확한 음성 인식이 필수적이다.
“음성 인식률은 사용자의 의도를 해석하는 첫 번째 관문으로서 매우 중요합니다. 저희는 음성을 글자로 옮기는 정확도, 호출 성공률, 의도 이해율, 최종 기능 수행 성공률 등 다양한 지표로 글레오 AI의 성능을 모니터링하면서 개선하고 있습니다. 실제 주행 환경에서의 음성 인식 성능 또한 지속적으로 개선하고 있습니다. 음악을 들으며 사용하는 경우가 대표적이죠.”
음악을 재생하는 상황에서 글레오 AI가 운전자의 음성을 정확하게 인식하려면 AEC(Acoustic Echo Cancellation) 기술이 필요하다. AEC는 재생 중인 음원 신호를 기준으로 마이크에 유입된 스피커 음향 성분을 추정하고 제거해 사용자의 음성을 보다 명확하게 분리한다. 하지만 글레오 AI는 말하는 사람의 자리까지 추정해야 하기 때문에 기술적 난도가 높다.
“실차를 기반으로 음악 음량과 주행 잡음 등 다양한 조건을 조합해 성능을 검증하고 있으며, 어려운 조건에서 수집된 데이터를 학습 및 성능 개선에 적극적으로 반영하고 있습니다. 전체 음성인식 파이프라인도 개선하고 있으며, 이러한 개선 사항은 추후 업데이트를 통해 순차적으로 반영할 예정입니다.”
한편, 신조어의 경우 음성 인식의 복병과도 같다. 음성 인식의 경우 단어를 읽는 소리를 문자로 옮길 수 있어도, 그 단어의 의미를 알지 못하면 이용자의 의도를 해석할 수 없다. 이한빈 GL은 “신조어 인식은 소리를 정확히 문자로 옮겼는가와 그 단어의 최신 의미를 알고 있는가를 나눠 봐야 한다”며 다음과 같이 설명했다.
“글레오 AI의 개발에는 권리와 개인정보 기준을 충족한 일반 언어 데이터, 차량 도메인 용어와 사용자 발화 유형, 소음, 좌석, 말투 등 차량 음성 환경을 반영한 데이터, 차량 기능, 매뉴얼, 서비스 연동 정보 등이 목적별로 쓰입니다. 최신 정보는 웹 검색과 자체 데이터 컬렉션을 통해 확인하죠. 그런데 신조어 중에서도 아는 것과 모르는 것이 있습니다. 유행 속도와 데이터 갱신 시차, 문맥 부족에 따라 차이가 생길 수 있죠. 저희는 인식 실패와 의미 이해 실패를 각각 수집해 사전, 언어 모델, 검색 연결을 업데이트하고, 모르는 표현은 아는 척하지 않고 되묻거나 검색 여부를 안내하도록 개선할 예정입니다.”
꾸준한 개선과 철저한 안전 체계
다양한 기능을 제어할 수 있는 글레오 AI지만, 아직 할 수 없는 일이 있다. 대표적인 것이 경유지를 포함한 복잡한 목적지 설정이다. 이한빈 GL은 “단순히 내비게이션 기능 하나를 추가하는 문제라기보다, 여러 개의 요청을 한 번에 이해하고 누락 없이 수행하는 에이전트의 실행 능력과 관련된 영역이다”라고 말하며 다음과 같이 덧붙였다.
“글레오 AI도 현재 일부 차량 제어나 기능은 동시에 수행할 수 있지만, 여러 태스크가 함께 요청될 경우 각 기능의 UI 프로세스가 충돌하지 않아야 하고, 어떤 작업을 먼저 수행해야 하는지, 앞선 작업의 결과를 바탕으로 다음 작업을 이어가야 하는지까지 함께 판단해야 합니다. 이런 부분을 고려해 여러 요청을 어떻게 처리할지 내부적으로 개발 및 고도화를 추진 중입니다. 물론, 여러 경유지를 포함해 목적지를 구성하는 기능은 고객 입장에서 중요한 니즈라고 판단하고 있으며, 이러한 에이전틱 수행 능력을 고도화하는 과정의 주요 과제로 개발을 진행하고 있습니다.”
현재 AI 서비스에서 종종 일어나는 ‘AI 환각(할루시네이션)’에 대한 대비 또한 주목할 부분이다. AI 환각은 AI가 사실과 다른 내용을 마치 사실인 것 처럼 답변하는 현상을 뜻한다. 글레오 AI는 AI 환각을 줄이기 위해 차량 환경과 안전 요구사항을 반영한 다층적 검증 체계를 적용했다.
“글레오 AI는 먼저 차량 매뉴얼, 정비 지침, 내비게이션 정보 등 검증된 데이터만을 활용해 답변하며, 차량 상태나 위치처럼 실시간성이 필요한 정보는 차량 센서 및 공식 시스템의 데이터와 연동해 확인합니다. 그리고 모델이 차량 제어와 관련된 명령을 직접 결정하지 않도록 제한하고 있습니다. 주행, 제동, 조향 등 안전에 영향을 줄 수 있는 기능은 기존 차량 제어 시스템과 별도의 안전 로직이 담당합니다.”
특히, 안전과 관련된 답변은 규칙 기반 검증과 전문가 검토를 추가로 거친다. 그리고 운전자의 안전을 위해 중요한 차량 상태와 안전 관련 정보는 계기판, 공식 매뉴얼 및 서비스센터를 통해 재확인하도록 안내한다. 근거가 부족하거나 차량 데이터를 확인할 수 없는 경우에는 임의로 답하지 않는다. 확인이 필요하다는 점을 명확히 안내하는 것이 기본 원칙이다.
또한, 차량 내 인터랙션 데이터는 개인정보와 주행 맥락이 결합돼 있어 엄격한 통제가 필수적이다. 글레오 AI는 독자 기술로 개발돼 데이터의 수집부터 저장, 활용까지 전 과정의 거버넌스를 보장한다. 안전을 위한 원칙은 ‘글레오 가드(Gleo Guard)’에도 적용된다.
글레오 가드는 사용자의 발화를 안전성, 정책 준수 여부 및 가드레일 관점에서 사전 검사하는 모듈이다. 발화의 위험 유형을 분류하고, 분류 결과에 따라 응답 가이드, 권장 문구, 안내 설명, 허용·제한·금지 정책 등을 함께 제공한다. 단, 위험 가능성이 있는 모든 발화를 일괄적으로 차단하면 정상적인 정보 요청까지 제한될 수 있다. 따라서 위험성이 명확하지 않은 일반적인 대화는 가능한 범위에서 처리하되, 정책 위반 가능성이 명확한 경우에는 응답을 제한하거나 안전한 대체 응답을 제공한다.
글레오 AI가 그리는 미래
글레오 AI는 아직 오래 주고받는 대화까지는 기억할 수 없다. 하지만 이한빈 GL이 중요하게 보는 것은 기억의 총량이 아니다. 그는 단순히 많은 정보를 오래 기억하는 것이 아니라, 사용자를 잘 이해하는 데 필요한 기억을 남기고 적절한 순간에 활용하는 것을 예로 들었다.
“반복되는 이동 루틴이나 선호, 자주 사용하는 기능 등을 기억해 사용자가 매번 같은 설명이나 선택을 반복하지 않도록 인터랙션을 줄이는 방향으로 개인화를 고도화할 계획입니다. 이 과정에서 개인정보와 관련된 데이터의 저장·분석·학습은 사용자 동의와 약관, 보안 원칙을 충분히 고려해 안전하게 처리할 예정입니다.”
글레오 AI는 북미, 유럽 등 다양한 지역으로 확장을 준비 중이다. 이는 단순히 지원 언어를 추가하는 수준에 그치지 않는다. 현지화 품질을 높여 자연스럽게 사용할 수 있는 경험을 제공하는 것이 목표다. 이를 위해 각 언어의 특성을 고려해 음성인식과 음성 합성 모델을 고도화하고 있다. 또한, 현지 지명과 길 안내, 앱 사용 과정에서 고유명사나 표현을 자연스럽고 정확한 발음으로 제공할 수 있도록 최적화하고 있다.
이한빈 GL은 글레오 AI의 발전 방향을 ‘사용자가 묻기 전에 먼저 필요한 것을 제안하는 AI’로 잡고 있다. 사용자의 현재 상황과 이동 맥락을 이해해 목적지로 가는 과정에서 필요한 정보를 먼저 제안하거나, 사용자가 어떤 작업을 요청했을 때 그 요청을 수행하는 데 함께 고려하면 좋은 내용을 추가로 안내하는 것이다.
“일례로 사용자가 디스플레이를 이용할 때 글레오 AI가 상황에 맞는 선택지를 먼저 추천한다면, 사용자가 쉽게 결정할 수 있을 것입니다. 궁극적으로는 이와 같은 제안이 사용자의 선호나 반복되는 행동을 이해하면서 더 적절하게 반응해야 할 것입니다. 그래서 향후에는 개인화와 기억 기능을 함께 고도화하면서, 단순히 질문에 답하는 AI를 넘어 이동 과정에서 필요한 것을 먼저 이해하고, 더욱 편하게 상호작용하는 방향으로 발전시켜 나갈 계획입니다.”
글레오 AI는 사용자 경험의 확장을 위해 앱 생태계와도 연결되고 있다. 다양한 앱이 제공하는 주요 기능을 글레오 AI가 자연스럽게 이해하고 실행할 수 있도록 ‘글레오 인터페이스(Gleo Interface)’를 마련했고, 현대차그룹이 개발자들에게 제공하는 플랫폼인 플레오스 플레이그라운드(Pleos Playground)를 통해 공개하고 있다. 이를 기반으로 일부 프리로드 앱은 글레오 AI와 연결돼 음성으로 기능을 사용할 수 있으며, 서드파티 앱 개발사들과도 실제 구현과 연동 논의를 진행하고 있다.
자율주행 시대에 글레오 AI의 역할은 지금보다 더 확장될 것이다. 이한빈 GL은 “자율주행 수준이 높아질수록 글레오 AI는 이동의 모든 과정을 조율하는 에이전트로 발전해야 한다”며 다음과 같이 덧붙였다.
“지금은 주행 중 시선을 분산시키지 않고 차량의 다양한 기능을 안전하게 수행하는 역할이 중심입니다. 앞으로는 운전자의 일정과 선호, 차량 상태, 경로와 충전, 이용 가능한 앱을 연결해 다음 행동을 제안하고 실행하는 역할이 커질 것입니다. 다만 자율주행 시스템의 판단을 대신하거나 안전 책임을 흐리는 방식이 아니라, 차량이 허용하는 상태와 법규 안에서 설명하고 요청을 중개하며 고객의 경험을 개인화하는 방향입니다.”
글레오 AI가 그리는 미래는 매번 목적지를 말하지 않아도 자동으로 다음 행선지를 제안하고, 반복되는 습관을 기억해 사소한 조작을 줄여주는 AI 에이전트로서 고객의 하루를 더 편안하게 만드는 것이다. 또한, 자동차 안에서 글레오 AI와 나누는 대화가 자연스러워질수록, 이동은 더욱 편안한 시간이 될 것이다. 이한빈 GL은 다음과 같이 강조하며 말했다.
“글레오 AI의 초기 버전을 경험하신 고객의 기대가 더욱 높아졌다는 것을 느낍니다. 앞으로도 계속 개선되길 바라시는 부분들에 대해서 잘 알고 있습니다. 빠른 고도화를 위해 모두가 최선을 다해 노력하겠습니다. 고객께서 보내주시는 피드백에 귀 기울여 더욱 편리하고 안전하며, 신뢰할 수 있는 사용자 경험을 드리기 위해 계속 고민하겠습니다.”
