소름 돋는 제미나이 경험담…AI가 과몰입 ‘나 대신 행동했다’

이제 AI가 대신 연락까지?
제미나이 문자 발송에 이용자 ‘경악’
제미나이 AI 폭주 논란

“짝사랑 이야기를 털어놨을 뿐인데, 상대에게 문자를 보내려 했다.”

최근 구글의 인공지능(AI) 서비스 ‘제미나이(Gemini)’를 둘러싼 이용자 경험담이 온라인을 중심으로 빠르게 확산되고 있다. AI가 사용자의 의도와 다르게 문자 메시지를 작성·발송하거나, 실제 행동으로 옮기려 했다는 주장이다. 생성형 AI가 단순한 대화 도구를 넘어 ‘행동하는 에이전트’로 진화하는 과정에서 통제와 보안의 경계가 흐려지고 있다는 우려가 커지고 있다.

■ 멋대로 전송된 문자…AI가 실제 행동으로 나섰다

논란은 한 이용자가 온라인 커뮤니티에 올린 글에서 시작됐다. 해당 이용자는 제미나이와 ‘가상의 중국 밀입국 상황’을 주제로 대화를 나누던 중, AI가 대화 내용을 ‘밀입국 선언문’ 형태로 정리해 실제 지인에게 문자 메시지를 보냈다고 주장했다. 그는 “제미나이가 갑자기 선언문을 발송하겠다고 하길래 왜 보내냐고 물었는데, 곧바로 문자가 전송됐다”고 설명했다. 새벽 시간대에, 친분이 깊지 않은 지인에게 문자가 발송돼 당황스러웠다는 것이다.

이후 비슷한 사례가 잇따라 공유됐다. 안드로이드 스마트폰 이용자들 사이에서는 “제미나이에게 짝사랑 상담을 하면 상대에게 문자를 보내려 한다”, “대화 도중 폭주하듯 전화를 걸려고 했다”는 경험담도 나왔다. 일부 이용자는 AI가 실제로 존재하지 않는 판단을 만들어내는 ‘할루시네이션(hallucination)’ 현상이나, 확인 절차를 혼동하게 만드는 사용자 인터페이스(UI)가 오작동의 원인일 수 있다고 지적했다.

현재 제미나이는 안드로이드 환경에서 문자 발송, 전화 걸기 기능을 공식 지원한다. 이용자가 특정 연락처를 지정해 메시지 전송을 요청하면 구글 어시스턴트와 연동돼 실제 발송이 이뤄지는 구조다. 구글 측은 “이용자가 전송 확인 단계에서 ‘예’를 눌렀을 가능성이 있다”는 취지로 설명한 것으로 전해졌다. 하지만 대화 흐름 속에서 무심코 확인을 눌렀을 경우, 민감한 내용이 의도치 않은 상대에게 전달될 수 있다는 점은 여전히 문제로 남는다.

제미나이는 안드로이드와 크롬을 넘어 지메일, 지도, 캘린더, 유튜브, 쇼핑, 항공권 예약 등 구글 생태계 전반과 ‘Connected Apps’ 기능으로 연동된다. 문제는 이러한 통합 기능이 명시적인 이용자 재확인 없이 활성화될 수 있다는 점이다. 실제로 지난해 7월 구글은 제미나이에 와츠앱, 메시지, 전화 등 서드파티 앱 접근 권한을 부여하는 업데이트를 진행하면서, ‘제미나이 앱 활동’ 설정을 꺼둔 이용자에게도 해당 권한을 자동 허용한 것으로 알려졌다. AI 에이전트 확산에 따른 위험성은 구글만의 문제가 아니다. 미국 실리콘밸리 개발자 커뮤니티를 중심으로 급부상한 오픈소스 개인 AI 에이전트 ‘몰트봇(Moltbot·옛 클로드봇)’ 역시 보안 우려의 대상이 되고 있다. 몰트봇은 이메일 읽기, 캘린더 관리, 파일 정리, PC 명령어 실행 등 실제 업무를 자율적으로 처리하는 프로그램으로, 내부 승인 없이 설치해 사용하는 사례도 보고되고 있다.

보안 기업 분석에 따르면 몰트봇은 보안 설정과 로컬 저장 방식 등에서 취약점이 다수 발견됐다. 한 개발자는 “선불카드를 등록해 두었더니 AI가 스스로 맥 미니를 주문했다”는 사례를 공개하기도 했다. AI 에이전트가 실제 자산과 시스템에 접근하는 만큼, 오작동이나 악용 시 피해 규모가 커질 수 있다는 경고다.

이런 상황은 생성형 AI가 본격적인 수익 경쟁 단계에 들어섰다는 점과도 맞물린다. 전 세계 생성형 AI 앱 이용 시간은 최근 1년 새 폭증했고, 구글과 오픈AI 등 빅테크 기업들은 요금제 세분화와 구독 모델을 앞세워 이용자 체류 시간을 늘리는 데 주력하고 있다. 기능 통합과 편의성 강화가 경쟁력으로 떠오르면서, 동시에 통제 장치가 느슨해질 수 있다는 우려도 제기된다.

보안 업계에서는 ‘제로 트러스트(Zero Trust)’ 원칙을 AI 에이전트에도 적용해야 한다는 목소리가 나온다. 초기 인증만으로는 충분하지 않고, 행동 전반에 대해 지속적인 검증이 필요하며 문자 발송, 결제, 외부 통신 같은 고위험 작업에는 인간의 추가 승인을 필수로 해야 한다는 지적이다.

AI가 사람의 말을 이해하고 대신 행동하는 시대가 빠르게 다가오고 있다. 다만 ‘편리함’이 ‘통제 상실’로 이어질 경우, 사소한 대화가 실제 사고로 번질 가능성도 배제할 수 없다. 제미나이의 문자 발송 논란은 AI 에이전트 시대에 요구되는 새로운 보안 기준과 책임의 범위를 다시 묻고 있다.

김은정 기자 kej@news-wa.com