"사진 한장 넣고 10초면 뚝딱"…합성 툴 대중화의 그늘[딥페이크 두 얼굴②]

앱마켓서 유·무료 사진·영상 합성 앱 유통…딥페이크 진입 문턱 낮춰

증명사진 1장이면 진짜 같은 영상 생성…유료 텔레그램 봇 암암리 기승

향후 금품 갈취, 협박 등 피싱 범죄로도 딥페이크 악용 우려 커

[그래픽=뉴시스] [email protected]

[서울=뉴시스]윤정민 기자 = 최근 여성 얼굴에 음란물을 합성한 편집물을 유포하는 이른바 '딥페이크' 성범죄가 확산되면서 당국에 비상이 걸렸다.

조은희 국민의힘 의원실이 지난 21일 경찰청에 받은 '딥페이크 범죄 현황'에 따르면 허위 영상물 관련 범죄 건수는 2021년 156건에서 2022년 160건, 지난해 180건으로 늘었다. 방송통신심의위원회에 따르면 지난해 말 기준 성적 허위 영상물 시정요구 건수는 5996건으로 2021년 1913건 대비 3배 이상 늘었다.

딥페이크 악용 사례가 늘어난 가장 주요한 배경은 비전문가들도 쉽게 딥페이크 합성 영상물을 제작할 수 있기 때문이다. 앱 마켓에서 딥페이크 기반 콘텐츠 제작 앱을 쉽게 찾을 수 있고 인터넷에서도 학습용으로 딥페이크 프로그램 만드는 법을 알아낼 수 있다. 친구나 지인 간 소통을 위한 재밋거리나 새로운 창작을 명분으로 이용할 수 있지만 초보자들도 마음만 먹으면 얼마든지 딥페이크를 악용해 디지털 성범죄나 피싱 범죄 행위를 할 환경이 만들어진 상황이다.

셀카 한 장 찍었을 뿐인데 기자 부모님도 속은 합성 영상 완성

딥페이크 영상을 만드는 게 얼마나 쉬운지 기자가 직접 딥페이크 기반 콘텐츠 제작 앱을 이용해 봤다.

구글 플레이 등 앱 마켓에서 'AI 얼굴 합성', 'AI 페이스 스왑' 등 딥페이크 관련 키워드를 검색하면 수많은 유·무료 AI 영상 편집 프로그램을 볼 수 있다. 이들 서비스는 '얼굴 바꾸기', '성별 바꾸기', '목소리 전환' 등의 기능을 제공하고 있었다.

[서울=뉴시스] 한 무료 인공지능(AI) 얼굴 합성 앱을 통해 기자 얼굴로 제작한 딥페이크(인공지능 기반 인간 이미지 합성 기술) 영상. 최대 30초 광고 의무 시청을 마치고 셀카 한 장에 약 10초면 누구나 회원가입 없이 무료로 딥페이크 영상을 제작할 수 있다. (영상=무료 인공지능(AI) 얼굴 합성 앱 캡처) *재판매 및 DB 금지

기자가 고른 한 앱은 2020년 출시 후 누적 다운로드 수가 5000만회를 넘은 인기 딥페이크 영상 제작 앱이었다. 이 앱은 광고 의무 시청 후 딥페이크 영상을 제작할 수 있는데 합성을 원하는 영상 템플릿에 기자 얼굴이 담긴 사진 한 장을 첨부했더니 약 10초 만에 영상이 완성됐다. 기자 얼굴을 한 남성이 춤을 추는 장면이 나오는데 누가 보면 기자가 직접 숏폼 콘텐츠를 찍었을 거라고 오해할 정도로 자연스러웠다.

스마트폰에 저장해 인스타그램, 페이스북, 카카오톡 등에도 공유할 수 있었다. 기자가 지인에게 이 영상을 보내줬더니 "머리 스타일만 아니었으면 진짜 믿었을 것이다", "네가 이렇게 춤을 잘 췄었나? 헷갈렸다"는 등의 반응을 보였다. 한 지인은 "요즘 딥페이크 영상이 실제와 구분하기 어려울 정도로 정교하게 합성되는구나. 누군가가 내 얼굴로 이런 영상을 만들 수 있다는 생각에 섬뜩하다"는 반응을 보였다.

전문가들도 과거 딥페이크 영상에서는 표정이나 동작이 부자연스러운 게 많았다면 최근에는 전문가도 자세히 봐야만 가짜 영상을 구분하는 사례가 많다고 진단했다.

[서울=뉴시스] 약 40만명이 참여한 딥페이크 성착취 텔레그램 채널. (사진=텔레그램 채널 캡처) 2024.08.27. [email protected] *재판매 및 DB 금지

문제는 앱 마켓에 유포되는 딥페이크 기반 콘텐츠 제작 앱이 아닌 텔레그램 등 단속이 어려운 곳에서도 쉽게 딥페이크 합성물을 만들 수 있다는 점이다. 한 텔레그램 채널은 사진 한 장만 올리고 가상화폐로 결제하면 나체 사진과 합성한 음란물을 만드는 프로그램 봇을 운영하고 있다. 또 다른 텔레그램 채널에는 지인 사진과 신상정보를 올릴 시 '○○고 □□□' 등이라는 내용과 함께 나체 사진 합성물이 나온다.

"특정 시나리오도 수행하는 딥페이크 영상 나온다…AI 발전할수록 부작용도 커질 것"

[수원=뉴시스] 김종택 기자 = 최근 타인 사진을 도용한 딥페이크(인공지능 기반 이미지 합성) 영상물이 확산하고 있는 29일 경기도 수원시 영통구 경기도교육청에서 직원들이 딥페이크 관련 카드뉴스를 살펴보고 있다.

교육부는 17개 시도교육청을 통해 파악한 결과 올해 1월부터 지난 27일까지 학생·교원 딥페이크 피해 건수가 총 196건으로 이 중 179건은 수사당국에 수사를 의뢰했다. 2024.08.29. [email protected]

전문가들은 향후가 더 큰 문제라고 입을 모았다. AI 기술이 텍스트, 영상·음성 데이터까지 함께 처리하는 멀티모달 방식으로 진화하고 있기 때문이다. 그동안 딥페이크 기술이 특정인을 다른 영상물에 합성하는 수준에 불과했다면 이제는 특정 시나리오를 기반으로 한 허위 영상까지 창작할 수 있다는 의미다.

이미 챗GPT 개발사 오픈AI는 지난 2월 간단한 텍스트를 입력하는 것만으로 최대 1분 길이의 고화질 영상을 만들어내는 생성형 AI '소라'를 공개한 바 있다. 멀티모달 방식의 AI 기반 딥페이크가 범죄자들에게 악용될 가능성이 충분하다.

보안 전문가들은 딥페이크 악용이 고도화될수록 금전 문제와 연결되는 피싱 범죄도 증가할 것으로 전망했다. 예를 들어 딥페이크 음란물이나 납치 영상으로 협박해 피해자에게 금품을 갈취할 수 있다.

딥페이크 영상 기술이 발전하면서 이를 악용하는 범죄도 빠르게 늘고 있지만 이를 통제할 방법이 마땅치 않다. 김명주 서울여대 정보보호학과 교수는 "딥페이크가 콘텐츠 제작 등에서는 편리성을 제공하는 만큼 무조건 나쁜 기술이라고 볼 수 없기 때문에 모든 딥페이크 사진·영상 제작 앱이나 서비스 출시를 규제하는 건 불가능하다"고 말했다. 자칫 딥페이크 부작용에 따른 섣부른 규제가 '빈대 잡겠다고 초가삼간을 태우는 우(愚)'가 될 수 있다는 시각도 있다.

다만 전문가들은 딥페이크 기술 발전을 막지 않으면서도 악용 가능성을 최소화할 제도적 장치가 필요하다는 점은 공감했다. 김 교수는 청소년이 딥페이크 기술과 위험성을 충분히 알고 이를 제대로 활용할 수 있는 미디어 리터러시(문해력) 교육이 필요하다고 전했다.

또 딥페이크 개발사와 소셜미디어, 콘텐츠 공유 플랫폼 기업들도 개발 단계부터 딥페이크 악용 가능성을 최소화하고 오남용된 딥페이크 영상을 판별·차단할 수 있는 관리 방안을 마련해야 한다는 지적도 나왔다.


◎공감언론 뉴시스 [email protected]