투표 거부 독려 전화 속 바이든 목소리…민주주의 위협하는 딥페이크

KISDI, '슈퍼 선거의 해, 딥페이크 악용 사례 대응 방안 보고서'

유권자 혼란 야기 우려…韓 선거일 90일 전부터 게시 금지

네이버·카카오 등도 공동선언…표현 자유 보장 목소리도

[서울=뉴시스] 인도네시아를 독재했던 수하르토 전 대통령의 인공지능 생성 딥페이크 영상이 소셜미디어에서 화제가 됐다고 CNN이 지난 11일(현지시간) 보도했다. 사진은 X(옛 트위터)에 올라온 해당 영상 갈무리.  (사진=@erwinaksa_id X 계정) 2024.02.13. *재판매 및 DB 금지

[서울=뉴시스]심지혜 기자 = #올해 1월, 미국 뉴햄프셔 주에서는 예비 경선을 앞두고 민주당 당원에게 투표 거부를 독려하는 바이든 대통령의 전화가 걸려왔다는 소식이 나왔다. 이는 2만여 명에게 동시 다발적으로 유포됐다. 하지만 알고 보니 딥페이크로 제작된 것으로 나타났다.

#같은 1월, 인도네시아에서는 대선을 앞두고 2008년 사망한 군부 독재자 수하르토 전 대통령의 투표 독려 영상이 확산됐다. 영상은 자신이 이끌었던 보수정당 투표를 독려하는 내용으로 SNS를 통해 퍼져나가며 470만 회가 넘는 조회소를 기록했다. 지난해 10월에는 영국의 제 1야당인 노동당의 키어 스타머 대표가 직원에게 폭언하는 음성 파일이 SNS를 통해 퍼졌다. 이들 영상과 음성 파일은 모두 딥페이크를 통해 제작된 것으로 밝혀졌다.

최근 정보통신정책연구원(KISDI)이 발간한 '슈퍼 선거의 해, 딥페이크 정치 콘텐츠 악용 사례 및 대응 방안 보고서'에 소개된 딥페이크 피해 사례들이다.
 
딥페이크 기술을 활용한 허위 콘텐츠가 연예인뿐 아니라 일반인, 정치인까지 대상으로 제작돼 SNS와 포털사이트를 통해 광범위하게 확산되고 있다. 딥페이크는 딥러닝과 가짜의 합성어로 인공지능(AI) 기술을 이용해 허위 이미지, 음성, 영상물을 만드는 기술을 의미한다.

올해는 지난 4월 치러진 한국 총선을 포함해 유럽 의회 선거, 미국 대선 등 40개 이상 국가에서 선거가 실시될 예정으로 유권자의 혼란을 야기할 수 있는 딥페이크 정치 콘텐츠에 대한 우려가 커졌다.

실제 미국 뉴햄프셔 주 예비경선을 앞두고 당원들에게 투표 불참을 독려하는 바이든 대통령의 음성전화, 인도 유명배우의 특정 정당지지 영상, 영국 노동당 대표의 폭언 음성파일 등 정치인이 부적절한 발언을 하거나 후보자를 지지하는 것처럼 조작된 영상 등 딥페이크 허위 콘텐츠가 선거에 직·간접적인 영향을 미치는 사례 발생했다.

창의적인 콘텐츠 연출과 기술의 어려움으로 제작하기 어려웠던 콘텐츠 등 긍정적인 활용도 활발하게 이뤄지지만 최근 음란물 및 허위 정보를 담은 역이용 사례들로도 논란이 되고 있다.

KISDI에 따르면 한국은 지난해 12월 공직선거법 개정을 통해 선거일 90일 전부터 선거일까지 딥페이크 영상 등을 제작·편집·유포·상영 또는 게시하는 행위를 금지했다. 이를 위반하면 7년 이하 징역 또는 1000만원 이상 5000만원 이하의 벌금형 처분을 받는다.

선거운동 목적으로 딥페이크 기술을 이용한 가상의 영상 등을 제작하는 경우 해당 정보가 가상의 정보라는 사실을 명확하게 인식할 수 있도록 표시하는 의무도 부과하고 있다.

중앙선거관리위원회는 딥페이크 선거 게시물 단속을 위해 AI 감별반을 운영, 1월 29일부터 총선 전날까지 총 387건의 딥페이크 게시물을 적발했다.

미국은 연방법에서 딥페이크 기술을 활용한 선거운동을 규제하고 있지는 않지만, 일부 주의 선거법에서 딥페이크 선거운동과 관련해서는 규제를 하고 있다. 텍사스주 선거법에서는 후보자에게 손해를 입히거나 선거 결과에 영향을 줄 의도로 딥페이크 비디오를 제작하고 선거일 30일 내에 유포하는 행위를 금지한다.

중국, 일본, 유럽 등 해외 주요국들은 딥페이크 기술을 활용한 정치 콘텐츠에 대해 국가 차원의 규제보다 딥페이크 기술의 오용을 막기 위한 조치로 플랫폼에 대한 책임 강화와 딥페이크 콘텐츠 명시 등에 논의가 진행되고 있다.

주요 테크 기업들도 선거에 악용되고 있는 딥페이크에 대응하고 있다. 네이버, 카카오, SK커뮤니케이션즈는 총선을 앞두고 선거의 공정성, 신뢰성을 제고하기 위해 악의적 선거 딥페이크 사용 방지를 위한 공동선언을 채택하고 중앙선거관리위원회와 협력한 바 있다.

포털 등에서 딥페이크 영상을 이용한 허위 조작정보가 명확히 확인된 경우 빠르게 조치한다는 방침도 제시했다.

아마존, 메타, 마이크로소프트, 틱톡 등 2월 20개의 주요 빅테크 기업은 독일에서 개최된 뮌헨안보회의에서 AI로 인한 민주적 선거의 훼손을 방지하기 위해 올해 선거에서 AI의 기만적 사용을 방지하는 기술 협약을 맺었다.

선거에 영향을 줄 수 있는 AI 페이크 콘텐츠 관련 위험을 줄일 수 있는 기술을 개발하고 페이크 선거 콘텐츠와 관련된 위험을 평가하늘 수 있는 모델 수립, 조작된 AI 콘텐츠 처리 방법 방법을 대중에게 투명하게 제공하는 등의 노력을 함께 하기로 했다.

KISDI는 딥페이크는 특별한 표식이 없으면 진위여부를 판명하는 것이 쉽지 않고 기술 진화로 전문가가 아니어도 소프트웨어 툴을 이용해 많지 않은 자료로도 딥페이크 콘텐츠를 제작할 수 있는 수준이 됐다고 평가했다.

딥페이크 콘텐츠는 허위 사실 조작이나 악의적인 네거티브 확산 등을 통해 유권자의 혼란을 야기, 선거 공정성을 해칠 수 있는 위험이 있다고도 봤다.

KISDI는 딥페이크 기술을 활용한 정치 콘텐츠 제작은 정치적 표현의 자유로 보장돼야 한다는 목소리가 있다면서 AI 기술 발전과 콘텐츠 산업 측면 등의 관점을 고려해 유연한 대응 방안이 필요하다고 제언했다.


◎공감언론 뉴시스 [email protected]