시사위크=박설민 기자  지난 1일(현지시간) 영국 버킹엄셔 블레츨리 파크에선 세계 첫 ‘인공지능(AI) 안전 정상회의(AI Safety Summit)가 열렸다. 이날 회의에서 미국, 영국, 유럽연합(EU), 중국 등 세계 주요국은 AI가  우리 사회에 미칠 수 있는 심각한 피해를 막기 위한 협력을 다짐했다.

이번 회의가 열리게 된 계기는 예상보다 빠르게 이뤄지고 있는 AI의 ‘일상화’ 속도에 대응하기 위함이다. 실제로 글로벌시장조사기관 ‘프레지던스 리서치’에 따르면 2032년 예상되는 AI시장 규모는 5,751억6,000만달러. 이 같은 ‘AI열풍’은 당분간 지속될 전망이다. 이로 인해 생활, 산업 전반의 작업 능률은 크게 향상되는 추세다. 

이날 참석한 세계 주요국 대표들 역시 ‘블레츨리 선언문’을 통해 “AI는 고의적이든 의도적이지 않든 심각하고 위험한 피해를 부를 발생할 가능성이 있다”며 “이를 막기 위해 인간 중심적이고 신뢰할 수 있으며 책임감 있는 AI를 보장하기 위해 포괄적인 방식의 국제적 협력이 필요하다”고 강조했다.

이 같은 AI에 대한 우려는 기우가 아니다. 실제 AI를 악용하는 범죄자들은 급증하고 있다. 특히 ‘가짜 뉴스’를 유발하는 ‘딥페이크’가 기승을 부리면서 이에 대한 대비책 마련의 필요성도 제기되고 있다.

◇ 급증하는 딥페이크 영상… 전 세계 올해 약 50만개 유포

“우리는 패배했습니다. 무기를 내려놓고 러시아군에 항복하십시오.” 지난해 3월 16일 우크라이나 TV채널 ‘우크라이나24’을 통해 볼로디미르 젤렌스키 우크라이나 대통령이 러시아에 무조건 항복한다는 영상이 방송됐다. 

해당 보도에 우크라이나 국민들을 포함, 전 세계가 혼란에 빠졌다. 하지만 얼마 지나지 않아 이 영상이 조작된 것으로 확인됐다. 딥페이크 기술로 제작한 영상을 러시아 출신으로 추정되는 해커들이 TV 채널을 해킹해 방영한 것이다.

정확하진 않으나, 전문가들은 ‘딥페이스랩(DeepfaceLab)’ 소프트웨어로 제작한 것으로 추정하고 있다. 딥페이스랩은 AI영상 합성 오픈소스 프로그램이다. 전 세계 딥페이크 영상 95%가 이 AI프로그램으로 만들어졌다.

딥페이크가 혼란을 가져온 것은 이 사례만이 아니다. 지난 5월엔 민주당 소속  힐러리 클린턴 전 미국 국무장관이 상대 진영인 공화당 대선 후보를 지지하는 영상이 온라인을 통해 확산됐다. 이 역시 딥페이크로 만들어진 영상이었다.

이 같은 딥페이크의 가짜뉴스 범죄의 증가 추이는 통계로도 파악 가능한 수준까지 온 상황이다. 실제로 ‘딥미디어(DeepMedia)’에 따르면 올해 기준 약 50만개의 영상 및 음성 딥페이크 파일이 소셜네트워크(SNS)를 통해 공유된 것으로 알려졌다. 

특히 문제가 심각한 지역은 AI서비스가 발달된 북미 지역이다. 글로벌시장조사업체 ‘페이먼트 인더스트리 인텔리전스’에 따르면 올해 1분기 기준 미국·캐나다 지역의 사기 범죄에서 딥페이크가 차지하는 비율은 크게 증가했다. 세부 데이터를 살펴보면 미국 0.2%에서 2.6%, 캐나다는 0.1%에서 4.6% 늘었다. 반면 고전적인 ‘인쇄 위조’ 사기 범죄의 경우, 0%대로 급감했다.

글로벌 검증 플랫폼 ‘섬서브(Sumsub)’의 파벨 골드만 칼라이딘 AI기술 이사는 “기술 발전으로 딥페이크를 만들기 훨씬 쉬워졌고 결과적으로 통계에서 알 수 있듯, 이용량이 몇배로 늘어나고 있다”며 “사기꾼들은 실제 사람의 문서를 사용해 사진을 찍은 후, ‘3D페르소나’로 바꾼다”고 지적했다.

이어 “딥페이크 탐지 기술을 업데이트하기 위해 지속적으로 노력하지 않는 사기 방지 및 검증 제공업체는 기업과 사용자 모두를 위험에 빠뜨리게 될 것”이라며 “탐지 기술을 업그레이드하는 것은 현대 사기 범죄에 대응하기 위한 효과적인 검증 및 사기 방지 시스템의 필수적인 부분”이라고 전했다.

◇ 딥페이크 잡는 AI도 등장했지만… 전문가들 “점점 탐지 어려워질 것”

딥페이크로 인한 문제가 심화됨에 따라 각 기업에서는 탐지 기술 마련에 속도를 내고 있다. 특히 ‘이이제이(以夷制夷)’라는 말처럼 딥페이크를 잡는 ‘AI’ 기술이 새롭게 각광받고 있다. AI의 강력한 이미지 데이터 분석 능력을 활용해 눈에 보이지 않는 딥페이크의 사소한 오류를 잡아낸다는 것이다.

딥페이크 탐지용 AI기술을 개발하는 대표적 기업은 ‘인텔(Intel)’이다. 인텔은 지난해 11월 ‘페이크 캐처(FakeCatcher)’라고 불리는 딥페이크 탐지기를 공개했다. 뉴욕주립대 연구진과 협력해 개발한 이 AI기술은 96%의 정확도로 딥페이크 영상을 탐지할 수 있다. 밀리초(ms, 1000분의 1초) 단위로 동영상을 쪼갠 후, 각각의 시간대에서 어색한 부분을 찾아내는 것이다. 

예를 들어 비디오 영상에 사람이 찍힐 경우, 얼굴에 혈류 변화가 나타난다. 이는 매우 미세한 비디오 픽셀 단위로 저장되기 때문에 인간의 눈으로는 구분할 수 없다. 하지만 AI의 경우, 이 변화를 감지할 수 있다. 페이크캡처는 원본 영상에서 나타나는 사람의 얼굴에서 혈류 신호를 수집한 후, 시공간지도 형태로 변환한다. 그 다음, 딥페이크 영상에서 발견되는 미묘한 변화를 감지해낸다.

에스토니아의 AI플랫폼 기업 ‘센티널(Sentinel)’에서 개발한 동명의 AI ‘센티널’도 있다. 각 유럽 정부 및 국방 기관, 기업 등에서 높은 사용률을 가진 딥페이크 탐지 AI모델이다. 이 시스템은 사용자가 웹사이트 또는 API를 통해 딥페이크 의심 영상을 업로드하면, AI 위조 여부를 자동 분석해준다. 

센티널에서 자체 개발한 AI알고리즘은 업로드 된 영상에서 변경된 부분을 시각화해 결과를 알려준다. 예를 들어 원본 동영상에 등장한 인물의 입모양이 달라진 모습 등을 묘사해주는 것이다. 때문에 이용자는 영상이 조작된 위치와 방법을 정확히 알 수 있다.

미국, 유럽뿐만 아니라 국내 역시 딥페이크 탐지용 AI기술 개발이 한창이다. 대표적 기업은 생성형 AI기술 전문기업 ‘딥브레인AI’다. 이 기업에서 개발한 딥페이크 탐지 AI솔루션은 영상뿐만 아니라 이미지, 음성 조작 여부까지 검출해낼 수 있다.

딥브레인AI에 다르면 이 솔루션은 ‘합성곱 신경망(CNN)’과 ‘트랜스포머(Transformer)’ 모델을 기반으로 제작됐다. CNN은 영상·이미지 분석에 특화된 AI알고리즘이다. 데이터 입력 및 출력 과정에 ‘필터링 기법’을 적용해, 각 데이터 간 차이점을 AI가 분석하는데 탁월한 성능을 보여준다. 트랜스포머는 구글에서 개발한 AI알고리즘이다. 문장 속 단어와 어순 관계를 추적해 맥락과 의미를 학습한다. 

딥브레인AI가 개발한 탐지 솔루션은 가상 인간을 원하는 얼굴로 교체하는 ‘페이스 스왑’, ‘AI립싱크’ 등의 딥페이크 조작 이미지와 영상 탐지가 가능하다. 또 특정 인물의 영상 데이터로 얼굴 특징, 체형, 행동 패턴 등을 분석해 딥러닝 학습을 진행한 후 특정 인물에 대한 진위 여부를 판별하는 ‘특정 인물 탐지 모델’과 TTS(Text To Speech)나 보코더(Vocoder) 등 음성 합성 여부를 탐지하는 ‘음성 탐지 모델’을 제공한다.

다만 전문가들은 딥페이크로 만들어진 가짜 영상, 사진 등을 잡는 것은 쉽지 않은 일이라고 지적한다. AI로  딥페이크 등 생성형 AI기술을 악용한 범죄를 막는데는 기술적 한계가 있다는 것이다. 때문에 법적 규제, AI윤리 원칙 확립 등의 대책 마련이 시급하다고 조언한다.

이는 딥페이크의 원리를 살펴보면 이해가 가능하다. 딥페이크가 실감나는 합성 영상을 만들 수 있는 것은 ‘생성적 적대신경망(GAN)’ 기술 덕분이다. GAN은 가짜 정보를 만드는 AI모델과 이를 탐지하는 AI를 경쟁시키는 신경망이다. AI모델 내부의 두가지 AI가 싸우며 ‘가장 현실적인’ 가짜정보를 만들어내는 것이다. 쉽게 비유해보자면 위조지폐를 만드는 사람과 단속하는 경찰이 힘을 합쳐 가장 그럴싸한 위조지폐를 만들어내는 것이라 할 수 있다.

김수현 한국과학기술연구원(KIST) 인공지능연구단 책임연구원은 <시사위크>와의 통화에서 “딥페이크 탐지와 AI의 싸움은 상당히 불합리한 대결”이라며 “딥페이크 탐지는 조작 영상에서 드러나는 경계의 오류, 패턴 등을 감지하는 방법으로 이뤄지는데 이는 기술이 발전할수록 점점 더 잡기 어려워지게 된다”고 우려했다.

이어 “AI기술이 완전해질수록, 즉 딥페이크 기술이 완전해지게 되면 결국 탐지는 불가능한 지점에 도달하게 될 것”이라며 “딥페이크 문제를 완화시키기 위해선 생성형 AI로 제작된 제작물이라는 것을 나타내는 표시 등을 탑재하는 방안 등을 고려해야할 것”이라고 조언했다.