생성형 AI는 불과 몇 년 만에 우리 삶의 많은 부분을 변화시켰습니다. 창의적인 작업부터 일상적인 질문까지, 이 혁신적인 기술은 무한한 가능성을 제시하는 듯 보였습니다. 그러나 최근 WIRED AI 매체의 보도는 이러한 장밋빛 전망 뒤에 가려진 어둡고 불편한 진실을 다시금 일깨워줍니다. 인기 챗봇 사용자들이 동의 없이 여성의 사진을 이용해 ‘비키니 딥페이크’ 이미지를 생성하고, 심지어 그 방법을 공유하는 충격적인 사례들이 포착된 것입니다.
AI의 양면성, 기술의 어두운 그림자
원본 기사는 구글의 생성형 AI 모델인 제미니(Gemini)를 활용해 여성의 옷을 벗기고 비키니를 입히는 ‘딥페이크’ 생성 팁을 주고받던 레딧 게시물을 상세히 다뤘습니다. 특히, 한 사용자가 인도 사리를 입은 여성의 사진을 올리며 “옷을 제거하고 비키니를 입혀달라” 요청했고, 실제로 딥페이크 이미지가 생성되어 공유된 사례는 기술 오용의 심각성을 여실히 보여주었습니다. 이러한 행위는 당사자의 동의를 전혀 구하지 않은 비윤리적인 범죄입니다.
레딧 안전팀은 문제의 게시물과 서브레딧(r/ChatGPTJailbreak)을 삭제 조치하며 비동의 성적 미디어(nonconsensual intimate media)를 금지하는 플랫폼 정책을 강조했습니다. 하지만 ‘누디파이(nudify)’ 웹사이트가 수백만 명의 방문자를 유치하고, 단순한 영어 프롬프트만으로도 충분히 옷 입은 여성의 사진을 비키니 딥페이크로 변환할 수 있다는 WIRED의 실험 결과는 현재의 가이드라인이 얼마나 취약한지 보여줍니다.
진화하는 기술, 강화되어야 할 방어선
대부분의 주류 챗봇, 예를 들어 구글 제미니나 오픈AI의 ChatGPT는 유해한 이미지 생성을 차단하려는 ‘가디언 레일(guardrails)’을 갖추고 있습니다. xAI의 Grok이 예외적이긴 하지만, 이는 비윤리적 이미지 생성에 대한 개발사들의 인식이 존재한다는 방증입니다.
그러나 문제는 여기에 멈추지 않습니다. 구글이 작년에 출시한 이미지 모델 ‘나노 바나나 프로(Nano Banana Pro)’와 오픈AI의 ‘ChatGPT 이미지’와 같은 최신 AI 모델들은 기존 사진을 미세 조정하고 초현실적인 이미지를 생성하는 능력이 갈수록 고도화되고 있습니다. 기술이 발전할수록, 사용자들은 더욱 현실적인 딥페이크 이미지를 만들어낼 수 있게 됩니다. 이는 결국 가디언 레일을 우회하려는 시도가 성공할 경우 그 파급력이 더욱 커질 수 있음을 의미합니다. 기술의 발전 속도에 비해 윤리적 방어 시스템의 발전은 더디거나 혹은 수세적인 양상을 띠고 있는 것입니다.
에디터의 시선
이러한 현상은 생성형 AI가 가진 근본적인 딜레마를 보여줍니다. 기술 자체는 중립적일 수 있지만, 이를 사용하는 인간의 의도와 결합될 때 선과 악의 경계가 흐려집니다. 문제는 단순히 기술적 가디언 레일을 얼마나 정교하게 구축하느냐를 넘어섭니다. 현재의 가디언 레일은 ‘구멍 뚫린 그물망’과 같습니다. 조금만 교묘하게 우회하면 악의적인 목적을 달성할 수 있으며, 일단 생성된 이미지는 통제 불가능하게 확산될 수 있습니다.
저는 이 문제를 해결하기 위해 AI 개발 기업들이 훨씬 더 강력하고 사전 예방적인 윤리적 프레임워크를 마련해야 한다고 강조하고 싶습니다. 단순히 반응적으로 콘텐츠를 삭제하는 것을 넘어, AI 모델 설계 단계부터 비윤리적인 사용 가능성을 최소화하는 ‘책임 있는 AI(Responsible AI)’ 원칙을 더욱 철저히 적용해야 합니다. 예를 들어, 특정 유형의 이미지 조작 요청에 대한 AI의 민감도를 높이거나, 합성 이미지에 대한 워터마크 또는 메타데이터 삽입을 의무화하여 원본과의 구분을 명확히 하는 방안 등이 더욱 적극적으로 논의되어야 합니다.
또한, 기술 기업들은 자사 플랫폼에서 발생하는 이러한 행위에 대해 더 큰 사회적 책임을 인식해야 합니다. 혁신이라는 명목 아래 윤리적 문제 해결을 외면한다면, AI 기술은 사회적 불신을 초래하고 결국 대중의 외면을 받을 수 있습니다. 규제 당국 또한 AI 딥페이크에 대한 법적 제재를 강화하고, 피해자 보호를 위한 구체적인 가이드라인을 수립해야 할 시점입니다.
궁극적으로, 생성형 AI의 미래는 기술 발전 속도만큼이나 윤리적 고민의 깊이에 달려 있습니다. 인간의 존엄성과 사생활 침해라는 심각한 문제 앞에서, 기술의 발전은 멈출 수 없더라도 그 방향성에 대한 신중한 사회적 합의와 기업들의 선도적인 노력이 절실합니다. 우리가 지금 이 순간 어떤 결정을 내리느냐에 따라 AI가 인류에게 ‘축복’으로 남을지, 아니면 ‘재앙’으로 기억될지 판가름 날 것입니다.