최근 AI 업계를 뒤흔든 소식이 있습니다. Wired 보도에 따르면, 오픈AI(OpenAI)가 2025년 상반기 동안 국립 실종 착취 아동 센터(NCMEC)에 접수한 아동 착취물(CSAM) 관련 신고 건수가 2024년 같은 기간 대비 무려 80배 급증했다고 합니다. 이 충격적인 수치는 단순히 놀라움을 넘어, 생성형 AI의 발전과 확산이 우리 사회에 던지는 복합적인 질문들을 수면 위로 끌어올리고 있습니다.
숫자 너머의 진실: 80배 급증의 이중적 의미
오픈AI가 NCMEC에 보낸 신고 건수는 2024년 상반기 947건(콘텐츠 3,252건)에서 2025년 상반기 75,027건(콘텐츠 74,559건)으로 폭발적인 증가세를 보였습니다. 이 수치만을 보면, 오픈AI 플랫폼 내에서 아동 착취 관련 활동이 기하급수적으로 늘어난 것처럼 보일 수 있습니다. 그러나 이면에는 몇 가지 중요한 맥락이 존재합니다.
오픈AI 측은 이러한 증가의 주요 원인으로 두 가지를 꼽았습니다. 첫째, 2024년 말부터 보고서 검토 및 조치 역량을 강화하기 위한 대규모 투자를 단행했다는 점입니다. 이는 곧 시스템의 탐지 및 보고 능력이 향상되었다는 의미로 해석될 수 있습니다. 둘째, 이미지 업로드를 허용하는 새로운 제품 기능(Product Surfaces)의 도입과 더불어 ChatGPT 등 자사 제품의 사용자 수가 전례 없이 증가(ChatGPT 주간 활성 사용자 4배 증가)했다는 점입니다. 실제로 NCMEC 또한 전체 사이버 팁라인 데이터 분석 결과, 생성형 AI 관련 보고서가 2023년에서 2024년 사이 1,325% 증가했다고 밝혀, 오픈AI만의 현상이 아님을 시사했습니다.
이러한 분석은 80배 급증이라는 숫자가 ‘플랫폼 내 불법 활동의 폭증’만을 의미하지는 않는다는 점을 알려줍니다. 오히려 ‘개선된 탐지 시스템’과 ‘늘어난 사용자 및 기능’의 복합적인 결과일 수 있습니다. 그러나 동시에, 아무리 탐지 능력이 좋아졌다고 해도 7만 건이 넘는 신고가 발생했다는 것은 생성형 AI 기술이 악용될 가능성과 실제 악용 사례가 상당하다는 냉혹한 현실을 보여줍니다.
생성형 AI 시대의 새로운 윤리적 도전
이번 사례는 생성형 AI가 가져온 윤리적, 사회적 도전의 단면을 극명하게 드러냅니다. AI 모델이 텍스트와 이미지를 생성하고, 사용자들은 이를 자유롭게 업로드하며 상호작용할 수 있게 되면서, 플랫폼 운영사들은 상상 이상의 콘텐츠 관리 부담을 지게 되었습니다. 특히 이미지 업로드 기능의 확대는 악의적인 의도를 가진 사용자들에게 새로운 ‘공격 표면(Attack Surface)’을 제공했을 가능성이 큽니다.
법적으로 기업들은 아동 착취물 등 불법 콘텐츠를 발견할 경우 즉시 NCMEC에 신고해야 합니다. 하지만 문제는 이러한 신고가 단순한 보고로 끝나는 것이 아니라, 근본적으로 불법 콘텐츠가 생성되거나 유포되는 것을 어떻게 막을 것인가에 있습니다. AI 기술을 통해 유해 콘텐츠를 빠르게 탐지하고 차단하는 동시에, 모델 자체의 안전성을 높여 불법 콘텐츠 생성 가능성을 원천적으로 줄이는 ‘안전 설계(Safety by Design)’가 더욱 중요해지고 있습니다.
에디터의 시선
오픈AI의 80배 신고 급증은 생성형 AI가 가져온 ‘판도라의 상자’를 다시 한번 확인시켜주는 사건입니다. 기술의 발전이 혁신과 편의를 가져다주는 동시에, 예측 불가능한 부작용과 심각한 윤리적 문제들을 동반한다는 사실을 우리는 직시해야 합니다.
이러한 수치는 AI 업계 전반에 걸쳐 콘텐츠 모더레이션과 AI 윤리 문제에 대한 보다 적극적이고 투명한 접근 방식을 요구합니다. 오픈AI의 투자는 긍정적 신호이지만, 단순히 탐지율을 높이는 것을 넘어 유해 콘텐츠가 생성되는 근본적인 메커니즘을 차단하려는 노력이 병행되어야 합니다. 또한, 구글과 같은 다른 대형 AI 연구소들도 NCMEC 보고 통계를 공개하지만, AI 관련 보고서의 구체적인 비율을 명시하지 않는다는 점은 업계 전반의 투명성 부족 문제를 보여줍니다.
미래에는 AI가 유해 콘텐츠를 생성하는 데 악용될 수 있고, 동시에 AI가 이를 탐지하고 차단하는 ‘창과 방패’의 싸움이 더욱 치열해질 것입니다. 규제 당국과 기업, 시민 사회 모두가 협력하여 강력한 윤리적 가이드라인과 기술적 안전장치를 마련하지 않는다면, 생성형 AI의 어두운 그림자는 더욱 짙어질 수 있습니다. 이번 오픈AI 사례는 AI 개발사들이 사회적 책임을 다하고, 기술이 인류에게 긍정적인 가치를 제공하도록 이끌어야 할 절박한 필요성을 다시금 일깨워주고 있습니다.