최근 인공지능(AI) 챗봇과 관련된 충격적인 정신 건강 사고가 잇따라 발생하면서, 미국 각 주(州) 법무장관(AGs)들이 AI 산업의 주요 기업들에게 강력한 경고 서한을 보냈습니다. 이 서한은 ‘망상적인 출력(delusional outputs)’ 문제를 해결하지 않으면 주법 위반으로 간주될 수 있음을 명확히 했습니다. 이는 AI의 윤리적 책임이 단순한 가이드라인을 넘어 법적 구속력을 갖기 시작했음을 시사하며, 업계에 중대한 변화를 예고하고 있습니다.
망상적 출력, 더 이상 ‘기술적 오류’가 아니다
국가법무장관협회(National Association of Attorneys General) 소속 수십 명의 법무장관들이 서명한 이 서한은 마이크로소프트, 오픈AI, 구글을 비롯해 Anthropic, Apple, Meta, Replika, xAI 등 총 13개 주요 AI 기업을 대상으로 하고 있습니다. 서한의 핵심은 AI 챗봇이 생성하는 ‘환각(hallucination)’ 현상이 사용자에게 심각한 정신적 피해를 유발할 수 있는 ‘망상적’이거나 ‘아첨하는(sycophantic)’ 형태로 나타나서는 안 된다는 경고입니다. 지난 한 해 동안 AI 사용과 관련된 자살 및 살인 사건까지 언급하며, 취약 계층에게 특히 위험할 수 있음을 강조했습니다.
법무장관들은 기업들에게 ▲대규모 언어 모델(LLM)에 대한 투명한 제3자 감사 도입(망상적/아첨하는 사상 감지) ▲심리적으로 해로운 출력이 발생했을 때 사용자에 대한 새로운 사고 보고 절차 마련 ▲모델 출시 전 합리적이고 적절한 안전 테스트 실시 등을 요구했습니다. 특히, 제3자 감사는 학계 및 시민 단체가 기업의 보복 없이 시스템을 평가하고 연구 결과를 승인 없이 공개할 수 있도록 해야 한다고 명시했습니다. 이는 기업 내부 통제의 한계를 인정하고, 외부의 객관적인 시각을 도입하겠다는 강력한 의지로 해석됩니다.
또한, 법무장관들은 AI 관련 정신 건강 사고를 기술 기업이 사이버 보안 사고를 처리하는 방식과 동일하게 다룰 것을 제안했습니다. 데이터 유출과 마찬가지로, 기업들은 ‘아첨하거나 망상적인 출력에 대한 탐지 및 대응 일정’을 개발하고 공개해야 하며, 잠재적으로 해로운 출력에 노출된 사용자에게는 즉시, 명확하게 통지해야 한다고 강조했습니다. 이는 AI의 유해성을 정보 유출과 같은 중대한 리스크로 분류하겠다는 의미로, 업계에 상당한 부담으로 작용할 전망입니다.
에디터의 시선: AI 안전, 주정부 규제의 ‘총성’ 울리다
이번 법무장관들의 경고는 AI 산업의 ‘무임승차(free ride)’ 시대가 끝나가고 있음을 알리는 명확한 신호탄입니다. 그동안 AI 윤리 및 안전 논의는 주로 학계나 시민 단체, 혹은 기업 자체의 ‘자율 규제’ 영역에 머물러 있었습니다. 그러나 AI가 직접적인 인명 피해와 사회적 물의를 일으키면서, 이제 주정부가 전면에 나서 법적 책임을 묻기 시작한 것입니다.
주목할 점은 미국 연방 정부 차원에서는 AI에 대한 비교적 온건한 기조를 유지하며 ‘혁신 장려’에 초점을 맞추는 반면, 주정부에서는 더 강력한 규제와 소비자 보호를 요구하며 입장 차이를 보인다는 것입니다. 이러한 ‘주-연방 간 규제 전쟁’은 AI 기업들에게 큰 불확실성을 안겨줄 수 있습니다. 각 주마다 다른 규제 환경에 적응해야 할 수도 있고, 이는 결국 제품 개발 및 서비스 배포에 상당한 복잡성을 더할 것입니다. 또한, 일부 기업들은 이런 규제를 피해 시장에서 이탈하거나, 더 관대한 규제 환경을 찾아 나설 가능성도 배제할 수 없습니다.
특히 ‘망상적 출력’을 사이버 보안 사고처럼 다루라는 요구는 AI 기업들에게 새로운 숙제를 던집니다. 데이터 유출은 명확한 침해 범위와 피해 규모를 산정하기 비교적 쉽지만, ‘심리적으로 해로운 출력’의 정의와 그로 인한 피해 규모를 어떻게 측정하고 보고할지는 매우 복잡한 문제입니다. 이는 기술적 난이도를 넘어 심리학, 윤리학, 법학 등 다학제적 접근이 필요한 영역이며, AI 시스템의 투명성과 설명 가능성(explainability)을 한층 더 강화해야 하는 압력을 가할 것입니다.
이번 서한은 AI 기업들이 더 이상 기술적 진보만을 내세우며 사회적 책임을 등한시할 수 없음을 분명히 보여줍니다. ‘빠르게 움직이고 기존의 것을 파괴하라(Move fast and break things)’는 실리콘밸리식 모토가 AI 윤리 문제 앞에서는 통용되지 않음을 깨달아야 합니다. 이제 AI 기술 개발은 ‘안전 우선(Safety First)’ 원칙을 최우선으로 삼고, 인간 중심적인 가치를 내재화해야 하는 새로운 시대를 맞이하고 있습니다. 그렇지 않으면 혁신을 가로막는 것은 기술적 한계가 아닌, 사회적 불신과 법적 규제가 될 것입니다.