[아이뉴스24 정승필 기자] "AI가 초래할 대형 사고 피해 규모를 고려하면, 개별 보험사는 물론 보험업계 전체도 그 피해에 대비할 재정적 여력이나 전문성을 갖추지 못할 수 있다."
26일(현지시간) AI 기업 앤트로픽이 상장을 앞두고 미국 증권거래위원회(SEC)에 제출한 기업공개(IPO) 증권신고서에 담은 경고다. 300쪽이 넘는 증권신고서에 94쪽을 위험 요인 설명에 할애했다. AI 안전 문제부터 투자 부담과 법적 책임까지 담았다.
생화학무기부터 사이버 공격까지…AI 악용 우려
앤트로픽은 AI가 생화학무기 개발과 사이버 공격 등에 악용될 가능성을 주요 위험 요인으로 제시했다. AI 성능이 향상되면서 기존 안전장치만으로 모든 위험을 차단하기 어려울 수 있다는 설명을 덧붙였다.
신고서에 따르면 앤트로픽 AI 모델 '클로드'의 고성능 버전은 화학·생물무기 등 위험한 무기 개발에 활용될 가능성이 있다고 명시됐다. 이를 막기 위해 엔트로픽은 부적절한 요청을 탐지·차단하는 시스템을 운영하고 있지만, 완벽한 차단은 어렵다고 인정했다.
실제로 안전장치가 우회되거나 설정 오류로 제대로 작동하지 않은 사례도 있었다. 앤트로픽은 이 같은 문제가 발견되지 않을 경우 AI 악용을 막는 데 한계가 있을 수 있다고 설명했다.
사이버 공격에 활용된 사례도 제시했다. 지난해 9월 중국 소재 해킹 조직이 AI 코딩 도구 '클로드 코드'를 이용해 전 세계 약 30개 기관 침입을 시도했다. 기술기업과 금융기관, 화학제품 제조업체, 정부기관 등이 표적이었다. 일부 공격은 성공했다.
앤트로픽은 이를 AI가 사람 개입을 최소화한 상태에서 대규모 사이버 공격을 수행한 첫 번째 확인 사례로 평가했다. AI가 단순 정보 제공을 넘어 공격 과정 상당 부분을 수행하는 데 활용됐다는 것이다.
보안 관련 기능의 해킹 악용 가능성도 언급했다. 시스템 취약점을 찾아내는 기술이 보안 강화에 도움이 되지만, 반대로 해킹 수단으로도 활용될 수 있다는 설명이다. 보안 조치에 관한 정보가 방어망을 우회하는데 이용될 가능성도 상당하다고 전했다.
AI가 실제 장비를 제어하는 과정에서의 사고 가능성도 위험 요인에 포함됐다. 앤트로픽은 AI를 실험실 장비와 로봇 등에 적용하는 기술을 개발하고 있는데, 이 과정에서 오작동 등이 발생하면 인명 피해나 유해물질 유출로 이어질 수 있다고 경고했다.
앤트로픽은 "이 같은 위험을 줄이기 위한 기술 개발과 안전성 검증을 진행하고 있다"면서도 "모든 상황에서 사고나 악용을 예방할 수 있다고 보장하기는 어렵다"고 밝혔다.
사고 책임은 누구에게?…'제품이냐 서비스냐' 법적 공방
AI 사고가 발생했을 때 책임 소재가 불분명하다는 점도 문제다.
앤트로픽은 법적 책임을 판단할 기준이 충분히 마련되지 않았다고 지적했다. AI가 이용자 요청에 따라 금융거래 등을 수행하다 손실을 일으킬 경우, 개발사와 이용자 중 누가 책임져야 하는지 명확하지 않다는 것이다.
이용약관 책임을 제한하는 조항을 두더라도 법원이 이를 인정하지 않을 가능성이 있다. AI 수행으로 발생한 피해가 기존 법률 적용 대상인지도 쟁점이다.
미국에서는 지난해 4월 숨진 청소년 아담 레인(Adam Lane) 유족이 오픈AI를 상대로 소송을 제기했다. 당시 레인은 학습 목적으로 챗GPT를 사용했지만, 이후 수개월간 불안과 극단적 선택 충동을 털어놓았다.
유족은 챗GPT가 극단적 선택 생각을 충분히 제지하지 않고 구체적인 방법을 제시, 유서 작성을 제안해 사망에 영향을 미쳤다고 주장했다. 반면 오픈AI는 챗GPT가 레인에게 여러 차례 도움을 요청하도록 안내했고, 사망 원인이 챗GPT에 있다는 주장은 사실이 아니라고 반박했다.
또 챗GPT가 '제품'이 아닌 '서비스'여서 제조물 책임법(Product Liability)을 적용할 수 없다는 입장이다.
보험을 통한 피해 보상도 쉽지 않다. 앤트로픽은 AI로 대형 사고가 발생하면 기존 보험으로 손실을 감당하지 못할 수 있다고 밝혔다. 피해 규모가 클 경우 보험업계 전체도 충분한 보장을 제공하기 어려울 수 있다는 설명이다. 이는 회사 재무상태와 경영에도 영향을 줄 수 있다고 경고했다.
앤트로픽은 "AI 안전성을 주요 경쟁력으로 내세운 만큼 사고 발생 시 계약 해지와 매출 감소 등 사업 전반에 영향을 받을 수 있다"고 언급했다.
안전 지키면 경쟁서 밀린다…AI 업계 '딜레마'
AI 안전을 강화하는 일도 기업에는 부담이다. 앤트로픽은 증권신고서에서 안전성과 사업 목표 사이 균형을 맞추는 것이 과제라고 인정했다.
지난 4월 고성능 AI 모델 '미토스'를 공개하면서 이용 대상을 일부 기관으로 제한했다. 이 또한 소프트웨어 보안 취약점을 찾아내는 능력이 뛰어나, 해킹 등에 악용될 가능성을 고려한 조치였다.
앤트로픽은 '프로젝트 글래스윙(Project Glasswing)'을 통해 선정된 기관에만 이용을 허용했다. 이는 애플·마이크로소프트 등 주요 기업에 미토스를 제공, 소프트웨어 보안 취약점을 찾아내고 보완하도록 지원하는 협력 사업이다.
신모델 개발을 늦춘 사례도 공개했다. 앤트로픽은 최근 AI 모델 핵심 기술 정보인 '가중치' 유출을 막기 위한 보안 조치를 강화하면서 차세대 모델의 사전학습을 한 달 넘게 연기했다.
문제는 인프라 투자와 맞물려 있다는 점이다. 앤트로픽은 AI 개발을 위해 반도체와 데이터센터 사용 계약을 장기간 체결했지만, 매출 대부분은 고객 실제 사용량에 따라 발생한다.
고객 수요가 줄거나 신제품 출시가 늦어져도 계약에 따른 비용은 계속 부담해야 하는 구조다. 앤트로픽은 매출 증가가 투자를 따라가지 못하면 자금난과 채무불이행으로 이어질 수 있다고 밝혔다.
이 같은 경영 부담에도 앤트로픽은 안전성 확보를 우선하겠다는 입장이다. 다리오 아모데이 최고경영자(CEO) 등 공동창업자 7명은 이날 공개서한을 통해 "AI 시스템을 더 안전하게 만들기 위해 개발 속도를 늦추는 경우도 있을 것"이라며 "경쟁에서 불리해지더라도 감수할 수 있다"고 전했다.
/정승필 기자(pilihp@inews24.com)