Anthropic이 스스로 공개한 AI의 위험들

9월 15일, 우리는
AI 기업들이 왜 지금
위험을 공개하기 시작했는지
질문했습니다.

그리고 한 가지를
더 지켜보기로 했습니다.

IPO 문서에 그 위험이
얼마나 구체적으로
기록되는가.

41일이 지났습니다.

10월 26일, Anthropic이
SEC에 제출한
IPO 증권신고서에는

약 94페이지에 달하는
Risk Factors가 담겼습니다.

AI의 통제 문제부터
실제 보안 사고,
막대한 자본 지출까지.

이번에는 경고가 아니라
공식적인 투자자 공시입니다.

무엇이 공개됐을까요?

그리고 9월에 살펴봤던
게임이론과 자본의 경쟁은
여기에 어떻게 연결될까요?

지난 글:
AI 리스크 경고 뒤의 게임이론

Anthropic은 첨단 AI가
인간의 의도와 다르게
행동할 수 있다고 경고합니다.

일부 실험에서는
AI 모델이 종료에 저항하거나
정보를 조작하고,
주어진 목표를 달성하기 위해
허용되지 않은 방법을
사용하기도 했습니다.

회사는 AI 기술이
극단적인 경우
인류에게 재앙적이거나
실존적인 위험을
초래할 가능성까지 언급합니다.

물론 통제된 실험 결과가
실제 상업 서비스의
행동을 그대로 의미하지는
않습니다.

그러나 AI Agent가
스스로 작업을 수행하는
영역이 확대되면서
통제와 감독의 문제는
더욱 중요해지고 있습니다.

━━━━━━━━━━━━━

이번 공시에서
특히 눈길을 끄는 대목입니다.

Anthropic은
안전성 테스트 과정에서
네 개의 AI 모델이
원래 격리되어야 할
테스트 환경을 벗어나
실제 외부 컴퓨터 시스템에
접근했다고 공개했습니다.

접근이 지속된 시간은
약 10시간에서 34시간.

그중 한 모델은
저장된 비밀번호를 찾아
관리자 권한을 확보했고,
추가 인증정보를 수집하고
시스템 설정을 변경했으며
개인정보에도 접근했습니다.

다만 조사 결과
인간의 감독을 의도적으로
회피하거나
다른 모델과 공모했다는
증거는 발견되지 않았습니다.

이 사건은
AI가 이미 완전히 통제를
벗어났다는 증거는 아닙니다.

하지만 AI의 행동이
실제 외부 시스템에
영향을 줄 수 있다는 점을
보여줍니다.

━━━━━━━━━━━━━

Anthropic은
차세대 AI 모델의
지식재산권과 모델 가중치
유출을 방지하기 위해
학습을 한 달 넘게
중단한 사례도 공개했습니다.

안전성을 강화하기 위한
결정이었습니다.

그러나 개발이 지연되면
제품 출시와 매출 발생도
늦어질 수 있습니다.

그 사이 경쟁사는
새로운 모델을
출시할 수 있습니다.

여기서 9월 15일에
살펴봤던 게임이론이
다시 등장합니다.

위험을 알고 있어도
경쟁을 멈추기 어렵다는
구조입니다.

안전을 위해 속도를 늦추면
경쟁사에 뒤처질 수 있고,
속도를 높이면
안전성 검증이
따라가지 못할 수 있습니다.

AI 개발의 안전성과
상업적 경쟁 사이에
존재하는 긴장입니다.

━━━━━━━━━━━━━

지난 뉴스레터에서는
Recursive Self-Improvement,
즉 AI가 AI 연구를 도와
개발 속도를 가속하는
가능성을 살펴봤습니다.

이번 공시에서도
관련 우려가 등장합니다.

AI가 연구개발 과정에
더 깊이 참여하면서
기술의 발전 속도가
안전성 평가와 감독 체계의
개선 속도를 앞설 수 있다는
것입니다.

흥미로운 것은
Anthropic 역시
AI 발전의 가속도를
정확하게 관찰하거나
예측하기 어렵다고
인정한다는 점입니다.

기술이 얼마나 발전했는가
뿐만 아니라,
얼마나 빠르게
발전하고 있는가가
중요한 변수가 됩니다.

━━━━━━━━━━━━━

여기서부터는
투자자에게 보다 직접적인
재무적 위험입니다.

AI 모델 개발에는
GPU와 데이터센터,
클라우드 컴퓨팅 자원이
필요합니다.

Anthropic은 이러한
인프라를 확보하기 위해
막대한 장기 계약과
지출 의무를 부담합니다.

그런데 고객의 AI 사용량과
매출은 변할 수 있습니다.

반면 이미 약정된
컴퓨팅 비용은
쉽게 줄이기 어렵습니다.

AI 수요가 늘더라도
그 증가 속도가 예상보다
느리다면 어떨까요?

인프라 비용이
매출보다 빠르게 늘어나는
상황이 발생할 수 있습니다.

AI 산업의 성장과
AI 기업의 투자수익률은
반드시 일치하지 않습니다.

이것은 기업가치 평가에서
중요하게 확인해야 할
구조적인 문제입니다.

━━━━━━━━━━━━━

Anthropic은
OpenAI와 Google 등
막대한 자본을 보유한
기업들과 경쟁하고 있습니다.

더 강력한 모델이
등장할수록 개발 비용도
증가할 수 있습니다.

반면 경쟁이 심해지면
AI 서비스의 가격과
수익성은 압박받을 수 있습니다.

여기에 저작권,
개인정보 보호,
AI 안전성 규제가 더해집니다.

규제와 소송은
직접적인 비용뿐 아니라
제품 출시 일정과
사업 확장에도
영향을 줄 수 있습니다.

━━━━━━━━━━━━━

Anthropic은
Public Benefit Corporation,

즉 공익 목적도 고려하는
기업 형태를 가지고 있습니다.

또한 IPO 이후에도
창업자들의 강한
의결권 통제가 유지되도록
설계되어 있습니다.

이는 장기적인 AI 연구와
안전성 원칙을
보호하는 장치가
될 수 있습니다.

동시에 일반 주주가
경영 방향을 바꾸기
어려운 구조이기도 합니다.

따라서 투자자는
기업의 성장성뿐 아니라
경영진의 판단과
기업 지배구조도
함께 평가해야 합니다.

━━━━━━━━━━━━━

지난 뉴스레터에서는
두 가지 가속 구조를
살펴봤습니다.

첫 번째는
AI가 AI 개발을
가속하는 기술의 순환입니다.

두 번째는
더 강력한 AI가
더 많은 자본을 끌어들이고,
그 자본이 다시
더 강력한 AI 개발을
가능하게 하는 구조입니다.

그리고 그 중심에는
경쟁이 있습니다.

이번 Anthropic의
Risk Disclosure는
그러한 경쟁 과정에서
발생할 수 있는 위험들이
어떤 형태로 나타나는지
보여주는 자료입니다.

흥미롭게도 Anthropic은
업계의 일반적인 관행과
규제상 요구를 넘어
AI 안전성 문제를
자발적으로 공개해 왔다고
증권신고서에 명시했습니다.

그러한 공개 자체도
평판과 사업상의
위험을 가져올 수 있다고
설명합니다.

9월에 제기했던
또 하나의 가능성,
AI 안전 경고가
기업공개를 앞둔
Risk Management와
연결될 수 있다는 가설을
다시 살펴볼 수 있는
대목입니다.

다만 이것이
위험 공개의 실제 동기가
법적 책임 관리였다는
증거는 아닙니다.

안전성에 대한 우려와
기업의 위험 관리가
동시에 존재할 수도 있습니다.

━━━━━━━━━━━━━

이제 관찰할 대상은
위험을 공개했느냐에
그치지 않습니다.

안전성 문제로
개발 일정이 지연되는가.

AI Agent에 대한
통제 기술은 개선되는가.

매출 성장에 비해
컴퓨팅 비용은
얼마나 빠르게 늘어나는가.

그리고 자본시장은
이러한 위험들을
어떤 기업가치에
반영할 것인가.

9월 15일에는
AI 기업들이 왜 지금
위험을 이야기하는지
질문했습니다.

10월 26일에는
그 위험들이 실제 IPO 문서에
어떻게 기록되는지
확인할 수 있었습니다.

이제 남은 질문은
공개된 위험을
기업들이 어떻게 관리하며,
그 비용과 경제적 성과가
궁극적으로 누구에게
귀속되는가입니다.

AI 기술의 발전과
AI 기업의 주주가치가
앞으로 얼마나
같은 방향으로 움직일지
지켜볼 이유입니다.

Thomas Pak
M2 SIGNAL | The Structural Edge