왜일까요?

지난 일주일 사이
AI 업계의 언어가 눈에 띄게 무거워졌습니다.

Catastrophic risk (치명적 위험).
Loss of control (통제 상실).
Recursive self-improvement, RSI (재귀적 자기개선).

Anthropic, OpenAI, Google DeepMind를 거친 연구자들과
AI의 핵심 개발자들까지 공개적으로 우려를 말하기 시작했습니다.

AI가 인간보다 훨씬 강력해질 수 있다는 이야기에서 한 걸음 더 나아가,

AI가 스스로 개발 속도를 높이고,
인간이 그 과정을 따라잡지 못할 가능성까지 이야기합니다.

물론 가장 먼저 떠오르는 이유는 단순합니다.
AI가 실제로 그만큼 위험해지고 있기 때문일 수 있습니다.

그런데 저는 한 가지가 더 눈에 들어왔습니다.

왜 하필 지금일까?

AI의 위험은 어제 갑자기 생긴 문제가 아닙니다.

그런데 IPO(기업공개)와 공개시장 진입이 가까워지는 시점에
그동안 내부적으로 존재하던 우려들이
훨씬 크고 구체적인 언어로 밖으로 나오고 있습니다.

어쩌면 이것은 AI safety warning(안전 경고)인 동시에
risk management(위험 관리)의 시작일 수도 있습니다.

최근 AI 안전 연구자들의 경고에서
자주 등장하는 단어가 있습니다.

Recursive self-improvement, RSI.
한국어로는 재귀적 자기개선입니다.

이름은 어렵지만 개념은 그리 복잡하지 않습니다.

지금까지는 사람이 AI를 개발해 왔습니다.

사람이 새로운 모델을 설계하고,
코드를 만들고,
실험하고,
결과를 분석했습니다.

AI는 그 과정에서 도구 역할을 했습니다.

그런데 앞으로 AI가
AI 연구 자체를 더 많이 수행하기 시작한다면 이야기가 달라집니다.

AI가 코드를 작성하고,
새로운 실험을 설계하고,
결과를 분석하고,
실패 원인을 찾아내고,
다음 모델 개발에 직접 참여합니다.

그러면 이런 구조가 가능해집니다.

AI가 더 나은 AI 개발을 돕고,
더 강해진 AI가 다시
AI 개발 속도를 높입니다.

AI
→ 더 나은 AI 연구
→ 더 강한 AI
→ 더 빠른 AI 연구

이 과정이 반복되는 것입니다.

그래서 연구자들이 걱정하는 것은
AI가 지금 얼마나 똑똑한가만이 아닙니다.

AI의 능력이 얼마나 빠르게 발전하고 있는가.

그리고 그 발전 속도 자체가
다시 더 빨라질 수 있는가.

문제는 intelligence level(지능 수준)보다
intelligence acceleration(지능 향상의 가속도)일 수 있다는 이야기입니다.

─────────────

여기에서는 사실과 가설을 구분할 필요가 있습니다.

AI가 이미 연구개발 생산성을 높이고 있다는 것은
관찰되고 있는 변화입니다.

코딩.
모델 테스트.
사이버 보안.
데이터 분석.

여러 분야에서 AI가 인간 연구자의 일을
더 빠르게 수행하고 있습니다.

하지만 이것이 곧바로

재귀적 자기개선
→ 초지능
→ 인간 통제 상실
로 이어진다는 것은 아직 가설입니다.

그럼에도 불구하고
AI 업계 내부의 경고 수위가 높아지고 있습니다.

그리고 바로 여기에서
다시 한 번 질문이 생깁니다.

왜 지금일까?

─────────────

Anthropic과 OpenAI는
세계에서 가장 앞선 AI를 개발하는 회사들입니다.

그리고 동시에
엄청난 자본을 필요로 하는 회사들입니다.

AI 개발에는
반도체,
데이터센터,
전력,
네트워크,
최고 수준의 연구 인력까지
막대한 돈이 들어갑니다.

결국 어느 시점에는
private market(비상장 시장)을 넘어
public market(공개시장)과 만나게 됩니다.

그런데 IPO를 앞둔 기업에게
가장 곤란한 상황은 무엇일까요?

위험 자체보다 더 큰 문제는
회사가 그 위험을 알고 있었지만
투자자들에게 충분히 공개하지 않았다는 사실일 수 있습니다.

예를 하나 들어보겠습니다.

IPO가 끝난 뒤
심각한 AI 사고가 발생했다고 가정해 봅니다.

그때 내부 연구자가 나와서 말합니다.

“우리는 이미 오래전부터
이 위험을 알고 있었습니다.”

그 순간 문제의 성격이 달라집니다.

기술 문제가 아니라
Disclosure(정보 공개)의 문제가 됩니다.

경영진은 무엇을 알고 있었는가.
언제 알고 있었는가.
왜 투자자들에게 충분히 알리지 않았는가.
IPO 문서에 중요한 위험이 빠져 있었던 것은 아닌가.
이런 질문들이 따라옵니다.

그리고 기술 위험은
법적 위험과 지배구조 위험,
그리고 경영진의 신뢰 문제로 확대될 수 있습니다.

─────────────

그래서 최근의 경고들을
다른 각도에서 다시 볼 필요가 있습니다.

위험을 없애는 것은 아닙니다.
위험의 성격을 바꾸는 것입니다.
Unknown risk (알려지지 않은 위험)를
Known risk (이미 알려진 위험)로 바꾸고,

다시
Disclosed risk (공개된 위험)로 바꾸는 것입니다.

회사가 미리 말합니다.
우리는 이 위험을 알고 있습니다.
우리는 이미 공개했습니다.

그리고 그 위험을 줄이기 위한
안전 체계와 관리 시스템을 만들고 있습니다.

그 다음 IPO 문서의
Risk Factors (위험 요인)
항목에 이를 넣을 수 있습니다.
투자자는 그 위험을 알고 투자하게 됩니다.

이 차이는 상당히 큽니다.

IPO 직전에 내부 고발자가 나타나
“회사는 이미 알고 있었다”
라고 폭로하는 것과,

IPO 이전부터 회사와 연구자들이
공개적으로 문제를 말해 온 것은 전혀 다른 상황입니다.

그래서 최근 AI 업계의 움직임을 보면서
저는 이런 생각이 들었습니다.

이것은 분명
AI에 대한 안전 경고입니다.

하지만 동시에
상장 이전의
risk management(위험 관리)일 수도 있겠구나.

─────────────

여기서 한 가지는 구분해야 합니다.

이런 해석이
“AI 위험은 과장된 것이다”
라는 뜻은 아닙니다.

오히려 반대일 수도 있습니다.

AI 모델에 가장 가까이 있는 연구자들이
실제로 심각하게 걱정하고 있을 가능성도 있습니다.

그렇다면 더 흥미로운 질문이 생깁니다.

정말 그렇게 위험하다고 생각한다면
왜 개발을 멈추지 않을까요?

여기서 또 하나의 힘이 등장합니다.

경쟁입니다.

─────────────

OpenAI가 개발 속도를 늦춘다고 가정해 보겠습니다.

Anthropic이 계속 달립니다.
Anthropic이 멈추면
Google DeepMind가 앞서갈 수 있습니다.
미국 기업들이 속도를 늦추면
중국이 더 빨리 움직일 수도 있습니다.

이 순간 AI safety(안전)는
단순한 engineering problem(공학 문제)이 아닙니다.

Game theory problem (게임이론적 경쟁 문제)이 됩니다.

각 회사는 이렇게 생각할 수 있습니다.
위험한 것은 안다.
하지만 우리만 멈출 수는 없다.
우리가 멈추면
경쟁사가 먼저 간다.

이 구조에서는
모든 참가자가 위험을 알고 있어도
경쟁은 멈추지 않을 수 있습니다.
오히려 더 빨라질 수도 있습니다.

─────────────

AI 경쟁의 구조를 따라가 보면
또 하나의 순환이 보입니다.

더 좋은 모델을 만들면
더 많은 자본이 들어옵니다.

더 많은 자본은
더 많은 반도체와 더 큰 데이터센터를 가능하게 합니다.

그 자원으로
더 강한 모델을 만듭니다.

더 강한 모델은
더 높은 기업가치를 만듭니다.

더 높은 기업가치는
다시 더 많은 자본을 끌어옵니다.

그리고 경쟁사는
뒤처지지 않기 위해 더 많은 돈을 씁니다.

기술 우위
→ 자본
→ 더 많은 컴퓨팅 자원
→ 더 강한 모델
→ 더 높은 기업가치
→ 더 치열한 경쟁

다시 처음으로 돌아갑니다.

재미있는 것은
AI의 재귀적 자기개선 구조와
기업의 자본 순환 구조가 묘하게 닮았다는 점입니다.

AI는 AI 개발을 가속하고,
자본은 AI 개발 속도를 다시 가속합니다.

서로 다른 두 개의 가속 구조가
동시에 움직이고 있습니다.

─────────────

결국 이번 AI 논쟁을
기술만의 문제로 보기는 어려워 보입니다.

위험을 몰라서 달리는 것이 아닐 수도 있습니다.

오히려 위험을 누구보다 잘 아는 사람들이
가장 빠르게 개발하고 있습니다.

그리고 그 사이에는
기술만 있는 것이 아닙니다.
돈이 있고,
기업가치가 있고,
국가 간 경쟁이 있고,

무엇보다
“우리가 멈추면 저쪽이 간다”
는 압력이 있습니다.

그래서 앞으로 AI를 볼 때
모델의 성능만 보지는 않을 것 같습니다.

AI가 AI 개발에 얼마나 깊이 참여하기 시작하는가.
연구개발 속도가 실제로 얼마나 빨라지는가.
기업들이 위험을 어떤 언어로 공개하기 시작하는가.

그리고 IPO 문서에서
그 위험을 얼마나 구체적으로 적어 넣는가.

이런 변화들을 함께 봐야 할 것 같습니다.

AI의 미래를 결정할 변수는
AI의 intelligence(지능)만이 아닐지도 모릅니다.

어쩌면 더 강력한 변수는
인간 사회에서 오래전부터 존재해 온 두 가지 힘일 수 있습니다.

돈과 경쟁.

그리고 지금 우리는
그 두 힘이 인공지능과 결합했을 때
얼마나 강한 가속도를 만들어낼 수 있는지를
처음으로 지켜보고 있는지도 모릅니다.

Thomas Pak
M2 SIGNAL | The Structural Edge