OpenAI를 떠난 7명,
그리고 '안전이 먼저인 AI'를 짓다

두 명의 형제가 같은 날 떠났다

2020년 12월의 어느 날이었다. 샌프란시스코 미션 디스트릭트의 한 회의실에서 Dario Amodei는 자리에서 일어났다. 5년을 키워온 자리였다. 그는 OpenAI의 연구 부사장이었고, GPT-2와 GPT-3가 세상에 나오기까지 그 연구의 한복판에 있었다. 그러면서 동시에 OpenAI가 만드는 모든 모델의 안전 연구도 그가 책임지고 있었다. 두 가지 무게의 자리. 어느 하나를 비워도 회사에 작지 않은 흔적이 남는 자리였다.

같은 날 그의 누이 Daniela Amodei도 사직했다. 회사의 인사와 운영을 총괄하던 부사장이었다. 두 형제가 같은 날 자리를 비웠다는 소식만으로도 사내가 술렁였다. 그런데 일은 거기서 끝나지 않았다. 며칠 사이로 GPT-3 논문의 핵심 저자 다섯 명이 두 사람을 따라 사직서를 냈다. Tom Brown은 그 논문의 제1저자였다. Sam McCandlish는 "모델을 키울수록 성능이 얼마나 자라는가"를 처음으로 수학으로 풀어낸 사람이었다. 그 이론의 뼈대를 세운 Jared Kaplan은 본업이 물리학자였다. Jack Clark은 영국에서 건너온 정책 담당이었고, Chris Olah는 모델의 머릿속을 들여다보는 일을 누구보다 진지하게 해 온 연구자였다. 일곱 명. 한 회사에서 한 번에 빠지기엔 너무 많은 사람이었다.

그해 겨울 내내 샌프란시스코의 AI 커뮤니티는 술렁였다. 이들이 모두 같은 곳으로 간다는 소문이 돌았다. 어디로 가는지는 누구도 정확히 알지 못했다. 다만 한 가지만 분명했다. 무언가 큰 일이 벌어지고 있었다.

그 큰 일에 이름이 붙은 건 이듬해 2월이었다. 회사 이름은 Anthropic. 5월에는 시드 라운드 1억 2,400만 달러, 한화로 약 1,700억 원이 공개됐다. 그로부터 다섯 해가 흘렀고, 지금 이 회사는 OpenAI의 가장 강력한 경쟁자로 서 있다. 그것도 의도적으로, 가장 다른 길을 골라 걷는 경쟁자로.

이 글은 그 시작 지점의 이야기다. 그들은 왜 떠났고, 무엇을 만들고 싶었는가.

왜 그들은 OpenAI를 떠났는가

표면적인 이유는 단순했다. OpenAI가 너무 빠르게 상업화되고 있었다. 2019년 OpenAI는 비영리라는 원래의 옷을 벗고 'capped-profit'이라는 새 옷을 입었다. 명목상으로는 안전한 AI 개발이라는 사명을 지키면서도 외부 자본을 받을 수 있게 만든 절충안이었다. 그러나 실질은 Microsoft로부터 10억 달러를 받기 위한 사전 정비였다. 그 뒤로 일들은 무서운 속도로 이어졌다. 2020년 6월에 GPT-3가 공개됐고, 같은 달에 API가 열렸고, 곧 Microsoft가 GPT-3의 독점 라이선스를 가져갔다. 18개월 사이에 벌어진 일이었다.

Dario에게는 그보다 더 안쪽에 자리한 불편함이 있었다. 그는 안전 연구의 책임자였다. 모델이 강해질수록 그 강함이 어떤 위험을 만들 수 있는지 검토하는 자리. 그런데 회사 전체가 제품 출시 속도를 올리는 쪽으로 기울면서, 그의 팀이 제안하는 검토 절차들은 점점 통과 의례로 변해 갔다. 도장은 찍혔지만, 그 안에 담겨야 할 고민의 무게는 가벼워졌다. 훗날 Anthropic이 공개한 창립 선언문에는 이 시기의 심경이 한 줄로 남아 있다. "AI의 능력이 안전 연구를 앞질러 달리고 있다."

두 번째 균열은 Microsoft와의 결합에서 왔다. 2020년 OpenAI는 Azure를 컴퓨팅 인프라의 사실상 단독 공급자로 두는 협약을 맺었다. 단순한 클라우드 계약은 아니었다. OpenAI가 만드는 모든 모델이 Bing에, Office에, Azure 안에 차례차례 통합돼 갈 흐름의 시작이었다. Dario와 안전 연구자들은 이 통합이 되돌릴 수 없는 출시 압력을 낳을 것이라 보았다. 한 번 제품에 들어간 모델은 회사 의지만으로 멈출 수 있는 대상이 아니었다.

세 번째는 거버넌스의 문제였다. OpenAI는 여전히 비영리 정신을 자기 정체성으로 삼고 있었다. 그러나 회의실 안의 현실은 그렇지 않았다. 가장 큰 외부 이해관계자가 Microsoft였고, 회사가 내려야 할 큰 결정은 어느 것도 그 사실에서 자유롭지 않았다. 사명의 언어와 운영의 언어 사이에 간극이 벌어지고 있었다. 그 간극을 Dario는 2023년의 한 인터뷰에서 절제된 한 줄로만 표현했다. "OpenAI의 미션과 실제 운영 방식 사이에 우리가 받아들이기 어려운 차이가 생겼다." 그 이상 그는 옛 동료들을 공개적으로 비판한 적이 없다. 그저 자리에서 일어났을 뿐이었다.

7명으로 시작된 회사

2021년 1월의 어느 추운 아침이었다. 샌프란시스코 미션 디스트릭트의 한 임시 공간. 정확히 말하면 누군가의 거실을 빌린 곳이었다. 가구도 제대로 갖춰지지 않은 그 방에 일곱 명이 모였다. 이들이 곧 Anthropic의 공식 공동창립자로 이름이 올라가게 될 사람들이었다. 명단은 짧지만, 그 무게는 가볍지 않다.

• Dario Amodei · CEO · 전 OpenAI Research VP · Stanford 신경과학 박사 · GPT-2와 GPT-3의 연구 책임자
• Daniela Amodei · President · 전 OpenAI VP of Safety and Policy · Stripe와 OpenAI에서 사람·정책·운영을 다뤄온 오퍼레이션 리더
• Tom Brown · GPT-3 논문 "Language Models are Few-Shot Learners"(2020)의 제1저자
• Sam McCandlish · "Scaling Laws for Neural Language Models"(2020)의 책임 저자. 모델을 키울수록 성능이 어떻게 늘어나는지를 처음으로 수학으로 정리한 사람
• Jared Kaplan · Johns Hopkins 물리학 교수. Scaling Laws의 이론적 뼈대를 세운 물리학자
• Jack Clark · 전 OpenAI Policy Director. 영국 출신, 정책과 국제 거버넌스를 책임지던 사람
• Chris Olah · Google Brain과 OpenAI를 거쳐 'Interpretability(AI 해석 가능성)'라는 분야를 사실상 혼자 일으킨 연구자. AI 모델의 머릿속을 들여다보는 일을 누구보다 진지하게 해 온 사람

이 일곱 명을 한 줄로 묶어 보면 그림이 더 또렷해진다. GPT-3를 세상에 내놓은 핵심 인력의 절반이 한 회사로 모인 셈이었다. 가장 깊은 신뢰는 누이에게서 왔다. 거버넌스에 대한 감각은 영국 출신의 정책 담당자가 가져왔다. 이론의 깊이는 물리학자에게서, 모델의 안쪽을 들여다보는 도구는 Interpretability를 일으킨 연구자에게서 왔다. 우연이 아니라, 의도된 조합이었다. 능력 있는 연구자, 그 시스템을 깊이 이해하는 사람, 그것을 사회 안에 놓을 줄 아는 사람. 이 세 부류가 한자리에 모이도록 그려진 명단이었다.

이 일곱 명에 더해 첫 여섯 달 동안 약 열다섯 명의 연구원이 합류했다. 대부분 OpenAI, Google Brain, DeepMind에서 건너온 사람들이었다. 2021년 중반의 Anthropic은 서른 명 남짓의 작은 조직이었다. 컴퓨팅 인프라도 충분하지 않았고 사무실도 좁았다. 그러나 무엇을 만들고 싶은지는 모두가 알고 있었다. 그 '무엇'의 이름이 다음 장의 주제다.

'Constitutional AI'라는 이름의 철학

회사 이름부터 천천히 보자. Anthropic은 그리스어 ánthrōpos에서 왔다. '인간'을 뜻하는 단어다. 풀어 옮기면 '인류에 관한 것' 혹은 '인간 중심의'라는 결을 품고 있다. 그렇지만 이 회사의 진짜 철학을 더 잘 보여주는 건 이름이 아니라 한 편의 논문이다. 2022년 12월에 공개된 논문이다.

Constitutional AI(CAI)의 발상은 단순하면서도 도발적이었다. 그때까지 AI 안전 훈련의 표준은 RLHF, 즉 인간이 직접 "이 응답은 괜찮다, 저 응답은 안 된다"를 매기는 방식이었다. 강력한 방법이지만 한계가 있었다. 평가할 사람을 끝없이 동원해야 했고, 그런데도 인간이 모든 위험 시나리오를 미리 떠올려 줄 수는 없었다.

Anthropic의 제안은 한 줄로 요약된다. AI에게 헌법을 줘라. 사전에 명문화된 원칙들을 모델에게 먼저 보여 준다. 가령 이런 질문들. 이 응답은 누군가에게 해를 끼칠 수 있는가. 이 응답은 정직한가. 이 응답은 사용자의 자율성을 존중하는가. 그러고 나서 모델 스스로 그 원칙에 비추어 자기 답을 비판하고 다시 쓰게 한다. 인간 평가자가 모든 응답을 일일이 들여다보지 않아도 된다.

이 방식이 성공한 데에는 두 가지 이유가 있다. 첫째는 비용이다. 인간 평가 1만 건만 있으면 모델이 수백만 건의 자기 비판을 만들어 낸다. 그러나 진짜 의미는 두 번째 쪽이었다. 모델이 어떤 원칙에 따라 응답을 거부했는지가 명확히 드러난다는 것. 결과만 평가하는 게 아니라, 결정의 근거가 글로 적힌다. 이는 Chris Olah가 줄곧 추구해 온 'AI의 안쪽을 들여다본다'는 철학과 자연스럽게 맞물렸다.

이 철학은 Anthropic의 모든 후속 결정에 영향을 끼쳤다. Claude의 매 버전이 출시될 때마다 — 1.0, 2.0, 3.0, 3.5, 4.0, 4.5, 4.7 — 모델의 능력만이 아니라 "이번엔 어떤 안전 메커니즘이 새로 도입되었는가"가 항상 출시 노트의 절반을 차지한다. 이는 우연이 아니라, 회사의 DNA에 새겨진 원칙이다.

$124M 시드, 그리고 샌프란시스코의 한 건물

회사가 막 출발했을 때 Anthropic이 가장 먼저 부딪힌 벽은 돈이었다. 대규모 언어 모델을 만드는 일은 똑똑한 연구자들의 모임만으로 되지 않는다. 수천 장의 최신 GPU가 필요하고, 그것을 몇 주씩 24시간 돌릴 전력이 필요하다. 그 모든 것을 떠받칠 클라우드 인프라도 따로 있어야 한다. GPT-3급 모델을 한 번 훈련하는 데에만 수백만에서 수천만 달러가 들었다. 사명이 아무리 분명해도 돈이 없으면 시작조차 할 수 없는 일이었다.

그래서 Anthropic의 첫 자금 조달은 일반적인 시드 라운드의 잣대로 보면 거대했다. 2021년 5월, 1억 2,400만 달러. 리드 투자자는 Skype의 공동창립자였던 Jaan Tallinn이었다. 이어진 Series A에서 5억 8,000만 달러가 들어왔고, 같은 해 Series B에서도 또 한 차례의 라운드가 이어졌다. 2022년 초까지 누적 자금은 7억 달러 안팎까지 자라났다.

2023년부터는 차원이 달라졌다. 그해 5월 Google이 4억 5,000만 달러를 보탰고, 9월에는 Amazon이 40억 달러를 약속했다. 한화로 약 5조 4천억 원에 해당하는 금액이었다. 2024년에는 Amazon이 또 한 번 40억 달러를 더 들였고, Google도 후속 라운드로 따라붙었다. 2025년 기준 Anthropic의 누적 외부 자금은 200억 달러를 넘어섰다. AI 분야 전체에서 OpenAI 다음으로 큰 규모다.

여기서 한 가지 선택이 눈에 띈다. Anthropic은 OpenAI가 걸어갔던 길, 즉 한 빅테크와의 깊은 결합이라는 길을 의식적으로 피했다. OpenAI가 사실상 Microsoft에 통합되어 가는 동안, Anthropic은 Google과 Amazon 양쪽에서 자금을 받았다. 그러면서도 어느 한쪽에 제품과 인프라가 매이지 않도록 설계했다. Claude는 Amazon Bedrock에서도 돌고, Google Vertex AI에서도 돌고, 자체 API에서도 똑같이 돈다. Dario가 2020년 OpenAI에서 마지막으로 본 풍경이 있었다. 한 거대 기업에 너무 깊이 묶이면 회사의 결정권이 어떻게 좁아지는가. 그 풍경을 그는 잊지 않았다.

본사는 샌프란시스코 SoMa 지구에 자리 잡았다. 첫 임시 공간이 누군가의 거실이었던 시절을 생각하면 사뭇 다른 풍경이다. 2022년부터는 정식 사무실로 옮겼다. 위 사진에 보이는 건물, 글래스와 석재가 만나는 절제된 모더니즘은 회사가 자기 자신을 설명하는 방식과 어딘가 닮아 있다. 화려하지는 않다. 다만 단단하다. Dario와 Daniela가 새 사무실 자리로 고른 곳은 OpenAI 시절을 보냈던 미션 가에서 그리 멀지 않은 곳이었다. 같은 문제를 다른 방식으로 풀어 보겠다는 조용한 선언처럼, 두 사람은 그 동네에 남았다.

Claude — '도움이 되고, 정직하고, 무해한 AI'

2022년 11월 30일, OpenAI가 ChatGPT를 세상에 풀어 놓았다. 닷새 만에 사용자 100만 명. 두 달 만에 1억 명. AI 역사상 가장 빠르게 자라난 소비자 제품이 그렇게 등장했다. 그런데 그 시점에 Anthropic은 아직 자사 모델을 외부에 내놓지 않은 상태였다. 시장이 물었다. 왜 더 빨리 내놓지 않는가.

답은 이미 회사 안에 있었다. Claude라는 이름의 첫 모델은 ChatGPT가 세상에 나오기 전부터 내부에서 돌아가고 있었다. 다만 Anthropic의 출시 기준이 한 박자 더 보수적이었을 뿐이다. ChatGPT가 세상을 흔든 지 넉 달이 지난 2023년 3월 14일, 마침내 Claude 1.0이 공개됐다. 발표문의 첫 단락은 세 단어로 시작했다. Helpful, Harmless, and Honest. 도움이 되고, 무해하며, 정직한. 이 세 단어는 이후 회사의 슬로건이 되었다.

Claude 1.0이 시장에 던진 의미는 작지 않았다. 처음으로 'GPT의 진짜 대안'이 등장한 것이다. 그것도 단순히 비슷하게 만든 다른 모델이 아니었다. 완전히 다른 철학으로 훈련된 모델이었다. RLHF가 아닌 Constitutional AI로 정렬됐고, 거절의 이유가 평가자의 직관이 아니라 명시된 원칙에서 나왔다.

그로부터 다시 3년이 지났다. Claude는 1.0에서 4.7까지 걸어왔다. 컨텍스트 윈도우는 100K(2023년 5월)에서 200K(2024년 2월), 다시 1M(2025년 3월)으로 확장됐다. 컴퓨터를 직접 조작하는 기능(Computer Use), 코드와 문서를 옆 패널로 띄우는 Artifacts, 개발자를 위한 CLI 도구인 Claude Code, 에이전트 SDK까지. 차례로 더해진 기능들이다.

다만 Claude의 진화 자체는 이 시리즈의 다음 편(Episode 3)에서 따로 펼쳐 보일 이야기다. Episode 1의 목적은 하나였다. "왜 이 회사가 시작되었는가." 이제 그 답은 어느 정도 분명해진 듯하다. AI의 안전을 회사의 부산물이 아니라 존재 이유 그 자체로 만들기 위해서였다.

2026년, 그리고 그 후

창립 5년이 지난 지금, Anthropic은 약 1,000명 규모의 회사가 됐다. 기업 가치는 600억 달러를 넘어섰고, 매출은 분기마다 두 자릿수로 자라난다. 그러나 이 회사의 가장 큰 자산은 숫자가 아니다. 창립 7인이 여전히 한자리에 남아 있다는 사실이다. Dario는 CEO로, Daniela는 President로. Tom Brown, Sam McCandlish, Jared Kaplan, Chris Olah도 회사의 한가운데에 그대로 있다. 2024년에 정책 자문 자리로 자리를 옮긴 Jack Clark만이 약간의 거리를 두었을 뿐이다.

2026년의 AI 시장은 2020년 12월 그날 Dario가 예감했던 모습 그대로다. 속도와 안전의 경주. OpenAI는 GPT-5와 5.1로 소비자 시장의 정점을 지키고 있다. Google은 Gemini 3와 3.5, 4로 끈질기게 따라붙고 있다. Meta의 Llama 4는 어느덧 오픈소스 진영의 표준이 되었다. 이 경쟁의 한복판에서 Anthropic은 자기 자리를 분명히 했다. 가장 빠르지 않아도 좋다. 가장 책임감 있는 회사가 되겠다.

다음 편에서는 한 걸음 더 안쪽으로 들어가려 한다. Dario와 Daniela, 두 사람의 개인적인 이야기다. 이탈리아계 미국인 가정에서 자란 남매가 Princeton과 Stanford, Google과 OpenAI를 거쳐 어떻게 자기들만의 회사를 만드는 자리에 이르게 되었는지. Dario의 박사 논문에는 어떤 호기심이 담겨 있었는지. Daniela는 어떻게 오빠의 가장 신뢰받는 파트너가 되었는지.

이 자리에서 이 장은 닫는다. 그러나 이야기는 이제야 막 시작되는 셈이다.