2012년 AlexNet 이후 14년간 AI = GPU의 시대였다. 그런데 2025년 11월, NVIDIA가 자체 CPU(Vera)를 발표했다. AWS-OpenAI는 "수천만 개의 CPU"를 명시한 $38B 계약을 체결했다. Intel CEO는 "CPU가 AI 스택의 오케스트레이션 계층"이 됐다고 선언했다. 무엇이 바뀌었나 — 그리고 1차 자료는 무엇을 보여주는가.
2012년 ImageNet에서 AlexNet이 우승한 사건이 모든 것의 시작이었다(EP02 참조). Hinton의 두 제자가 사용한 GPU는 NVIDIA GTX 580 두 개 — 가정용 게이머 카드. 그날 이후 모든 AI 회사가 NVIDIA GPU를 사기 시작했다.
그 흐름이 14년간 이어진 이유는 AI 학습이 본질적으로 행렬 곱셈이기 때문이다. 신경망 한 층 = `W × x` 행렬곱. GPT-4 한 step = 약 1.5조개 가중치를 동시 업데이트. 이 작업은 모든 셀이 서로 독립적으로 계산되는 *embarrassingly parallel* — 즉 같은 일을 동시에 수만 개 시키면 끝.
| 항목 | CPU | GPU |
|---|---|---|
| 코어 수 | 수십 개 (복잡한 코어) | 수천~수만 개 (단순 코어) |
| 설계 철학 | Latency 최적화 — 한 작업을 빨리 | Throughput 최적화 — 같은 작업 동시에 많이 |
| 메모리 대역폭 | DDR5 ~50 GB/s | HBM3e ~1,500 GB/s (≈30배) |
| 특화 회로 | 분기 예측·OoO 실행·대용량 캐시 | Tensor Core (FMA·systolic array) |
| AI 학습 속도 | baseline | 10~100× (워크로드 의존) |
GPU는 "분기 예측이 어려운 다양한 일"엔 약하지만 — 그게 AI 학습엔 필요 없다. 그래서 NVIDIA H100 한 장이 $30,000+에 팔리고 시가총액이 $4조를 넘었다(EP06 참조).
2026년 시점, AI 컴퓨트의 약 2/3가 추론(inference)에서 발생한다 — Deloitte 2026 Tech Trends Outlook이 명시한 수치. 2023년에는 1/3이었다.
그리고 추론 안에서도 Agentic AI — ChatGPT가 단발성 답을 주는 게 아니라, GitHub Copilot Workspace나 Claude Computer Use처럼 도구를 쓰고, 검색하고, 결과를 평가하고, 다시 시도하는 형태 — 가 핵심이 됐다(EP08 RAG 참조).
Agentic AI 워크로드의 한 사이클은 다음 5단계로 구성된다:
이 5단계 중 ②③⑤는 전적으로 CPU 작업이고, ①④도 GPU와 CPU가 섞인다. 모델 추론(GPU 일)은 사이클 중 가장 짧은 시간이다 — 일정 비율이 아니라.
2025년 11월, Georgia Tech와 Intel 공동 연구진이 한 논문을 arXiv에 게재했다 — "Towards Understanding, Analyzing, and Optimizing Agentic AI Execution: A CPU-Centric Perspective" (Raj, Kundu, Vohra, Wang, Krishna · arXiv:2511.00739).
그들은 5가지 실제 agentic 워크로드를 두 시스템에서 측정했다:
결과 — tool 처리(CPU 작업)가 end-to-end latency의 50~90%:
| 워크로드 | CPU 처리 비중 | 주된 CPU 작업 |
|---|---|---|
| RAG (Haystack) | 81~89% | Tool retrieval, 벡터 DB 검색 |
| Toolformer | 77~88% | LLM inference 자체 (오케스트레이션 포함) |
| Web-Augmented Agent | 48~55% | Summarization (Python heavy) |
| ChemCrow (화학) | 85~88% | Conformer 생성 (분자 구조) |
| SWE-Agent (코딩) | 25~65% | Bash · Python sandbox 실행 |
에너지 측면에서도 — 큰 batch size에서 CPU의 동적 에너지 소비가 전체의 44~61%까지 올라갔다(같은 논문). GPU만 전력 잡아먹는 게 아니다.
이 워크로드 변화는 데이터센터 설계의 근본을 흔든다. 시장 조사 기관 TrendForce(2026년 4월 보고서)는 다음과 같이 정리했다:
같은 흐름은 Intel 본사에서도 확인된다. Intel CEO Lip-Bu Tan은 2026년 1분기 실적 발표에서 다음과 같이 말했다:
"AI 학습용 인프라는 보통 GPU 7~8개당 CPU 1개의 비율이다. 하지만 추론으로 가면 그 비율이 GPU 3~4개당 CPU 1개로 좁혀진다. Agent와 multi-agent 환경으로 가면 — 이 비율이 1:1이 되거나, 심지어 CPU 쪽으로 약간 기울 수도 있다."
— Lip-Bu Tan, Intel CEO · 2026 Q1 실적 발표그리고 같은 발표에서 그가 추가한 한 줄이 본질을 압축한다:
"CPU is now the orchestration layer and critical control plane for the entire AI stack."
— Lip-Bu Tan, Intel CEO · 2026.04이론이 아니라 시장에서 현재 일어나는 일을 보자. 2025년 11월 3일, OpenAI가 AWS와 7년 $38B 계약을 체결했다. AWS와 OpenAI가 함께 발표한 공식 문서에 명시된 자원 규모는 다음과 같다:
"OpenAI is accessing AWS compute comprising hundreds of thousands of state-of-the-art NVIDIA GPUs, with the ability to expand to tens of millions of CPUs to rapidly scale agentic workloads."
→ 수십만 GPU vs 수천만 CPU. 단위 단위가 다르다 — agentic workload 확장에는 GPU보다 CPU가 100배 이상의 단위로 필요하다는 OpenAI의 직접 신호.
NVIDIA GPU(GB200·GB300)는 Amazon EC2 UltraServer에 클러스터링되고, CPU는 별도 — agentic 워크로드 운영 인프라로 명시됐다. 모든 자원은 2026년 말까지 온라인. 이 한 계약이 시장에 던진 신호: agent 시대의 인프라 = GPU + 압도적 양의 CPU.
가장 강력한 신호 — GPU 시대의 절대 강자가 자체 CPU를 발표한 사건. 2026년 GTC에서 발표된 NVIDIA Vera CPU의 공식 사양:
| 항목 | NVIDIA Vera CPU |
|---|---|
| 코어 | 88 NVIDIA Olympus 코어 (custom Armv9.2) |
| 공정 | TSMC N3, monolithic die + adjacent dielets |
| 멀티스레딩 | Spatial Multithreading — 코어당 2 task |
| 메모리 대역폭 | 1.2 TB/s LPDDR5X · 코어당 14 GB/s |
| 메모리 용량 | 최대 1.5 TB |
| GPU 연결 | NVLink-C2C 1.8 TB/s coherent (GPU와 메모리 공유) |
| 특이점 | 업계 최초 FP8 precision 지원 CPU |
| 비교 효율 | "기존 CPU 대비 2× 효율, 1.5× 속도" (NVIDIA 공식) |
| 출시 | 2026 H2 양산 시작 |
Vera는 단독 판매되지 않는다. Vera Rubin NVL72 랙 안에서 72개 Rubin GPU + 36개 Vera CPU 구성으로 출하 예정. NVIDIA가 메시지를 명확히 했다 — "GPU만 사지 마세요. 우리 CPU와 함께 쓰세요."
| 제품 | 코어 | 공정 | 특징 |
|---|---|---|---|
| Arm AGI CPU | 136 | TSMC N3 | 2026.03 출시 · 고객: Meta, OpenAI, Cloudflare |
| AMD EPYC Venice | 256 (512 SMT) | TSMC N2 | 2026 출시 예정 · 5세대 Turin 후속 |
| Intel Xeon 6+ (Clearwater Forest) | 288 | Intel 18A | 2027로 지연 |
| AWS Graviton5 | 192 | TSMC N3 | Arm Neoverse · AWS 자체 |
| Microsoft Cobalt 200 | 132 | TSMC N3 | Azure 자체 ARM CPU |
| Google Axion C4A/N4A | 96 / 64 | — | Google Cloud 자체 |
모든 하이퍼스케일러가 자체 ARM 기반 데이터센터 CPU를 제작 중이라는 게 본질적 변화다. x86의 데이터센터 독점은 사실상 깨졌다. ARM Neoverse가 새 표준이 되어가는 중.
이론과 발표가 아니라 2025년 4분기 실제 매출 숫자가 추세를 확인해준다.
AMD CFO는 "large enterprises deploying on-prem EPYC more than doubled in 2025"(대기업 자체 데이터센터 EPYC 배치가 1년에 2배가 됐다)고 명시했다. 그리고 2026년 가이던스 — "server CPU market to grow strong double digits".
2026년 AI 인프라는 더 이상 "GPU만 있으면 된다"가 아니다. 워크로드별로 칩이 분화됐다:
1. GPU가 죽는 게 아니다. GPU는 여전히 추론·학습의 핵심이다. 단지 *GPU의 영역 외*에 새로운 거대 영역이 생겼고, 그게 CPU의 부활 무대다. "GPU does the thinking, CPU does everything else"인데, 그 *everything else*가 워크로드의 절반을 넘어섰다.
2. NVIDIA가 자체 CPU(Vera)를 만든 것이 가장 강한 신호다. 단순 portfolio 확장이 아니라 — agent 시대에 GPU 옆의 CPU가 약점이 되면 GPU 매출도 흔들린다는 인식의 결과. NVLink-C2C로 메모리를 공유하는 CPU+GPU 통합 패키지가 표준이 되어간다.
3. AMD가 가장 큰 단기 수혜 — EPYC가 사실상 agent 시대 표준 CPU. Q4 2025 데이터센터 +39% YoY, EPYC Turin 50%+ 점유, 2026 가이던스 strong double digits. Intel은 양산 지연으로 단기 위기 — 수요 폭발하는데 공급 부족.
4. ARM의 데이터센터 침투가 결정적이다. Vera, AGI, Graviton5, Cobalt 200, Axion — 모두 ARM Neoverse 기반. x86 데이터센터 독점은 사실상 끝났다. AMD x86은 당분간 강세지만, 5년 시계는 ARM이 30%+ 점유 가능.
5. 메모리 대역폭이 새 전장이다. Vera의 핵심은 88코어가 아니라 1.2 TB/s LPDDR5X + 1.8 TB/s NVLink-C2C다. 코어 수 경쟁에서 메모리 대역폭(HBM4·LPDDR5X·CXL 3.0) 경쟁으로 전환. 수혜 — SK하이닉스·마이크론·삼성 메모리.
2012-2024년의 AI는 "행렬곱 시대"였고 — GPU가 압승했다. 2025-2030년의 AI는 "agent orchestration 시대"다 — CPU·GPU·NPU·메모리가 공생하는 *heterogeneous compute*가 새 기본형이 된다.
NVIDIA가 자체 CPU를 만들고, AWS가 OpenAI 계약에 "수천만 CPU"를 명시하고, Intel CEO가 "CPU is the orchestration layer"라고 선언한 2025-2026년이 — 그 전환점이었다.
CPU의 부활은 GPU의 패배가 아니라, agent라는 새 워크로드 카테고리의 등장이 가져온 결과다. 2026년의 AI 인프라 의사결정은 — "GPU 몇 개 살까"가 아니라 "CPU·GPU·메모리·인터커넥트를 어떻게 균형 있게 설계할까"로 이동하고 있다.