2022年11月30日午後 (PST)。OpenAIが一つのチャットボットを静かに公開した。社内でも大きな期待はなく — ある者はそれを「research preview」と呼んだ。しかし5日後、ユーザーは100万人を超えた。2ヶ月後には1億人。インターネット史上、最も速く成長した製品になった。
2017年にGoogleのTransformer論文(EP03)が出た後、一つの問いが浮かんだ — 「Transformerを巨大なテキストデータで事前学習(pre-train)させたらどうなるのか?」
2018年、二つの場所がほぼ同時に答えを出した。Googleは2018年10月にBERTを発表 (Jacob Devlin ほか)。双方向学習 — 一つの単語の左右の文脈を同時に見る。OpenAIはそれより4ヶ月早い6月にGPT-1を発表 (Radford ほか)。単方向 — 次の単語を予測する方式。
OpenAIの研究陣が2020年に発表した一つの論文 — 「Scaling Laws for Neural Language Models」。核心となる主張は、モデルサイズ × データ × 演算量を増やせば、性能が予測可能な形で良くなるというものだ。
この仮説を証明するため、彼らは同じ年の5月にGPT-3を公開した。パラメータは1,750億個(175B)。GPT-2の100倍。学習にかかったGPUコンピュート費用は外部分析の試算で約460万ドルと推定された (Lambda Labs 推定)。
GPT-3は衝撃だった。誰も教えていない翻訳、要約、コード作成、詩作をそのままこなした。「few-shot learning」 — 例をいくつか見せるだけで新しいタスクをこなす。これを見てOpenAI社内で「これは本当に何かが起きている」という感覚が固まった。
OpenAIはGPT-3.5を持ってきて、一つの要素を加えた — RLHF (Reinforcement Learning from Human Feedback)。人間が直接モデルの回答を評価し、その評価を強化学習でモデルに反映する。そうして作られたのがInstructGPT、そしてその対話バージョンがChatGPTだ。
Sam Altman(CEO、Y Combinator 元代表)、Ilya Sutskever(Chief Scientist、Hintonの弟子、EP01·02·03 すべてに登場したあの人物)、Greg Brockman(President、ex-Stripe CTO)。この三人が公開を決断した。社内でも「research preview」として軽く扱っていたが — 結果はそうではなかった。
2023年3月14日。OpenAIはGPT-4を公開した。技術仕様は非公開。米国弁護士資格試験(UBAR)で上位10%通過、AP Calc BC 4点/5点、AP化学 5点/5点など、多数の標準試験で人間の上位層を記録した。モデルサイズに関する推定(1.8兆パラメータ、MoE構造)が出回っているが、OpenAIは公式には確認していない。
そして — GPT-4公開の約2年前である2021年、OpenAIを去った一つのグループが新しい会社を設立した。
OpenAIで「AI安全性(alignment)」をより重視すべきだと主張したグループ。2020年末にOpenAIを去り、2021年初めにAnthropicを設立した。2023年3月にClaude 1、2024年6月にClaude 3.5 Sonnet — コーディング能力でGPT-4を上回ると評価された。
そして2024-2025年、中国からもう一つの衝撃がやってきた。
DeepSeek-R1を、OpenAI o1と同等の推論性能で、学習コスト1/30で作り上げた。すべてのコードとweightsをオープンソースで公開。米国ビッグテックのGPU軍拡競争という仮説そのものに疑問が投げかけられた — 「本当にこんなに高くなければならないのか?」
2026年5月現在。ChatGPTの週間アクティブユーザーは5億人以上。Claude·Gemini·Llama·Grokを合わせれば10億人に近い。インターネットそのものが、これらのモデルの上で作り直されつつある。Google検索はLLMの回答に変わり、IDEはCopilotに変わり、社内ERPはRAG(EP08で扱う予定)へと変わっている。
次回(EP05)では2014年にIan Goodfellowが酒場で思いついたGAN、そして2020年のDDPM(Diffusion)から始まった画像·映像生成AIの12年史を扱う。ChatGPTが言語を制覇したとすれば、Stable Diffusion·Sora·Veoは視覚を制覇しつつある。