2020年5月、Patrick LewisがMeta AI Researchから一本の論文をNeurIPSに提出した。その論文は — 2年間埋もれていた。2022年11月にChatGPTが登場した後、すべての企業が同じ問いを思い浮かべた。「ChatGPTは我が社の資料を知らないのに?」そのとき誰かが、その埋もれていた論文を取り出した。
論文タイトル: "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"。略してRAG。核心となるアイデアを一行で — 「モデルが答える前に、外部の知識ベースから関連文書をまず検索して取得し、それをコンテキストとして回答を生成する」。
なぜこれが重要だったのか? 2020年のGPT-3は1750億個のパラメータを持っていたが — 学習データにない情報(2020年9月以降の出来事、社内資料など)に対しては無力だった。さらに「幻覚(hallucination)」問題 — 知らないことについてもっともらしく嘘をつく。RAGはこの二つの問題を同時に解いた — 「学習データではなく、検索して取得した実際の文書を見て答えよ」。
ところが — 学界だけが知っていた。産業界は受け取らなかった。理由は単純だった。まだLLM自体が一般の人々に届いていなかったからだ。2020年のGPT-3はOpenAI APIのベータユーザーだけが知っていた。だからRAGは「興味深い学術的成果」程度のものとして埋もれた。
EP04で見たあの日。ChatGPTが5日で100万人、2ヶ月で1億人。CEOたちが会議中にChatGPTを立ち上げ始めた。そして — 同じ問いがすべての企業で同時に思い浮かんだ。
「ChatGPTは本当に賢いのに...我が社の人事規定や出張費ポリシーについては全く知らない。我が社の社内資料を学習させられないだろうか?」
— 2023年、ほぼすべての企業のIT部門会議最初はfine-tuning(微調整)を試みた。会社の資料1万ページをGPT-3に学習させること。結果は — 高価で(GPU数万時間)、遅く(2週間以上)、新しい資料が追加されるたびに再び学習しなければならない。そしてfine-tuneされたモデルは依然として幻覚を起こす。会社のポリシーにない内容をもっともらしく作り出してしまうのだ。
そのとき誰かが — 2020年のPatrick Lewisの論文を再び取り出した。「学習させる必要はない。検索して見せればいい。」
① ユーザーの質問: 「出張費の上限はいくら?」
② ベクトル検索: 質問をembeddingベクトルに変換 → 社内文書データベースから意味的に最も類似した文書を探す
③ 関連文書の抽出: 上位3〜5個の文書を取得(例:「出張費規定」文書の第2章)
④ LLMにコンテキストを注入: 「次の文書を参考にして答えてください: [文書の内容]。質問: 出張費の上限はいくら?」
⑤ 回答生成: LLMがその文書を見て回答を生成 → 「会社規定§2.3によると、国内出張は1人1日15万ウォン...」
RAGが機能するには — 数百万個の文書ベクトルを高速に検索するデータベースが必要だった。一般的なDB(PostgreSQL、MongoDB)はベクトル検索に遅い。そこで新しいカテゴリが生まれた — Vector Database。
2019年にPineconeを創業した頃は、誰も「vector DB」が何なのか知らなかった。2023年4月 — Series Bで$100Mを調達(総額評価 ~$750M)。同じ年にWeaviate、Chroma、Qdrant、Milvusも爆発的に成長。PostgreSQLもpgvector拡張が事実上の標準になった。Vector DB市場は急速に数十億ドル規模へと拡大している最中。
最も早くRAGを巧みに適用した企業の一つは — GitHubだった。GitHub Copilotは2021年からコード自動補完ツールであり、2024年4月に"Copilot Workspace"のテクニカルプレビューが発表された。作業中のコードベース全体をインデックス化 → 新しいコードを書く際に関連する関数・クラスを自動検索してコンテキストとして使うRAGパターンが核心。
そして同じ時期。Microsoft 365 Copilotは2023年11月に一般提供開始。Word、Excel、PowerPoint、Outlookがすべて社内のOneDrive・SharePointにある文書をRAGで検索して答える。「先月のマーケティングレポートを要約して」と言えば — その文書を見つけて要約。すべてのoffice workerの働き方が変わり始めた。
そして社内独自の構築。2024年に入って — McKinsey、Bainなどのコンサルティングレポートが一貫して多くの大企業が自社の社内LLMコパイロットを導入中だと報告し始めた。韓国では — サムスン電子が社内でのChatGPT遮断後に独自のGAUSSを発表(2023.11)、LG GenAI Studio、SKテレコムA.Xなど。ほぼすべての大企業が似たパターン。
EP04で見たChatGPTの衝撃は大衆にAIをもたらした。しかし会社の内部で本当に仕事を変えたのはChatGPTではなく — そのRAGバージョンだった。同じGPT-4でも — 会社の資料を知っているGPT-4は全く別のツールだ。新入社員教育の時間が6ヶ月から6週間へ、社内ポリシーの照会時間が5分から5秒へ、レポートの草案作成が3時間から30分へ。
そしてもう一つ — Patrick Lewisの論文が2020年に出ていたということ。ChatGPTが登場した2022年に即座に応用されたのは偶然ではない。EP01で見た1986年のHintonの逆伝播、EP03の2017年Transformer、EP04の2020年GPT-3 — すべてそうして2〜7年の潜伏期を経た後に産業へ爆発的に入ってきた。今埋もれている2026年のどこかの論文が — 2030年の標準になるだろう。
EP01で始まった1958年のFrank Rosenblattのパーセプトロン。その小さな5トンの機械が — 二度死んで二度よみがえる間 — 私たちはこのシリーズを追ってきました。
1986年Hintonの逆伝播、1997年LSTM、2012年AlexNetの衝撃、2017年Transformerの統一、2022年ChatGPTの爆発、2024年Soraの映像生成、2025年NVIDIA Blackwell、そして2020年に埋もれていたが復活したRAG。これらすべてが一つの流れです。一人の論文、一度の洞察、一度の潜伏期の後の爆発。
このシリーズが一つだけ残すとすれば — AIは突然現れたものではなく、70年の積み重ねだということです。そしてその70年のすべての段階が今も私たちのスマホのカメラ、会社のコパイロット、半導体工場の仮想計測の中で同時に動いているということです。