1958年、ニューヨーク・タイムズ1面を飾った「自ら学習する機械」 — しかし、わずか11年で一冊の本によって死刑宣告を受けた。そして30年の沈黙の末、1986年、一篇の論文がそれを復活させた。
1958年7月8日。ニューヨーク・タイムズが、米海軍研究室のある発表を大きな記事として報じた — "NEW NAVY DEVICE LEARNS BY DOING"。本文の中で、発表者はこう語った。
「米海軍が公開したこの電子装置は、やがて自ら歩き、話し、見て、書き、自己の存在を認識する機械の始まりとなるだろう。」
— New York Times, 1958.07.08この発表を行った人物の名は Frank Rosenblatt。30歳のコーネル航空研究所(Cornell Aeronautical Laboratory)の心理学者だった。彼が作り上げた機械は、約400個の光センサーと巨大なキャビネットほどの大きさの「Mark I Perceptron」。その名のとおり「パーセプトロン(Perceptron)」 — 人工神経網の始まりだった。
「機械も人間のようにパターンを認識できる」という仮説を、初めてハードウェアとして実現した人物。アルファベットを見せると、それが「A」なのか「B」なのかを分類できる単層神経網を作り上げた。研究費は米海軍研究所が拠出した。
パーセプトロンの動作は単純だ。入力値に重み(weight)を掛け、すべて足し合わせ、しきい値を超えれば1、そうでなければ0。正解と異なれば、重みを少し調整する。もう一度試す。また調整する。 — これだけだ。「機械がデータから自ら学習する」という概念が、初めて動作した瞬間だった。
11年後の1969年。MITの二人の巨匠 — Marvin MinskyとSeymour Papertが一冊の本を出版した。タイトルはずばり 《Perceptrons》。表紙には二つの図形があり、その間に一つの単純な問い。「この二つの図形は同じか?」
二人は本の中で数学的に証明した — 単層パーセプトロンはXORのような非線形問題を絶対に解けないと。つまり、「二つの入力のうち、ちょうど一方だけが真のときに真」といった単純な論理さえ学習できないという限界だ。
解決策は実は明確だった。複数の層(multi-layer)に積み重ねればよい。ところが問題は — 「層が複数あるとき、各層の重みをどうやって同時に学習させるのか?」 — この問いに、誰も答えられなかった。
1986年10月。Nature 323号 533–536ページ。わずか6ページの論文が掲載された。タイトルは"Learning representations by back-propagating errors"。著者は三名。
核心となるアイデアを一行で言えば — 「微分のchain ruleを、出力から入力の方向へ逆向きに適用し、すべての重みの勾配を一度に計算する」。これが、私たちの知るバックプロパゲーション(backpropagation)だ。
バックプロパゲーションの意味は明確だ。これで複数の層に積み重ねても学習できるようになった。Minskyの17年来の批判 — XORを解けないという限界 — が解消された。多層神経網時代の扉が開いたのだ。
「このアルゴリズムはあまりに強力で、40年が経った今でも、すべての神経網が同じ方式で学習している。」
— ChatGPT, GPT-4, Stable Diffusion, Claude — すべてbackpropで学習されているバックプロパゲーションが発明されたからといって、すぐにAIが爆発的に発展したわけではない。1990年代を通じて、神経網は再び傍流だった。理由は二つ。
そのため神経網は、1990年代後半 〜 2010年頃まで、もう一度第二次AIの冬を過ごす。学界の一部 — Hinton、Yann LeCun、Yoshua Bengio — だけが、その火種を守り続けた。彼らはのちに「ディープラーニングの父」と呼ばれ、2018年にチューリング賞を共同受賞する。
1958年に一度、1990年代にもう一度。そしてそのたびに、一人の人物 + 一篇の論文がそれを復活させた。1986年にはHintonのバックプロパゲーション、2012年にはKrizhevskyのAlexNet。
いま私たちが使っているChatGPTも、Stable Diffusionも、自動運転も、半導体工場のAIも — その根源には、1958年のRosenblattのキャビネットほどの大きさの機械がある。そしてその学習方式は、1986年にHintonが体系化したバックプロパゲーションそのままだ。
次回(EP02)では、1989年、Yann LeCunが手書きの郵便番号を認識させることから始まった「CNNの時代」へと入っていく。彼がBell Labsで作り上げた「LeNet」は、いかにして30年後の私たちのスマホのカメラにまでつながったのか。