人間の脳の容量には限界があるが、AIにはそれがない
AIの研究者は、人工的な知能を作るために、人間の脳を模倣したニューラルネットという仕組みを作りました。当初（1960年代）は単に、「機械学習による人工的な知能」を作るためのテクニックでしかありませんでしたが、その時、研究者が知らずに手に入れることになったのが、この「スケーリングの法則」だったのです。
AIの研究者たちが、自分たちで作ったニューラルネットが「スケーリングの法則」を持つことに2018年まで気付かなかった１番の理由は、その効果が得られるほどの大規模なニューラルネットを作ることが当時の技術では不可能だったことにありますが、GPUの誕生と、GPUのニューラルネットへの活用により、ニューラルネットが元々持っていたポテンシャルが、一気に解放されたのです。
ここまで考えた私が、さらに気がついたことは、「人間の脳の容量には限度があるけど、人工知能にはない」という驚異的な事実です。
人間の脳の容量は、高々1400立方センチ、ニューロンの数にして860億個（86 billion）しかありません（LLMのパラメータ数に相当する、シナプスの数はその1000倍以上）。それに対して、ニューラルネットの方は、お金さえかければ、いくらでも大きくすることが可能なのです。
人間の脳と、ニューラルネットには構造上の違いがあるので、１対１の比較はできませんが、（大学生に匹敵する知能を持つ）最新のモデルのパラメータ数が、数兆個（数百billion）に達しているのは偶然ではありません。
一時期は、「これ以上、学習データを集めることは不可能なので、AIの進化のスピードは鈍るかもしれない」という悲観論が広がったことがありますが、DeepSeekが（学習データを必要としない）強化学習でさらにニューラルネットの能力を高めることが可能であることを証明してくれたように、たとえ与えることができる学習データ容量に限界があったとしても、ニューラルネットのパラメータ数と、学習に費やす計算量さえ増やせば、さらなる進化が可能なことは明らかです。
【関連】中島聡が語る「DeepSeek-R1」の誤解と真実。「中国に情報を抜かれる」「AI投資が下火になる」巷の不安はどこまで正しい？
