AppleのAIエンジニアも「NvidiaのGPU以外に選択肢はない」
2つ目は、Google DeepMindの研究者が2022年9月に発表した「Training Compute-Optimal Large Language Models」というタイトルの論文（通称、“Chinchilla paper”）です。
こちらは、単にパラメータ数を増やすだけでは不十分で、そのニューラルネットに与える学習データとのバランスも重要だ、ということを指摘しています。つまり、大量の高性能GPUをNvidiaから購入するだけでは不十分で、それに加えて、大量の学習データを何らかの方法で入手し、長い時間をかけて機械学習させなければならないことが明らかになったのです。
NvidiaのGPUの需要を考える上で、この「長い時間をかけて機械学習させなければならない」部分はとても重要です。GPT4クラスのニューラルネットの学習には少なくとも2～3ヶ月の学習期間が必要とされていますが、学習期間中はそれらのGPUは他のことが一切出来ないので、それがさらにGPUの需要を高めることになるのです。
Google、Microsoft、Meta、Teslaなどの大手テック会社は、数千・数万のオーダーでNvidiaのGPUを購入していますが、それはニューラルネットを活用した人工知能技術の開発においては、大量の高性能GPUを活用した長期間の機械学習期間が必須だからです。
少し前に、Appleで人工知能の開発をしているエンジニアと話す機会がありましたが、Appleは、推論（ニューラルネットを利用して問題を解決するプロセス）においては、自社製チップを活用しているものの、機械学習に関しては、NvidiaのGPUを使う以外の選択肢はない、と言っていました。
Teslaは、2021年に機械学習専用のDoJo D1と呼ばれる専用のAIチップを開発し、それを3,000台繋いだスーパーコンピュータを自動運転AIの学習のために構築しましたが、それだけでは不十分で、2023年には1万台のNvidia H100 GPUを購入しました。
それぐらい、機械学習のプロセスにおいては、Nvidiaは圧倒的な力を持っているのです。
それとは別に、とあるベンチャー企業で、有名な人工知能の研究者を雇おうとしたところ、「NvidiaのGPUを1万台使える環境を提供してくれない限りは働けない」と断られしまった、と言う話を聞きました。私が人工知能の研究者であれば、同様のことを考えます。
先のゴールドラッシュの例えで言えば、採掘者たちは、シャベルを大量に購入しないと金の採掘が出来ない状況に追い込まれているのです。
この記事の著者・中島聡さんのメルマガ
