30万行ものコードが存在すると、そのメンテナンスだけで一苦労です。コードにわずかな変更を加えるだけでさまざまな副作用が生じるため、一つのバグの修正のためのコードの変更が、別のバグを生み出したり、ということは日常茶飯事になります。また、コードを書いた担当者が辞めてしまった結果、どうやって動いているのか誰も理解が出来ず、変更を加えることが不可能になってしまったモジュールとか、数多くのモジュールがそのモジュールに依存してしまっているため、わずかな変更すら加えることが大きなリスクを伴うモジュールなどが出来てしまいます。
Teslaは、全てのモジュールをニューラルネットに置き換えることにより、自動運転システムから人間が書いたコードを排除することに成功しました。Teslaは世界中にあるTesla車から集めた映像データを運転手の操作と共に記録し続けているため、今後は、それを学習データとして、自動運転システムを改良していくことが可能になります。
人工知能全体に関して言えば、2023年は、生成型AIと呼ばれる分野での進歩が最も目についたものです。
ChatGPTに代表されるLLM（大規模言語モデル）は、単に「次に来るだろう単語を予測する人工知能」をTransformerという仕組みを使って作ったところ、「あたかも知能がある」かのように振る舞う人工知能が出来たことから、AGI（汎用人工知能）へのアプローチとして研究者に注目が集まり、今では、数多くのモデルが作られています。
現時点で、最も性能の高いもの（SOTA: State Of The Art）は、OpenAIのGPT4ですが、GoogleからはそのライバルとされるGemini Ultraが発表されたし（まだリリースはされていません）、オープンソース側でも、その一世代前のGPT3.5に匹敵するものが発表されました。
オープンソースのLLMとしては、Metaがオープンソース化したLlama2が業界スタンダードになりそうに見えましたが、その後、フランスのMistralという会社がオープン化した、Mistral及びMixtralが現時点では、オープンソースLLMのSOTAと呼べる存在です。しかし、この分野は、オープン・イノベーションが非常に活発な分野であり、2024年中に、Mistralの新たなライバルが現れたり、GPT4に匹敵するものが出てきても全く不思議はありません。
現在、最先端で戦っているLLMは全て、Transformerベースのもので、それが2024年中に変わるようなことはないと私は見ています。現状のLLMは、単に「次に来るだろう単語」をひとつづつ予測しているだけなため、数学の問題のように「ちゃんと考えて答えを見つけ出す」ことは不得意です。
OpenAI、Meta、Googleなどの研究者たちは、この問題を解決するための仕組みづくりに取り組んでいますが、非連続なイノベーションであるため、そんなブレークスルーが2024年度中に起こるのかを予想するのは不可能です。OpenAIの取締役会がSam Altman CEOを解雇した理由の一つとして、そんなブレークスルーがあったという情報もありますが、それも噂に過ぎません。
さらに、莫大な学習データを必要とし、かつ、学習後の質疑応答から何も学ぶことが出来ない人工知能は、人間の頭脳と比べて随分と劣りますが、その問題の解決も不連続なものになるため、いつ起きるのか、そして、それがどんなアーキテクチャになるのかを予想するのは現時点では不可能です。
とは言え、私のような開発者（エンジニア）の仕事は、既存のLLMの活用にあるため、大半の開発投資は、Fine Tuning（必要な分野の学習データでモデルを改良すること）やRAG（Retrieval Augmented Generation: 質問に応じるのに必要なデータをコンテキストとして与えてLLMに応えさせること）などに費やされることになります。
