ニューラルネットを活用したソフトウェア・エンジニアリングは、そんなソフトウェアの作り方を根本から変えました。ニューラルネットの設計そのものは人間がしていますが（少なくとも今の時点では）、作ったニューラルネットワークの中の莫大な数のパラメータを更新する仕事はマシンが行います。
マシンは24時間連続で働かせても文句も言わないし、コストにさえ糸目をつけなければ、何万台、何十万台という数のマシン（GPU）を並べて、同時に働かせることも可能です。ニューラルネットの設計さえ良くできていれば、10倍のマシンを使えば、10倍の効率で仕事をしてくれます。
パラメータの数に関しても同じです。パラメータの数を10倍に増やしたからと言って、（人間が作るプログラムのように）複雑さが指数関数的に増して破綻するようなことはなく、それに見合っただけの能力を発揮してくれるのがニューラルネットの特徴です。
ニューラルネットは、オープンな形のイノベーションとも相性が良いのです。人間が作る（何十万行にも渡る）ソフトウェアと違って、ニューラルネットの設計そのものははるかにシンプルなので、それを論文やオープンソースな形で公開し、それをお互いに活用しながらイノベーションを起こすことが可能だし、それが常識になっているのです。
それどころか、作ったニューラルネットに莫大な量の学習データを与えて機械学習させて作ったパラメータそのものを公開する研究者すら現れており（Metaがリーダーシップ的な役割を果たしています）、それがさらにイノベーションを加速している点は注目に値します。
とは言え、ニューラルネットに適したものとそうでないものがあるので、全ての場合にニューラルネットが適用できるわけではありませんが、研究者たちの努力により、ニューラルネットが適用できる範囲が増えており、近い将来に多くのアルゴリズムがニューラルネットに置き換えられると考えて良いと思います。
ニューラルネットが面白いのは、複数のニューラルネットから構成されるソフトウェアがあった場合、それらを一つのニューラルネットとみなして機械学習をさせることが可能な点です。
Teslaの自動運転システムは、深さ検知、物体認識、経路選択などの複数のモジュールで構成されており、当初は人間が手作業で作ったモジュールと、ニューラルネットで構成されたモジュールとが混在していましたが、v12から全てのモジュールをニューラルネットで置き換えることに成功したため、自動運転システム全体を一つのニューラルネットとして同時に機械学習させることが可能になったそうです。
そんなことが可能なのは、ニューラルネットの学習に使われているバックプロパゲーションという仕組みによるものです。バックプロパゲーションとは、複数の関数が重なって作られた関数がある場合（例えば、y=f(g(x))に、それぞれの関数の微分係数が計算できる限り、何段階でも遡って学習（学習データに応じてパラメータを逐次更新）することを可能にする仕組みですが、各モジュールがニューラルネットで構成されている限り、モジュールの境をまたいでバックプロパゲーションを行うことが可能なのです。
Teslaの自動運転システムには、v11まで30万行の（人間が書いた）コードが含まれていましたが、v12からはその全てをニューラルネットで置き換えることに成功したそうです。
