業務で「人工知能」を使う前に理解すべき事は？世界的エンジニアが徹底解説

by 中島聡『週刊 Life is beautiful』

9か月前

ChatGPTの登場で専門家以外の人々にもお馴染みとなったLLM（大規模言語モデル）。現在その業務への応用に向け、激しい開発競争が繰り広げられています。今回のメルマガ『週刊 Life is beautiful』ではWindows95を設計した日本人として知られる中島聡さんが、LLMを本格的な業務に使う際に当たり最低限知っておくべき「基礎知識」を解説。理解なしではITゼネコンの食い物にされかねないとの注意も喚起しています。

プロフィール：中島聡（なかじま・さとし）
ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。

LLM（Large Language Model：大規模言語モデル）と呼ばれる人工知能を業務に応用するには？

OpenAIのGPTに代表される、LLM（Large Language Model：大規模言語モデル）と呼ばれる人工知能が、実際の業務に使えることが明らかになって以来、より良いLLMを作ろうという試みから、LLMを活用したさまざまなアプリケーションを作ろうという試みまで、さまざまなレベルでの研究・開発が、世界中で激しい勢いで進んでいます。

LLMを活用したアプリケーションとしては、OpenAIのChatGPTが最も多くの人々に使われており、このメルマガの読者の中でも触ったことがある人も多いと思いますが、ChatGPTそのものは、あくまで「汎用的なチャットシステム」であり、文章の要約や、文章の生成には優れていますが、本格的な業務への応用となると、まだまだ不十分な点もあり、ここから先の進化が重要です。

こう言ってしまうと、（人工知能の開発に関わるエンジニアや研究者ではない）一般の人たちは、ChatGPT、もしくは、そのライバルたちの進化を待てば良い、と誤解してしまうかも知れませんが、それは間違いです。

人工知能は、これから、世の中のあらゆる業務で使われるようになりますが、その際には、ChatGPTのような汎用のチャットシステムではなく、特定の業種でビジネスを行うのに必要な知識（ドメイン・ノリッジ）を持ち、かつ、その企業だけが持っているデータにも精通した人工知能が必要なのです。

例えば、サケ・マス類の養殖、捕獲、加工、流通を行っている水産会社を考えてみます。そこで本格的な業務をするのであれば、

サケ・マス類に関する基本的な知識
加工業務に関する深い知識
サケ・マス養殖に関する深い知識
サケ・マス漁法及び、それに関わる各国の規制に関する知識
流通量と市場価格の推移
各国の消費量の推移
サケ・マス業務に関わる様々な企業に関する様々なデータ
料理店・鮮魚店・スーパーなど末端のビジネスに関するデータ
各国の消費者が好むサケ・マス料理に関する知識

を持っている必要があるし、それに加えて、その水産会社だけが抱えている、

所有・契約している船の過去の成績
所有・契約している養殖場の過去の成績
取引先に関する詳しい情報
その会社が結んでいる様々な契約の内容
過去の失敗事例・成功事例
従業員・契約社員・コンサルタントなどに関する詳しい情報

なども把握している必要があります。

人間であれば、この手の知識は、業務を通じて何年もかけて取得していくものだし、必要に応じて調べれば十分なものもありますが、人工知能を導入するのであれば、即戦力であることが期待されるし、莫大なデータを記憶しており、必要に応じて、瞬時に引き出してくる能力が必要です。

ChatGPT、もしくは、その後ろにあるGPTには、膨大な知識が詰まっているとは言え、あくまで汎用的な人工知能であるため、この水産業社で業務をするのに必要な知識を持っているわけではありません。人工知能を実際の業務で使うには、この手のサケ・マス事業に関わる様々なデータ（ドメイン・ノリッジ）を何らかの形で「覚えさせる」必要があるのです。

この記事の著者・中島聡さんのメルマガ

初月無料で読む

人工知能にドメイン・ノリッジを与える方法は複数ありますが、大きく分けると、以下の3つになります。

LLMモデルをゼロから構築
学習済みのLLMモデルのファイン・チューニング（微調整）
プロンプト・エンジニアリング

1つ目のLLMモデルの構築は、技術的にも難しいし、何よりも機械学習の過程に莫大なコストがかかります。モデルそのものは、MetaのLlama2のようにオープンソース化されたものがあるので、その中で適切なものを選べば十分ですが、ちゃんとしたLLMとして使えるようにするには、業務用のデータだけでなく、言葉や一般教養を学習させるための膨大なデータを教育データとして与える必要があります。幸いなことに、データに関しても、オープンなものが沢山あるのでそれが使えますが、学習プロセスには莫大な計算資源が必要であるため、数千万円から数億円の出費（モデルの大きさ、データの量によって大きく異なります）を覚悟しなければなりません。

このアプローチで作られたもので良く知られているのは、経済・金融情報サービスの会社Bloombergが作ったBloombergGPTです。

BloombergGPTは、3,639億トークンの経済・金融データに（ここでは、トークンの数＝単語の数と考えていただいて結構です）、3,450億トークンの一般教養データを合わせた、約7,000億トークンで学習した500億（50 billion）のパラメータを持つLLMで、一般的なLLMとしても高い能力を持ちつつ、経済・金融系の質問に答えられるように作られた、業務用のLLMです。Bloombergは、開発コストを公開していませんが、機械学習プロセスだけで、少なくとも数億円は使ったと見られています。

この手法は、非常にコストが高いので、BloombergのようにLLMそのものをサービスとして提供して利益を上げる場合には使える手法ですが、上で例として取り上げた、サケ・マス事業社が採用できるようなものではありません。

2番目の手法は、既に基本的な言語や一般教養に関してトレーニング済みのLLMに、業務用のデータを与えて学習させる、ファイン・チューニングと呼ばれる手法です。

ファイン・チューニングには、大きく分けて二つの方法があり、一つ目は、モデルのパラメータ全てをアップデートするフル・ファイン・チューニングと呼ばれる手法で、もう一つは、よりパラメータ数の少ないニューラルネットワークを作り、そちらのパラメータだけをアップデートする、Parameter efficient fine-tuning（PEFT）と呼ばれる手法です。

フル・ファイン・チューニングの方は、LLMが持つパラメータ全てをアップデートするため、パラメータ数の多いLLMで行う場合には、莫大なコストがかかるのが欠点です。さらに、パラメータ全体をアップデートするため、ファイン・チューニングの結果、それまで答えられていた質問にまともに答えられなくなってしまう、「Catastrophic failure」という障害を起こしてしまうリスクがあります。

PEFTは、はるかに少ないパラメータだけをアップデートするため、コストは大幅に安いし、ベースとなるLLMのパラメータは変更しないので、「Catastrophic failure」も起こりません。PEFTについてより深く勉強したい人は、「LoRA: Low-Rank Adaptation of Large Language Models」という論文を読むことをお勧めします。PEFTを実現する手法の一つであるLoRAについて詳しく解説しています。

この記事の著者・中島聡さんのメルマガ

初月無料で読む

3番目の手法は、LLMは汎用なものをそのまま使い、LLMに与えるプロンプトの中に、業務に特化したデータを必要に応じて引っ張って来て与える手法です。以前に、このメルマガで解説した、Embedding Databaseを使って質問文と関連する文章を見つけてきて、それをプロンプトの中に含めて、LLMに応えさせる手法が、これに相当します。

この手法は、最初の二つの手法と比べて容易に実装ができるため、幅広く使われている手法ですが、LLMそのものが業務に特化した知識を持っている訳ではない上に、プロンプトとして与えることが出来る文字数も限られているため、必ずしも期待する能力を発揮してくれないケースがあるので注意が必要です。

上の水産会社のケースであれば、手っ取り早く低コストでLLMを使ってみたいのであれば、3番目の手法で十分ですが、本腰を入れて、LLMを使って業務の効率化や改善を行いたいのであれば、LoRA（もしくはそれに相当するもの）を使ったPEFTにより、水産業務に必要な知識を持ったLLMを作る必要があると私は思います。

ちなみに、LLMは、文章を読みこなしてそれを知識として蓄えることは得意ですが、必ずしも大量の数字を丸暗記できる訳ではないので注意してください。

例えば、サケ・マスの種類別の漁獲量の推移、だとか、各国のサケ・マス加工食品の消費量の推移、のようなデータは、LLMに覚えさせるのではなく、データのある場所だけをLLMに覚えさせる、もしくはプロンプトで与えることにより、（先週紹介した）code interpreterのような仕組みを使って、LLMを使ってデータ解析をする、方が理にかなっています。

長くなってしまいましたが、LLMを業務で使う際には、例えシステムの構築を外部の業者に頼むにしても、最低限でもここに書いてあることぐらいを理解した上でないと、良いシステムを作ってもらうことも、システムを使いこなすことも出来ないので、是非とも理解するように努めてください。

この知識を持たずに、ITゼネコンにシステムの構築を依頼してしまうと、莫大な開発費だけを支払って、使い物にならない、もしくは、すぐに陳腐化してしまうシステムを作られてしまいます。「DX特需」の次には「AI特需」が来ることはほぼ確実で、そこでも、マイナンバー・システムのような事例が多発する可能性は十分にあります。

（『週刊 Life is beautiful』2023年8月8日号の一部抜粋です。続きはご登録の上お楽しみ下さい。初月無料です）

この記事の著者・中島聡さんのメルマガ

初月無料で読む

初月無料購読ですぐ読める！ 8月配信済みバックナンバー

※2023年8月中に初月無料の定期購読手続きを完了すると、8月分のメルマガがすべてすぐに届きます。

2023年8月配信分

週刊Life is beautiful ２０２３年８月８日号： LLMの業務への応用、LK-99(8/8)
週刊Life is beautiful ２０２３年８月１日号： Magnificent Seven、七技神(8/1)

いますぐ初月無料購読！

＜こちらも必読！月単位で購入できるバックナンバー＞

※ 初月無料の定期購読のほか、1ヶ月単位でバックナンバーをご購入いただけます。

2023年7月配信分

週刊Life is beautiful ２０２３年７月２５日号： Code Interpreter：リバース・エンジニアリング(7/25)
週刊Life is beautiful ２０２３年７月１８日号： Code Interpreter, Noteable(7/18)
【中島聡×辻野晃一郎　特別対談】日本の技術者を殺す「ノリと雰囲気」とは？ Google日本元社長とWindows95の父が語るAI革命と2025年のゲームチェンジ(7/11)
週刊Life is beautiful ２０２３年７月１１日号： SlashGPT、function chaining、分裂する米国社会(7/11)
週刊Life is beautiful ２０２３年７月４日号：SlashGPT、アンモニアとカーボン・ニュートラル(7/4)

2023年7月のバックナンバーを購入する

2023年6月配信分

週刊Life is beautiful ２０２３年６月２７日号：OpenAIの神アップデート(6/27)
週刊Life is beautiful ２０２３年６月２０日号：私の分身をGPT3.5を使って作る実験、「コンビニ交付システム」問題に関して一言(6/20)
週刊Life is beautiful ２０２３年６月１３日号：Apple Vision Pro、人工知能用言語 Mojo(6/13)
週刊Life is beautiful ２０２３年６月６日号： Google PaML2、GPTからAPIを安定して呼ぶ方法(6/6)

2023年6月のバックナンバーを購入する

2023年5月配信分

週刊Life is beautiful ２０２３年５月３０日号：Tokenizer、Teslaが「EV特許」をオープンソース化した理由(5/30)
週刊Life is beautiful ２０２３年５月２３日号：人工知能の知能テスト(5/23)
週刊Life is beautiful ２０２３年５月１６日号： AI Transformation、CLIP(5/16)
週刊Life is beautiful ２０２３年５月９日号： ChatGPTに知能はあるのか？(5/9)
【特別増刊号】ChatGPTで「君、クビね」続々。AI失業の米国最新事例とは？Windows95の父・中島聡がAuto-GPT、BabyAGIを「今すぐ使え」と叫ぶ訳(5/5)
週刊Life is beautiful ２０２３年５月２日号： BabyAGI、小泉進次郎節を語る人工知能(5/2)

2023年5月のバックナンバーを購入する

2023年4月配信分

週刊Life is beautiful ２０２３年４月２５日号：ETHGlobal Tokyo ハッカソン(4/25)
週刊Life is beautiful ２０２３年４月１８日号： EmbeddingsとGPTを組み合わせると最強だという話(4/18)
週刊Life is beautiful ２０２３年４月１１日号：知能や自意識の「出現」について(4/11)
週刊Life is beautiful ２０２３年４月４日号：プロンプト・エンジニアリング(4/4)

2023年4月のバックナンバーを購入する

2023年3月配信分

週刊 Life is Beautiful ２０２２年３月２９日号：水素自動車 vs. 電気自動車(3/29)
週刊 Life is Beautiful ２０２２年３月２２日号：Apple M1 Ultra の歩留まり(3/22)
週刊 Life is Beautiful ２０２２年３月１５日号：ソニーとホンダの提携(3/15)
週刊 Life is Beautiful ２０２２年３月８日号：プログラム言語 Solidity(3/8)
週刊 Life is Beautiful ２０２２年３月１日号：スマートコントラクト(3/1)

2022年3月のバックナンバーを購入する

2022年2月配信分

週刊 Life is Beautiful ２０２２年２月２２日号：NFTゲームのビジネスモデル(2/22)
週刊 Life is Beautiful ２０２２年２月１５日号：Meta（旧 Facebook）が抱える問題点(2/15)
週刊 Life is Beautiful ２０２２年２月８日号：自社製チップと粗利益率(2/8)
週刊 Life is Beautiful ２０２２年２月１日号：Netflixと放送革命の最終章、Voicy はじめました(2/1)

2022年2月のバックナンバーを購入する

2022年1月配信分

週刊Life is beautiful ２０２３年１月３１日号：日本に中距離弾道ミサイルが配備される時代(1/31)
週刊life-is-beautiful-２０２３年１月２４日号：人工知能入門、バックプロパゲーション(1/24)
週刊life-is-beautiful-２０２３年１月１７日号：デジタル・トランスフォーメーション(1/17)
週刊Life is beautiful ２０２２年１月１０日号：Tesla Roof(1/10)
週刊life-is-beautiful-２０２２年１月３日号：新年号、society-5.0a-政策編(1/3)

2023年1月のバックナンバーを購入する

2022年12月配信分

週刊life-is-beautiful-２０２２年１２月２７日号：society-5.0a、ググる時代の終わりの始まり(12/27)
週刊life-is-beautiful-２０２２年１２月２０日号：亡くなった人との会話を可能にする人工知能(12/20)
週刊Life is beautiful ２０２２年１２月１３日号：マウナロアの噴火(12/13)
週刊life-is-beautiful-２０２２年１２月０６日号：Web3の問題点とその未来(12/6)

2022年12月のバックナンバーを購入する

2022年11月配信分

週刊Life is beautiful ２０２２年１１月２９日号：NounsFes、世界初のベクター形式のオンチェーン・フォント(11/29)
週刊Life is beautiful ２０２２年１１月２２日号：エンジニアの生産性、OS作りの楽しさ(11/22)
週刊Life is beautiful ２０２２年１１月１５日号：書籍発売のお知らせ(11/15)
週刊Life is beautiful ２０２２年１１月８日号：障害続きのTypepad、Voicy Fes(11/8)
週刊Life is beautiful ２０２２年１１月１日号：Halloween(11/1)

2022年11月のバックナンバーを購入する

2022年10月配信分

週刊 Life is Beautiful ２０２２年１０月２５日号：Alconで基調講演(10/25)
週刊 Life is Beautiful ２０２２年１０月１８日号：On-Chain Splatter(10/18)
週刊 Life is Beautiful ２０２２年１０月１１日号：SECとWeb3(10/11)
週刊 Life is Beautiful ２０２２年１０月４日号：Decentralize Autonomous Ecosystem(10/4)

2022年10月のバックナンバーを購入する

2022年9月配信分

週刊 Life is Beautiful ２０２２年９月２７日号：ジェネラティブ・アート(9/27)
週刊 Life is Beautiful ２０２２年９月２０日号：Draw2Earn アプリ(9/20)
週刊 Life is Beautiful ２０２２年９月１３日号：イノベーションを起こす組織と人と(9/13)
週刊 Life is Beautiful ２０２２年９月６日号：全個体電池に社運を賭けるトヨタ自動車(9/6)

2022年9月のバックナンバーを購入する

2022年8月配信分

週刊 Life is Beautiful ２０２２年８月３０日号：GPT-3(8/30)
週刊 Life is Beautiful ２０２２年８月２３日号：自動運転ドローンの初フライト(8/23)
週刊 Life is Beautiful ２０２２年８月１６日号：オープンソース開発の素晴らしさ(8/16)
週刊 Life is Beautiful ２０２２年８月９日号：COVID-19、Phil LibinとWeb3(8/9)
週刊 Life is Beautiful ２０２２年８月２日号：一度始めたことを辞められない日本(8/2)

2022年8月のバックナンバーを購入する

2022年7月配信分

週刊 Life is Beautiful ２０２２年７月２６日号：中学生にも分かるWeb3、Full On-Chain と decentralization(7/26)
週刊 Life is Beautiful ２０２２年７月１９日号：中学生にも分かるWeb3、Solidity(7/19)
読者限定！けんすう氏との対談「稼げるWeb3.0の最前線」全文配信（2）(7/15)
週刊 Life is Beautiful ２０２２年７月１２日号：中学生にも分かるWeb3、ガバナンストークン(7/12)
読者限定！けんすう氏との対談「稼げるWeb3.0の最前線」全文配信（１）(7/8)
週刊 Life is Beautiful ２０２２年７月５日号：中学生にも分かるWeb3、Play2Earnゲーム(7/5)

2022年7月のバックナンバーを購入する

2022年6月配信分

週刊 Life is Beautiful ２０２２年６月２８日号：中学生にも分かるWeb3、DAO、DeFi(6/28)
週刊 Life is Beautiful ２０２２年６月２１日号：中学生にも分かるWeb3、現状のWeb3が持つ課題(6/21)
週刊 Life is Beautiful ２０２２年６月１４日号：中学生にも分かるWeb3、ジェネラティブNFT、NFTブーム(6/14)
週刊 Life is Beautiful ２０２２年６月７日号：中学生にも分かるWeb3、ICO、ICOブーム、IEO(6/7)

2022年6月のバックナンバーを購入する

2022年5月配信分

週刊 Life is Beautiful ２０２２年５月３１日号：中学生にも分かるWeb3、マイニング、スマートコントラクト(5/31)
週刊 Life is Beautiful ２０２２年５月２４日号：中学生にも分かるWeb3(5/24)
週刊 Life is Beautiful ２０２２年５月１７日号：初めてのNFTオークション、The Tesla Decade(5/17)
週刊 Life is Beautiful ２０２２年５月１０日号：Yuga LabsはWeb3時代のGAFAなのか？(5/10)
【中島聡×マナブ】「どうやって最先端テクノロジーを学ぶのか？」(5/5)
週刊 Life is Beautiful ２０２２年５月３日号：Nouns Art Festival(5/3)

2022年5月のバックナンバーを購入する

2022年4月配信分

【中島聡×成田悠輔】INVENT OR DIE 17　未来の設計者たちへ対談全文配信(4/28)
週刊 Life is Beautiful ２０２２年４月２６日号：NounsDAOに参加した理由(4/26)
【中島聡×夏野剛】INVENT OR DIE 17　未来の設計者たちへ対談全文掲載(4/22)
週刊 Life is Beautiful ２０２２年４月１９日号：Giga Texas、SMBC日興証券事件(4/19)
週刊 Life is Beautiful ２０２２年４月１２日号：キッチンカー、クリプトデバイド、bitFlyer 買収劇(4/12)
週刊 Life is Beautiful ２０２２年４月５日号：久しぶりの日本入国、円安と日本の物価(4/5)

2022年4月のバックナンバーを購入する

2022年3月配信分

週刊 Life is Beautiful ２０２２年３月２９日号：水素自動車 vs. 電気自動車(3/29)
週刊 Life is Beautiful ２０２２年３月２２日号：Apple M1 Ultra の歩留まり(3/22)
週刊 Life is Beautiful ２０２２年３月１５日号：ソニーとホンダの提携(3/15)
週刊 Life is Beautiful ２０２２年３月８日号：プログラム言語 Solidity(3/8)
週刊 Life is Beautiful ２０２２年３月１日号：スマートコントラクト(3/1)

2022年3月のバックナンバーを購入する

2022年2月配信分

週刊 Life is Beautiful ２０２２年２月２２日号：NFTゲームのビジネスモデル(2/22)
週刊 Life is Beautiful ２０２２年２月１５日号：Meta（旧 Facebook）が抱える問題点(2/15)
週刊 Life is Beautiful ２０２２年２月８日号：自社製チップと粗利益率(2/8)
週刊 Life is Beautiful ２０２２年２月１日号：Netflixと放送革命の最終章、Voicy はじめました(2/1)

2022年2月のバックナンバーを購入する

2022年1月配信分

読者のみなさまへ、バックナンバーのご案内(1/26)
週刊 Life is Beautiful ２０２２年１月２５日号：Axie Infinity はポンジースキームか？(1/25)
週刊 Life is Beautiful ２０２２年１月１８日号：プログラミングと数学(1/18)
週刊 Life is Beautiful ２０２２年１月１１日号：ソニーへの提案(1/11)
週刊 Life is Beautiful ２０２１年１月４日号：テクノロジー業界の定点観測(1/4)

2022年1月のバックナンバーを購入する

2021年12月配信分

週刊 Life is Beautiful ２０２１年１２月２８日号：エンジニアから見たNFT(12/28)
週刊 Life is Beautiful ２０２１年１２月２１日号：教育ゲームと人工知能(12/21)
週刊 Life is Beautiful ２０２１年１２月１４日号：デジタル庁に向けた提言(12/14)
週刊 Life is Beautiful ２０２１年１２月７日号：ドローンベンチャーを立ち上げた理由(12/7)

2021年12月のバックナンバーを購入する

2021年11月配信分

週刊 Life is Beautiful ２０２１年１１月３０日号：Waymo vs. Tesla(11/30)
週刊 Life is Beautiful ２０２１年１１月２３日号：日本社会を浄化する「もの言う株主」(11/23)
週刊 Life is Beautiful ２０２１年１１月１６日号：日本政府が「脱石炭」に賛同出来ない理由(11/16)
週刊 Life is Beautiful ２０２１年１１月９日号：FacebookのMetaverseに感じる違和感(11/9)
週刊 Life is Beautiful ２０２１年１１月２日号：人生の岐路とドローンベンチャーの話(11/2)

2021年11月のバックナンバーを購入する

2021年10月配信分

週刊 Life is Beautiful ２０２１年１０月２６日号：M1 Pro・M1 Max の写真に隠された秘密(10/26)
週刊 Life is Beautiful ２０２１年１０月１９日号：NFTアプリの開発を始めました(10/19)
週刊 Life is Beautiful ２０２１年１０月１２日号：リモート・ワーク（ハワイ編）(10/12)
週刊 Life is Beautiful ２０２１年１０月５日号：3Dプリンタ、三週目(10/5)

2021年10月のバックナンバーを購入する

2021年9月配信分

週刊 Life is Beautiful ２０２１年９月２８日号：3Dプリンタ、二週目(9/28)
週刊 Life is Beautiful ２０２１年９月２１日号：3Dプリンタ(9/21)
【特別増刊号】私が米Ginkgo Bioworks社に投資した理由。未上場ユニコーンの株主になる方法、必読の資料、合成生物学が世界を一変させる可能性について(9/21)
週刊 Life is Beautiful ２０２１年９月１４日号：日本の半導体ビジネスの興亡(9/14)
週刊 Life is Beautiful ２０２１年９月７日号：自動車に設置した Apple AirTag (9/7)

2021年9月のバックナンバーを購入する

2021年8月配信分