中島聡がガチでテスト、「今一番賢いローカルAI」のすごい実力。Phi-4やGemma3を知らない人、そろそろヤバいかもです

著名エンジニアの中島聡氏が、オープンソースの各種AIモデルをローカル環境（MacBook Pro）でテストしその実力を評価。それらが私たちのビジネスにどのような変化を起こすかを予測する。中島氏によれば、MicrosoftのPhi-4に代表されるSLM（小規模言語モデル）の能力がLLM（大規模言語モデル）並みに上昇することで、法人向けエンタープライズ市場では近い将来、クラウド上のAIサービスではなく、個人のパソコンや社内のAIサーバーでオープンソースなSLMを走らせるのが主流になるという。（メルマガ『週刊 Life is beautiful』より）
※本記事のタイトル・見出しはMAG2NEWS編集部によるものです

プロフィール：中島聡（なかじま・さとし）
ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。

どれが一番賢い？オープンソースな言語モデルの実力をテストしてみた

このメルマガでは、法人向けエンタープライズ市場でのオープンソースな言語モデル（LLM、もしくは、SLM）の重要性の話をしてきましたが、複数の読者から「どれを使うべきか」という質問が寄せられました。

毎週のように新しい言語モデルが発表されているため、「どのモデルを使うべき」と特定することはとても困難ですが、少なくとも私が最近になって試したモデルのことは紹介できます。

比較のため、少し前に紹介した「ある満月の夜、空を見上げると、月のすぐそばに火星が見えた。その時、地球と火星の距離は遠いのか近いのか？」という問題に正しく答えられるかを調べました。

（※編註：正解は「地球と火星の距離は近い」。中島氏によると Claude 3.7 sonnet や GPT-4o、Grok 3 も間違える難しい問題だという）

【関連】中島聡が大胆予測、「コードが書けるAI」で「SIerの中抜き」が意外な進化を遂げる理由…ムダすぎて草？

r1-1776, パラメータ数：70b, 必要なメモリ：43GB

話題のDeepSeekによる「考えるモデル」です。一番大きなモデルは私のMacBook Pro（96GBのメモリ）で走らせることができないので、パラメータ数70bのものを試しています。

英語や日本語で質問しても、考える過程は中国語で行うという特徴があり、中国共産党の意向が反映されたモデルであるため、台湾問題、天安門事件などに関しては、中立的とは言い難い返事をするのが欠点です。

「地球と火星の距離」の問題に対する回答も「満月時は太陽・地球・月が一列に並び、月は背面（夜の方向）を照らされています。この状態で火星が月の近くに見える場合、火星も太陽と反対側に配置されていなければなりません。つまり、地球・火星・太陽が一列になり（「冲立」＝火星が「衝」の位置）、地球と火星は比較的近い位置です。」と正しい回答を出してくれましたが、かなりの時間（数分）がかかりました。

一応、比較のためにテストしていますが、バイアスとスピードの面で、実際のサービスに使うことはないと思います。

qwq, パラメータ数：32b, 必要なメモリ：20GB

中国のIT企業、アリババによる言語モデルQwenに「考える能力」を追加したものです。これも中国製のものなので、考える過程で中国語を使うことがあります。政治的に微妙な問題に関しては、若干中国寄りですが、DeepSeekの言語モデルほど露骨なものではありません。

「地球と火星の距離」の問題に対する回答は、「満月の夜に火星が月の近くに見える場合、火星は地球から比較的近い位置にある可能性があります。しかし、正確な距離を知るためには、その時点での太陽系天体の位置を計算する必要があります。」という曖昧な答えで、正解とは言えません。

llama3.3, パラメータ数：70b、必要なメモリ：43GB

Metaの最新のモデルですが、私のMacBook上では、スピードが遅くて使い物になりません。Metaにとってのプライオリティは、大規模なモデル（llama3.1 405b）にあるのだと私は解釈しています。

「地球と火星の距離」の問題に対する回答は「近いです」というぶっきらぼうなもので、「なぜ近いのか説明して」と尋ねて初めて、「満月の夜に火星が月の近くに見える場合、地球、月、火星がほぼ一直線上に並んでいることになります。このとき、地球と火星の距離は最も短くなります。」と答えてくれました。