中国発のAIモデル「Kimi K3」が、世界のAI業界で大きな注目を集めています。今回のメルマガ『週刊 Life is beautiful』では著名エンジニアの中島聡さんが、Kimi K3の技術的特徴や市場への影響、そしてAI業界の競争環境に与えるインパクトについて考察します。
Kimi K3のインパクト
中国のMoonshot AIというAIベンチャーがKimi K3というオープン・ウェイト・モデル（学習済みのニューラルネットワークの重みが公開されており、自分で実行したり、追加学習したりできるモデルのことです。ただし、学習に使われたデータやコードまで公開されているとは限らず、「オープンソース」とは少し意味が異なります）を発表し、大きな話題になっています。
オープン・モデルとしては、最大級の2.8兆（2.8Trillion）のパラメータを持ち（ただし、Mixture of Expertsなので、複数ある専門家の中から必要なものだけを呼び出して推論するため、毎回2.8兆全部を計算しているわけではありません）、長文処理が得意で（100万トークン、数千ページの文書を一度に扱える規模）、画像や映像も処理できるマルチ・モーダルなAIモデルで、コーディング能力に優れ、いくつかのベンチマークで、OpenAI/Anthropicの最新のモデル（フロンティア・モデル）に匹敵する能力を示しています。
中国製のオープンなAIモデルDeepSeekが、「DeepSeekショック」と呼ばれるほどのインパクトを市場に与えたのは記憶に新しいと思いますが（2025年1月）、その時は能力よりも開発コストの安さが注目を集めて株式市場にショックを与えましたが、今回は、「中国のオープン・ウェイト・モデルがついに米国のフロンティア・モデルに追いついた」という意味で、大きな注目を集めています。
この記事の著者・中島聡さんのメルマガ
実際にAPIサービスも始まっており、値段が米国製のフロンティアモデルと比べて安いことが注目されています(単位は百万トークンあたりの値段)。
Model Input Cached Input Output
Kimi K3 $3.00 $0.30 $15.00
GPT-5.6 Sol $5.00 $0.50 $30.00
Claude Fable 5 $10.00 $1.00 $50.00
実際に並べてみると「桁違い」というほどの違いではありませんが、「フロンティアモデルにも価格競争が始まった」という点はとても重要です。競争により値段が下がるのであれば、サービスを使う側としては大歓迎です。
パラメータ数が多いので、DeepSeekのように手軽に手元で動かすことはできませんが、モデルが公開されて、量子化（ビット数を減らしてモデルのサイズを小さくすること）や蒸留（大型のモデルを小型のモデルの学習に使うこと）が進むことを期待したいと思います。
Moonshot AIは2023年に北京で創設された会社で、創設者/CEOは、Yang Zhilinという中国人のAI研究者で、以下のような経歴を持ちます。
2015年：清華大学（北京）のコンピュータ・サイエンス学科を卒業
2019年：カーネギー・メロン大学（ペンシルベニア州）で機械学習の博士号を取得
2019年：博士課程の在学中にGoogle Brainでインターンを行い、Google Brainとの共同研究としてTransformer-XL、XLNetの論文を発表
Transformer-XLは、Transformerが長い文脈を扱うための重要なアイデアを示した論文で、その後の長文コンテキスト対応LLMに大きな影響を与えました。XLNetは、OpenAIからGPT-3が発表されるまでは最も優秀な大規模言語モデルでした。その意味では、Googleが論文「Attention Is All You Need(2017年)」で今のLLMのベースになるトランスフォーマーのアーキテクチャを発表してから、ChatGPTの発表に至るまでの「LLMの黎明期」の発展に大きく寄与した研究者の一人と言える人物です。
彼はカーネギー・メロンの博士課程に在学中にGoogle BrainとMeta AIの両方でインターンをしていたそうですが、博士号を取得した後には中国に戻り、ChatGPTの成功（2022年）を受けて、Moonshot AIの起業を決めたそうです。
この記事の著者・中島聡さんのメルマガ
Kimiの設計思想に関しては、Yang Zhilin自身が今年のGTCで基調講演で解説をしているので、是非ともご覧ください。講演の中で、Kimiは、トークン数、コンテキスト・ウィンドウ、マルチ・エージェントの三つの視点からのスケーリングを行ったと語っていますが、その中でも長文処理を高速・軽量にするための手法、「Kimi Linear」は論文にもなっているので、深掘りしたい人には良い資料だと思います。
LLMは、入力されたトークン（ユーザーが書いたプロンプトや、必要に応じて読み込んだ資料）をKV Cacheと呼ばれるメモリに記録し、それを参照しながらトークンを出力します。従来型のLLMにおいて、KV Cacheは、扱うトークン数に比例して大きさが増えるため、推論プロセスにおいて大量のデータをGPUコアとメモリ(HBM)の間で転送しなければならなくなり、それが処理速度のボトルネックになります。
Moonshotによれば、Kimi Linearを採用したモデルでは、従来のTransformerと比べてKV Cacheを約75%削減でき、最大で6倍程度のデコード性能向上を実現できるケースもあるそうです。
DeepSeekが「中国でも安くAIを作れる」ことを示したとすれば、Kimi K3は「中国でも世界最高水準のAIモデルを作れる」ことを示したという意味で、AI業界に与えるインパクトは非常に大きいと言えます。
興味深いのは、Kimi K3はAPI価格こそ安いものの、2.8兆パラメータという巨大なモデルであるため、推論コスト自体は決して安くないと見られている点です。実際、推論にはGB300 NVL72のような大規模GPUサーバーが必要になると指摘されています。DeepSeekショックの際にも「GPU需要は減る」という見方が広がりましたが、結果としてAI利用の拡大によりGPU需要はむしろ増加しました。Kimi K3も同様に、高性能なモデルの普及がAI利用をさらに拡大させ、結果としてGPU需要を押し上げる可能性があります。
この記事の著者・中島聡さんのメルマガ
image by: Photo For Everything / Shutterstock.com