Kimiの設計思想に関しては、Yang Zhilin自身が今年のGTCで基調講演で解説をしているので、是非ともご覧ください。講演の中で、Kimiは、トークン数、コンテキスト・ウィンドウ、マルチ・エージェントの三つの視点からのスケーリングを行ったと語っていますが、その中でも長文処理を高速・軽量にするための手法、「Kimi Linear」は論文にもなっているので、深掘りしたい人には良い資料だと思います。
LLMは、入力されたトークン（ユーザーが書いたプロンプトや、必要に応じて読み込んだ資料）をKV Cacheと呼ばれるメモリに記録し、それを参照しながらトークンを出力します。従来型のLLMにおいて、KV Cacheは、扱うトークン数に比例して大きさが増えるため、推論プロセスにおいて大量のデータをGPUコアとメモリ(HBM)の間で転送しなければならなくなり、それが処理速度のボトルネックになります。
Moonshotによれば、Kimi Linearを採用したモデルでは、従来のTransformerと比べてKV Cacheを約75%削減でき、最大で6倍程度のデコード性能向上を実現できるケースもあるそうです。
DeepSeekが「中国でも安くAIを作れる」ことを示したとすれば、Kimi K3は「中国でも世界最高水準のAIモデルを作れる」ことを示したという意味で、AI業界に与えるインパクトは非常に大きいと言えます。
興味深いのは、Kimi K3はAPI価格こそ安いものの、2.8兆パラメータという巨大なモデルであるため、推論コスト自体は決して安くないと見られている点です。実際、推論にはGB300 NVL72のような大規模GPUサーバーが必要になると指摘されています。DeepSeekショックの際にも「GPU需要は減る」という見方が広がりましたが、結果としてAI利用の拡大によりGPU需要はむしろ増加しました。Kimi K3も同様に、高性能なモデルの普及がAI利用をさらに拡大させ、結果としてGPU需要を押し上げる可能性があります。
この記事の著者・中島聡さんのメルマガ
image by: Photo For Everything / Shutterstock.com
