テックトレンド

なぜKimiは世界最高峰のLLMを作れたのか|楊植麟CEOのGTC講演を読み解く

公開2026-07-19濱本 隆太

Kimi(Moonshot AI)はなぜ世界最高峰と評されるマルチモーダルLLMを作れたのか。CEO楊植麟がNVIDIA GTC 2026で語った「トークン効率・長い文脈・エージェント群」という3つのスケーリング戦略を、Muon・Kimi Linear・Agent Swarm・Attention Residualsの一次情報とともに完全解説します。2.8兆パラメータのKimi K3へつながる設計思想まで、講演スライドとともに読み解きます。

なぜKimiは世界最高峰のLLMを作れたのか|楊植麟CEOのGTC講演を読み解く
シェア

こんにちは、株式会社TIMEWELLの濱本です。

2026年、「オープンウェイトなのに世界最高峰」という言葉が、ある中国のスタートアップの名前とセットで語られるようになりました。Moonshot AI(月之暗面)が開発するKimiです。Kimi K2.5は多くのベンチマークでプロプライエタリなフロンティアモデルと肩を並べ、7月に公開された総パラメータ2.8兆のKimi K3にいたっては、コーディングとエージェントの領域で世界のトップと評されています。

私が引っかかったのは、そのすべてが「重みを丸ごとダウンロードできる」状態で出てきていることです。ブラックボックスのAPIではなく、誰でも自分のサーバーに載せられる。なのに性能は世界最高峰。いったい彼らは何をしているのか。

その答えの、かなり核心に近い部分が、2026年3月のNVIDIA GTC 2026で語られていました。登壇したのはMoonshot AIの共同創業者兼CEO、楊植麟(Zhilin Yang)本人です。セッションのタイトルは「How We Scaled Kimi K2.5」。この記事では、その約39分の講演を頭から丁寧に追いながら、「Kimiはなぜ強いのか」を技術の言葉で言語化していきます。難しい用語には都度かみ砕いた説明をつけるので、AIの中身に詳しくない方も置いていきません。最後に、この講演から私が受け取ったものを、日本企業のAI活用という文脈で考察します。

楊植麟(Zhilin Yang)Moonshot AI 共同創業者兼CEO。NVIDIA GTC 2026 セッション「How We Scaled Kimi K2.5」より NVIDIA GTC 2026「How We Scaled Kimi K2.5」(Zhilin Yang)より。以下、講演スライドの引用はすべて同セッション。

「答え」を先に言うと、3つの軸で"スケールの仕方"を変えた

先に結論を書きます。楊がこの講演で語ったKimiの強さの源泉は、たった3つの軸に整理できます。トークン効率、長い文脈、そしてエージェント群です。彼はこれを「Kimiのスケーリング戦略」と呼んでいました。

近年のAIの進歩は、ほとんどすべてが「スケーリング(規模拡大)」で説明できます。学習に使うデータ(トークン)を増やし、モデルのパラメータを増やし、計算量を増やせば、性能が上がる。2020年にKaplanらが示した「スケーリング則」1以来、業界はこの法則を信じて巨大化を続けてきました。楊が面白いのは、この「ただ大きくする」という素朴なスケーリングから一歩踏み込んで、「スケールさせる軸」そのものを3つに増やして設計している点です。

Kimiのスケーリング戦略。トークン効率(token efficiency)・長い文脈(long context)・エージェント群(agent swarms)の3軸 3本柱:Token Efficiency・Long Context・Agent Swarms。それぞれ学習・推論・実行という別々のレイヤーに効きます。

この3つを、楊はすべて「エージェント」の言葉に翻訳して語りました。ここが彼の思想の要なので、少していねいに書きます。まずトークン効率とは、同じデータからより多くの知性を引き出すこと。エージェントの視点で言えば「より強い事前知識(prior)」を持たせることで、試行錯誤の探索効率を上げることに相当します。次に長い文脈とは、モデルが一度に扱える情報の量を増やすこと。これはエージェントが「何日も、何週間も走り続けられる」ようになることを意味します。そして3つ目のエージェント群とは、1体ではなく多数のエージェントを同時に走らせて、複雑なタスクを分担させる新しい学習の枠組みです。

要するに彼のゴールは明確です。「超長い文脈を持ち、強い事前知識を備えたエージェントの群れ」を作り、その全体を強化学習で最適化していく。3つの軸は、そのためのそれぞれ独立した梃子(てこ)なのです。では1つずつ、中身を見ていきます。

なお、自社が最先端のAIをどこまで使いこなせているかを整理したい方は、AIリテラシー診断で現在地を把握してから読み進めると、後半の考察が自社の話として立ち上がってくるはずです。

第1の軸:トークン効率 — "禁じ手"だったMuonを1兆パラメータで動かす

最初の軸、トークン効率から始めます。ここが個人的にはこの講演で一番しびれた部分です。

大規模言語モデルの学習では、長らくAdam(正確にはAdamW)というオプティマイザ(最適化アルゴリズム)が業界標準でした。Adamは2014年にKingmaとBaが提案した手法で2、10年以上にわたって「とりあえずAdamを使っておけば間違いない」という地位を築いてきました。オプティマイザとは、学習中にモデルの重みをどう更新するかを決める心臓部のことです。

楊たちがここに手を入れました。使ったのはMuonという新しいオプティマイザです。もともとはKeller Jordanが2024年12月に個人ブログで公開したもので3、ニューラルネットの隠れ層の重みという「行列」を、Newton-Schulz反復という手法で直交化してから更新する、というアイデアです。難しく聞こえますが、ざっくり言えば「更新の方向をきれいに整えてから進む」ことで、無駄のない学習をする、という発想です。厳密には二次系のオプティマイザそのものではなく、行列直交化に基づく系統だと理解しておけば十分です。

問題は、Muonが「小さいモデルでは効くが、大きくするとうまくいかない」とされてきたことです。Moonshotはここに正面から取り組み、2025年2月に「Muon is Scalable for LLM Training(MuonはLLM学習にスケール可能だ)」という論文を出しました4。結論は鮮烈で、Muonを大規模学習に適用すると、同じ性能に到達するのに必要な計算量がAdamW比で約2倍効率的になる、というものです。スケールさせる鍵は2つ、重み減衰(weight decay)を加えることと、パラメータあたりの更新スケールをAdam相当にそろえること。これだけでハイパーパラメータの再調整なしに大規模へ持っていけると報告しています。

「Muon is Scalable for LLM Training」(arXiv:2502.16982)。同じ計算量でAdamW比 約2倍の効率、分散Muon実装をオープンソース化 Muon論文のスライド。重み減衰と一貫したRMS更新、そして分散Muon実装が大規模化の鍵。

ここで楊が強調した論点が、私はとても好きです。彼はこう言いました。「トークン効率は、単なる効率の話ではない。知性の上限そのものを引き上げる話だ」と。理由はこうです。世界に存在する高品質なデータの量には限りがあり、私たちはすでに「データの壁(data wall)」にぶつかりつつあります。仮に高品質なトークンが5兆個で頭打ちだとしましょう。そこでトークン効率が2倍になれば、それは実質的に10兆個のトークンを手に入れたのと同じことになります。データが有限である以上、効率の改善はそのまま「引き出せる知性の総量」の改善になるのです。インフラのコスト削減ではなく、フロンティアを押し広げる話だと。ここまで言い切るからこそ、彼らはオプティマイザという地味な領域に本気で投資しているのだと納得しました。

1兆パラメータで牙をむいた「発散」と、QK-Clipという処方箋

ところが、Muonをさらにスケールさせようとしたところで、新しい壁にぶつかります。学習の不安定性です。

Muonを大きなモデルで走らせると、アテンションのlogit(softmaxに入る値)が急速に1000を超えて暴走し始めました5。通常この値は数十から100未満に収まるものです。それが1000超まで跳ね上がり、学習の損失(loss)が発散して収束しなくなります。せっかく効率の良いオプティマイザを見つけたのに、大規模では使えないのでは意味がありません。

Muonをスケールさせたときの学習不安定。max logitが1000を超えて発散し、損失が爆発する スケール時にmax logitが1000超へ発散。右側は損失が爆発していく様子。

Moonshotの処方箋がQK-Clipです。これがなかなかエレガントでした。ニューラルネット内のすべてのアテンションヘッドについて、順伝播の途中でlogitの最大値を計算しておく。そしてその最大値が閾値を超えたヘッドだけ、query(クエリ)とkey(キー)の射影重みを縮小して、値が暴走しないように「クリップ(切り詰め)」するのです。式で言えば、閾値をτ、最大値をS_maxとしたとき、γ = min(1, τ/S_max) という係数を重みに掛けるだけ。

「Taming Muon with QK-Clip」。MuonClipオプティマイザの擬似コード。各ヘッドのlogit最大値が閾値を超えたらquery/keyをクリップする Algorithm 1:MuonのステップにQK-Clipのステップを足したものがMuonClip。閾値を超えたヘッドだけを縮小します。

面白いのは、このクリップが学習の収束を一切邪魔しない点です。損失の曲線はクリップ前後でぴたりと重なり、影響が見えません。一方でlogitの最大値だけは、一度100まで上がったあとその値に張り付き、一定のステップを経ると自然に下がっていきます。ネットワーク自身が、暴走しない範囲に収まる術を見つけていくのです。Muonにこのクリップを組み合わせたものを、彼らはMuonClipと呼びました。そしてこのMuonClipを使い、彼らは実際に1兆パラメータ級のモデルを安定して学習させることに成功します。これがKimi K2です5

Kimi K2は総パラメータ約1.04兆、アクティブ32B、384のエキスパートから8つを選ぶMoE(混合エキスパート)構造で、61層、コンテキスト長は128Kです。事前学習は15.5兆トークンにおよびますが、MuonClipのおかげでロススパイク(損失の急な跳ね上がり)が一度も観測されずに完走したと報告されています。2025年7月にオープンウェイトで公開され、公開の翌日にはHugging Faceで最もダウンロードされたモデルになりました。「機械学習の歴史で初めての、大規模なMuon学習の実例だ」という楊の言葉には、静かな誇りがにじんでいました。

AI活用に関心をお持ちですか?

TIMEWELLのサービス資料をご用意しています。まずはお気軽にご相談ください。

第2の軸:長い文脈 — フルアテンションを"畳んで"1Mトークンへ

2つ目の軸は長い文脈です。エージェントが何日も走り続けるには、それだけ長い記憶を扱える必要があります。ところが、Transformerの標準であるフルアテンションは、文脈が長くなるほど計算とメモリのコストが急激に膨らむという弱点を抱えています。

楊はここで、あまり知られていない一枚の図から話を始めました。TransformerとLSTM(かつて機械翻訳で主流だった再帰型ネットワーク)の比較です。同じパラメータ数・トークン数なら、Transformerのほうが低い損失に到達します。だからこそTransformerが事実上の標準になりました。ここまでは誰でも知っています。彼が指摘したのは別の軸でした。文脈内のトークン位置が後ろになるほど、Transformerの損失はさらに下がり続けるのに対し、LSTMはある長さで飽和してしまいます。つまりTransformerには「長い文脈を捉えるほど賢くなる」性質があるのです。コードベース全体を理解したり、Linuxカーネルをゼロから書くような超長時間のタスクは、この性質なしには成立しません。

そこでMoonshotが作ったのがKimi Linearという新しいアテンション・アーキテクチャです。2025年10月末に技術報告が公開されました6。核となるのはKimi Delta Attention(KDA)という線形アテンションの仕組みで、これはGated DeltaNet(GDN)という既存手法を「より細かい忘却ゲート」で拡張したものです。

少しかみ砕きます。線形アテンションの多くは、過去の情報をどれだけ忘れるかを、ヘッドごとに1つのスカラー(単一の数値)で制御していました。これだと「全部忘れる」か「ほぼ全部覚える」かの両極端に寄りがちで、長い文脈の中から不要な情報だけを捨てる、という器用なことができません。KDAはこの忘却率を、チャネルごとの対角ゲート(Diag(α))に置き換えました。あるチャネルはゆっくり忘れて長期記憶を保ち、別のチャネルは素早く忘れて新しい情報を取り込む。この使い分けが、モデルの表現力を一段引き上げます。

「Kimi Linear」(arXiv:2510.26692)。KDA=Gated DeltaNetをチャネル毎の細粒度ゲートに拡張、線形3:フル1の混在で75%のKVキャッシュ削減 Kimi Linear:KDAとフルアテンション(MLA)を3対1で混在させ、効率と表現力を両立。

もう一つの工夫が混在比です。Kimi Linearは、線形アテンション(KDA)の層とフルアテンション(MLA)の層を3対1の比率で交互に配置します。すべてを線形にすると精度が落ち、すべてをフルにすると重い。3対1という比率が、長い文脈での能力と効率のちょうど良いバランスだったわけです。実装面でも、チャンク単位で並列計算しつつ、近似ではなく数学的に厳密な計算を保つよう作り込まれています。

成果は明快です。同じ学習条件で、フルアテンション(MLA)を短文脈・長文脈・強化学習のすべてのタスクで上回りました。これはMoonshot自身が論文の冒頭で「初めて」と主張している点です。数値で見ると、KVキャッシュ(過去のkey/valueを保持するメモリ)の使用量を最大75%削減し、100万トークンという長大な文脈でのデコード速度を最大6.3倍に高めました。128KトークンのRULERというベンチマークではスコア84.3を記録し、フルアテンションのMLA(81.3)を上回っています。

Kimi Linearの結果。RULER(128k)でKimi Linear 84.3 対 MLA 81.3。1Mトークンでデコード最大6.3倍高速 左:性能×デコード加速のパレート最適。右:文脈長が伸びるほど広がる速度差(最大6.3倍)。

「フルアテンションを畳んで、長さのコストを抑えつつ賢さは落とさない」。長い文脈という軸を、彼らはこうして押し広げました。ちなみにKDAのカーネルやvLLM統合、モデルの重みはすべてオープンソースで公開されています。ここでも「オープンなのに最先端」という姿勢は徹底しています。

第3の軸:エージェント群 — 1体でなく"群れ"で解く

3つ目の軸、エージェント群です。ここは発想がぐっと変わります。

これまでのAIエージェントは、基本的に1体のモデルが順番にツールを使いながらタスクをこなすものでした。楊たちが導入したのは、1体では解けない複雑なタスクを、多数のエージェントの「群れ」で並列に解く仕組みです。設計図はシンプルで、オーケストレーター(あるいは主エージェント)が中心にいて、必要に応じてサブエージェントの一団を生成し、それぞれにサブタスクを割り当て、返ってきた結果を集約していきます。楊はこれを人間の会社にたとえました。CEOがタスクを分解して各部門に割り振り、組織全体を同じゴールへ向かわせます。AI研究者、Web開発者、物理学者、ファクトチェッカーといった、役割の違うエージェントたちが、それぞれの持ち場を並列で進めるのです。

Agent Swarm。オーケストレーターがサブエージェント(AI研究者・物理研究者・ファクトチェッカー等)を並列生成し、タスクを分担・集約する オーケストレーターがcreate_subagent/assign_taskで役割別のサブエージェントを生成、並列実行して結果を集約する(arXiv:2602.02276)。

効果は劇的です。タスクの複雑さに対して実行時間を見ると、エージェント群は単体エージェントよりも大幅に短い時間で片づけます。100体、あるいはそれ以上のサブエージェントを走らせれば、これまで現実的な時間では終わらなかったタスクが、経済的に意味のある時間内に収まります。入力を並列化して数百・数千のソースを同時に読む、100ページの文献レビューを並列で書き上げる、10種類のデータ分析を同時にこなす。こうしたスケールの仕方が可能になります。

「群れ」を賢く走らせる3つの報酬設計

面白いのは、この群れを強化学習でどう賢くするか、という部分です。Kimi K2.5はPARL(Parallel-Agent Reinforcement Learning、並列エージェント強化学習)という枠組みを使い、報酬を3つ組み合わせて学習しています。

「Reinforcement Learning for Agent Swarms」。r_PARL=生成報酬(instantiation)+完了報酬(finish)+成果報酬(outcome)の3項 3つの報酬。生成報酬でserial collapseを防ぎ、完了報酬でpseudoタスクの乱造を防ぎ、成果報酬でゴール達成を測る。

1つ目は生成報酬(instantiation reward)です。放っておくとモデルは楽をして「結局1体で逐次処理する」状態(serial collapse)に戻ろうとします。それを防ぎ、並列実行を促すための報酬です。2つ目は完了報酬(finish reward)。生成報酬だけだと、今度は「とにかくサブエージェントを乱造して報酬をハッキングする」という別のズルが起きます。意味のないサブタスクを大量に作られても困るので、割り当てたサブタスクがちゃんと完了しているほど報われるようにします。3つ目が成果報酬(outcome reward)で、これはタスク全体が達成できたかどうかという最終的な信号です。この3つを足し合わせ、補助的な報酬は学習が進むにつれて重みを0へ近づけていきます。よくできた設計だと感じます。

実際の効果として、Web上を横断的に調べるBrowseCompというベンチマークでは、単体エージェントの60.6%に対し、エージェント群は78.4%を記録しました。最大100体のサブエージェントを統率し、実行時間を最大4.5倍短縮できると報告されています。「1体をどこまで賢くするか」という問いに、彼らは「群れをどう束ねるか」という別の軸で答えを出したわけです。

3つの軸が合流する場所:Kimi K2.5というマルチモーダルの作り方

トークン効率(MuonClip)、長い文脈(Kimi Linear)、エージェント群。この3つの軸を掛け合わせて生まれたのが、講演の主役であるKimi K2.5です7。2026年1月末に公開され、arXivの技術報告は「Kimi K2.5: Visual Agentic Intelligence」というタイトルで出ています。

ここで、多くの人が驚いた「世界最高峰のマルチモーダル性能」の作り方が明かされます。ポイントは、視覚(画像・映像)とテキストを最初から一緒に学習させる「早期統合(early fusion)」です。

従来のオープンモデルの多くは、まずテキストで大規模に学習し、そのあとに視覚能力を後付けしていました。たとえば20兆トークンでテキストを鍛え、そこに2兆トークンほど視覚の後処理を足す、というやり方です。Kimi K2.5はこれをやめました。学習の初日、進捗0%の時点から、視覚トークンとテキストトークンを混ぜて学習します。予備実験では、この早期統合が後付け(late fusion)を上回り、しかも「視覚の比率は控えめにして、早い段階から混ぜる」のが最も良い結果になったと報告されています。

「Kimi K2.5: Vision-Text Joint Pretraining」。視覚とテキストを早期に統合するearly fusionが、後付けを上回る。初のネイティブ・視覚テキスト統合オープンモデル early fusion(0%地点から統合、視覚比率10%:90%)が視覚知識・視覚推論・OCR・コードで最良。K2.5は「ネイティブに視覚とテキストを統合した初のオープンモデル」と位置づける。

なぜ早期統合が効くのか。楊の説明が示唆的でした。「映像を見てコードを書く」ような能力は、視覚とテキストを1つの脳に融合させないと生まれない。2つの脳を分けたままでは起きない、と。実際、Kimi K2.5は映像を読み込んでその雰囲気を再現するWebサイトを生成してみせます。視覚とテキストが同じ表現空間で溶け合っているからこそできる芸当です。

さらに驚くのは、この2つのモダリティが互いを高め合うことです。視覚だけのタスク(画像の数え上げや視覚QAなど、テキストのタスクを一切含まない)で強化学習をすると、テキストの推論性能まで上がりました。具体的には、MMLU-Proというテキスト中心のベンチマークが84.7%から86.4%へ改善したと報告されています。逆に、強いテキストの土台があれば、視覚のSFT(教師ありファインチューニング)データを一切使わずに、テキストのSFTと視覚テキスト共同の強化学習だけで、視覚タスクでほぼ最先端の性能に届きました。彼らはこれを「ゼロ視覚SFT」と呼びます。視覚を足すとテキストが弱る、という長年の常識を、彼らは正面から覆したのです。

ちなみにKimi K2.5のベンチマークは、AIME 2025が96.1、GPQA-Diamondが87.6、SWE-Bench Verifiedが76.8。オープンウェイトのモデルがこの水準に並んでいる事実こそ、「オープンなのに世界最高峰」という言葉の実体です。私が最初に引っかかった謎の答えが、ここでようやく姿を現します。マルチモーダルの強さは、後付けの器用さではなく、初日からの設計思想の産物だったわけです。この視点は、AIエージェント系ツールの比較を眺めるときの目線も変えてくれます。

そして次世代へ:深さ方向にもアテンションを — Attention Residuals

講演の終盤、楊は「昨日、次世代アーキテクチャの技術報告を公開した」と切り出しました。Attention Residuals(AttnRes)です8。これは、Kimi K2.5にはまだ入っていない、次のモデルのための布石として紹介されました。

発想の出発点は、残差接続(residual connection)という、これまた枯れた基礎技術です。2015年にResNetが登場するまで、層を深く積んだニューラルネットは学習できませんでした。層を増やすと勾配が消えたり爆発したりして不安定になります。ResNetの残差接続がその問題を解き、いくらでも層を積めるようにしました。提唱者のKaiming He は2016年のICMLでこれをチュートリアルにしています。楊が「10年前のKaimingのチュートリアル」と呼んだのがこれです。

ここで楊は、Ilya Sutskeverが2024年のNeurIPSで語った有名なアナロジーを引きます。「残差接続は、LSTMを90度回転させたものだ」と。LSTMは時間方向に前のステップの状態を受け取って次の状態を作る再帰的な仕組みです。残差接続は、深さ方向に前の層の出力を受け取って次の層の出力を作ります。向きが違うだけで、構造はよく似ています。だとすれば、と楊は問いを立てます。「では、アテンションを90度回転させたら何が起きるのか」。

「Ilya Sutskever: An LSTM is a ResNet rotated 90°」。残差接続を深さ方向のアテンションに置き換える発想 残差接続=深さ方向に回したLSTM。ならばアテンションを深さ方向に回せば、各層が過去の全層を入力依存の重みで選べる、という着想(Ilya Sutskever, NeurIPS 2024の観察を起点に)。

標準の残差接続は、すべての層の出力を「固定の等しい重み」で足し合わせていきます。そのため深さ方向で隠れ状態が制御なく膨らみ、各層の寄与が薄まってしまう(論文はこれをPreNorm dilutionと呼びます)。Attention Residualsは、この固定の足し算を、深さ方向のsoftmaxアテンションに置き換えます。各層が、それまでの全層の出力を「学習された、入力に応じた重み」で選択的に集約して、自分の出力を作る。1本しかなかった情報のハイウェイを、アテンションで豊かにするイメージです。論文はこれを「時間と深さの双対性(Duality of Time and Depth)」という枠組みで表現しています。

現実的な効率のために、彼らは層をブロックに分けて各ブロックの出力にだけこのアテンションを適用するBlock AttnResという変種も用意しました。成果は、スケーリング則の実験で、Block AttnResが1.25倍の計算量で学習したベースラインの損失に匹敵した、というものです。言い換えれば、約25%のトークン効率の上乗せ。ベンチマークでも、Kimi Linear(48B/3B)でGPQA-Diamondが+7.5、Minerva Mathが+3.6、HumanEvalが+3.1と、推論やコード生成の重いタスクで顕著に伸びています。

講演の裏テーマ:枯れた基礎を、スケーリングの梯子で作り直す

ここまで来ると、この講演の本当のテーマが見えてきます。楊が最後に語ったのは、個々の技術の自慢ではなく、研究のやり方そのものへの見方でした。

並べてみると構図は明快です。2014年のAdamに対してMuonClip。2017年のアテンションに対してKimi Linear。2015年の残差接続に対してAttention Residuals。彼らがやっているのは、業界の「当たり前」になっていた基礎技術を、片っ端から作り直すことです。しかもそのどれもが、置き換え可能なドロップイン(差し替え部品)として設計されている。「TransformerのLLMを学習するなら、AdamよりMuonClipのほうが確実に良くなる」と楊は言い切りました。

なぜ今、こんなことが可能になったのか。彼の答えが私は好きです。「10年前は、新しいアイデアを論文で発表するのが主だった。でも実験の厳密さが足りず、確かな結論を出すのは難しかった。今の私たちには"スケーリングの梯子"がある。モデルをいろいろな規模で学習させ、一連のベンチマークで測れる。だから、確信を持って堅実な結論を出せる」。つまり、大規模な学習インフラとベンチマーク群が整った今だからこそ、古典的な基礎技術を疑い、実証をもって上書きできます。しかもこれらの改善は掛け算で効きます。トークン効率、長い文脈、深さ方向の効率。これらを積み上げれば、モデルは大きく良くなります。

そしてこのすべてが、オープンウェイトで公開されている。楊は講演を通じて「知性の民主化(democratizing intelligence)」という言葉を繰り返しました。オープンモデルは、ローカルにもクラウドにも自由に載せられ、重みの一つひとつにアクセスできます。ブラックボックスではありません。彼が引いたNVIDIA CEOジェンスン・フアンのスライドが象徴的でした。オープンモデルはプロプライエタリとの差を急速に詰め、フロンティアに手が届きつつあります。GTCという、NVIDIAのメインステージに立った唯一の中国製LLM企業の創業者が語るには、これ以上ない舞台でした。

K2.5からK3へ — "予告編"は本編になった

この講演がK2.5を主題にしていたのは、時系列を見ると腑に落ちます。K2.5は2026年1月末の公開。講演は3月18日。Attention Residualsの技術報告は、その2日前の3月16日にarXivへ投稿されています。だから楊は「昨日公開した次世代アーキテクチャ」として、まだどのモデルにも載っていないAttnResを予告できたのです。

その予告が本編になったのが、2026年7月に公開されたKimi K3です。公式ブログによれば、K3は総パラメータ2.8兆のオープンウェイトMoEで、Kimi Delta Attention(KDA)とAttention Residuals(AttnRes)を土台に構築されています9。オプティマイザはMuonClipからさらに発展したPer-Head Muon(アテンションのヘッドごとにMuonを独立適用する手法)を採用し、Quantile BalancingやGated MLAといった新要素も加えて、K2比で総合的なスケーリング効率が約2.5倍になったと主張しています。1Mトークンの文脈、ネイティブな画像対応。GTCで語られた3つの軸と次世代アーキテクチャが、そのままK3という実物に結晶したわけです。

言い換えれば、「なぜK3が世界最高峰なのか」を知りたければ、この3月のGTC講演を見ればいい。K3という完成品は、K2.5の設計思想の延長線上に、予告どおりのアーキテクチャで立っています。ユーザーがこの講演を「K3の解説」と受け取るのは、方向としてはむしろ正確なのです。名前こそK2.5ですが、語られているのは彼らの"作り方"そのものだからです。

濱本の考察 — 日本企業は、この講演から何を持ち帰るべきか

ここからは私の考えです。この講演を、日本でAI活用に取り組む立場から3つの視点で受け止めました。

1つ目は、「効率は、コストではなく知性の話だ」という視点の転換です。日本企業のAI導入の議論は、いまだに「APIの利用料をどう抑えるか」に寄りがちです。もちろん大事ですが、楊の主張はその一段上を行っています。トークン効率の改善は、限られた高品質データから引き出せる知性の総量を増やす。効率を突き詰めることが、そのまま到達できる賢さの上限を上げる。この発想は、自社データという有限資産をどう扱うかを考えるうえで示唆的です。手元の限られた社内データから最大限の価値を引き出すには、モデルやパイプラインの効率設計こそが勝負どころになります。

2つ目は、オープンウェイトの戦略的な意味です。世界最高峰のマルチモーダルモデルが、重みを丸ごとダウンロードできる形で出てきている。これは日本企業、とりわけデータの主権や国内保管を重視する製造業・金融・公共領域にとって、無視できない事実です。ブラックボックスのAPIに社内の機密データを流し込むのではなく、最先端モデルを自社の管理下(オンプレミスや国内クラウド)に置いて運用する選択肢が、現実味を帯びてきました。私たちがZEROCK(/zerock)で国内サーバーでのエンタープライズAIにこだわってきたのも、まさにこの流れを見据えてのことです。「最先端=海外のAPIに依存」という前提は、もう当たり前ではありません。

3つ目は、エージェント群という考え方です。「1体の賢いAIに全部任せる」から「役割の違うエージェントの群れを束ねる」へ。この発想は、そのまま企業の業務設計に転写できます。1つの巨大な自動化を作ろうとするのではなく、小さな専門エージェントを並列に走らせ、オーケストレーターが束ねる。人間の組織図とほとんど同じ構造です。だとすれば、AI活用がうまい会社とは、良いモデルを買った会社ではなく、タスクをうまく分解して割り振れる会社になっていくはずです。これは技術力というより、業務設計と組織運営の力の話です。

余談ですが、この講演を見て私が一番励まされたのは、彼らが「枯れた基礎を疑って作り直した」という一点でした。Adamも、アテンションも、残差接続も、10年近く誰も本気で置き換えようとしなかった当たり前です。それを、スケーリングの梯子という新しい検証環境を手にした若い会社が、片っ端からひっくり返している。最先端は、巨額の資本や独占的なデータだけで決まるのではなく、「当たり前を疑う姿勢」と「それを厳密に検証できる環境」の掛け算で動く。日本のAI活用にも、同じことが言えると思っています。派手なモデル選びの前に、自社の業務のどの当たり前を疑えるか。そこにこそ、勝ち筋が眠っています。

自社が生成AIやエージェントをどこまで戦略に組み込めているかを一度棚卸ししたい方は、AIリテラシー診断で現在地を測ってみてください。より踏み込んで「自社の業務をどう分解し、どこから自動化すべきか」を一緒に設計したい場合は、AI活用の伴走支援であるWARPや、個別相談からご相談いただけます。フロンティアの動きを、他人事のニュースで終わらせず、自社の意思決定につなげる。それがこの講演から私が受け取った、一番の宿題です。

なお、NVIDIAのAIネイティブ企業リストに日本勢がほとんどいないという話は以前の記事でも書きました。Kimiのような会社が「オープンなのに世界最高峰」を実証している今こそ、日本企業にとっては追いつくための道具がむしろ揃いつつある局面だと、私は前向きに捉えています。


参考文献

本記事は、楊植麟氏のNVIDIA GTC 2026セッション「How We Scaled Kimi K2.5」(S81695)の内容を、公開されている一次情報(arXiv論文・Moonshot AI公式ブログ・GitHub・Hugging Face)と突き合わせて検証しながら構成しています。講演スライドの画像は同セッションからの引用です。数値・固有名詞は各一次ソースに基づきますが、講演での口頭表現と論文の記載が異なる箇所(例:「トークン効率+24%」は論文では「1.25倍の計算優位」)は、一次ソースの表現を優先しました。

Footnotes

  1. Kaplan et al., "Scaling Laws for Neural Language Models", arXiv:2001.08361 (2020). https://arxiv.org/abs/2001.08361

  2. Kingma & Ba, "Adam: A Method for Stochastic Optimization", arXiv:1412.6980 (2014). https://arxiv.org/abs/1412.6980

  3. Keller Jordan, "Muon: An optimizer for hidden layers in neural networks" (2024). https://kellerjordan.github.io/posts/muon/

  4. Liu et al. (Moonshot AI, Kimi Team), "Muon is Scalable for LLM Training", arXiv:2502.16982 (2025). https://arxiv.org/abs/2502.16982

  5. Kimi Team, "Kimi K2: Open Agentic Intelligence", arXiv:2507.20534 (2025). https://arxiv.org/abs/2507.20534 2

  6. Kimi Team, "Kimi Linear: An Expressive, Efficient Attention Architecture", arXiv:2510.26692 (2025). https://arxiv.org/abs/2510.26692

  7. Kimi Team, "Kimi K2.5: Visual Agentic Intelligence", arXiv:2602.02276 (2026). https://arxiv.org/abs/2602.02276

  8. Kimi Team, "Attention Residuals", arXiv:2603.15031 (2026). https://arxiv.org/abs/2603.15031 / https://github.com/MoonshotAI/Attention-Residuals

  9. Moonshot AI, "Kimi K3" 公式技術ブログ (2026). https://www.kimi.com/blog/kimi-k3

あなたのAIリテラシーを測ってみませんか?

5分の無料診断で、AIの理解度からセキュリティ意識まで7つの観点で評価します。

この記事が参考になったらシェア

シェア

メルマガ登録

AI活用やDXの最新情報を毎週お届けします

ご登録いただいたメールアドレスは、メルマガ配信のみに使用します。

無料診断ツール

あなたのAIリテラシー、診断してみませんか?

5分で分かるAIリテラシー診断。活用レベルからセキュリティ意識まで、7つの観点で評価します。

テックトレンドについてもっと詳しく

テックトレンドの機能や導入事例について、詳しくご紹介しています。

関連記事