Inkling 2 Small 是什麼｜權重公開前先掌握效能、體積與評估重點

大家好，我是株式會社 TIMEWELL 的濱本。2026 年 11 月 5 日，Thinking Machines Lab 發表了新模型「Inkling 2 Small」¹。最先要告訴各位的是，這對日本企業很重要的一點：權重還沒有公開。官方寫的是「在外部安全測試與紅隊演練之後，打算於下週以 Apache 2.0 公開權重」。截至 2026 年 11 月 6 日，目前只是在名為 Tinker 的平台上以封閉權重提供¹。

本文逐一閱讀官方發表文、模型卡、第三方評測，以及該公司既有模型在 Hugging Face 上的資訊，回答四個問題。進步到什麼程度？有多重？為什麼日本會出現「想要中國以外的開放權重模型」的聲音？權重公開後最先要確認什麼？我設想的讀者是資訊系統、採購、法務的同仁，以及制定 AI 運用方針的經營者。

摘要 Inkling 2 Small 是總參數 5,940 億（594B）、每個 token 僅使用 170 億（17B）的 MoE 模型，以 NVFP4（4 位元浮動小數）原生預訓練。它在 Artificial Analysis 智慧指數 v5.0.1 為 31，高於我能確認的中國以外開放權重模型 Mistral Large 4（26）。但權重尚未公開，官方也沒有寫明將公開的權重精度與檔案大小。從該公司既有模型來推估，4 位元系列大約在 300GB 等級，個人電腦無法執行。請把本文當作公開後會更新的文章來閱讀。

先掌握的名詞

專業名詞接連出現，先用表格整理。讀到一半迷路時請回到這裡。

名詞	意思	比喻
開放權重	公開訓練完成的參數（權重），任何人都能在自己的環境中執行的模型。與連原始碼、訓練資料都公開的「開源」不同	拿到的是完成的料理（冷凍包），而不是完整食譜
MoE（專家混合）	準備大量專家，針對每次輸入只呼叫其中一部分的架構	大型醫院裡，依症狀只有幾位專科醫師來看診
總參數與啟用參數	總參數是整個模型的零件數。啟用參數是處理一個 token 時實際用到的數量	醫院所有醫師的人數，與當天實際看診的醫師人數
NVFP4	NVIDIA 的 4 位元浮點數格式。一個數字只用 4 位元表示，可大幅減少記憶體	把高畫質照片轉成較輕的格式，外觀仍維持
上下文	模型一次能讀取的量，單位是 token（文字片段）	桌面的大小。越大越能攤開更多資料
Apache 2.0	廣泛允許商業使用與修改的代表性授權，另有專利條款	使用自由度高的授權
Tinker	Thinking Machines Lab 提供的微調與推論平台	該公司的「廚房」，模型先在這裡提供

關於開放權重，再補充一個常見的誤解。即使權重已公開，授權條件仍因模型而異。有的對商業使用沒有限制，有的在超過一定規模後要求另訂契約。本次模型在模型卡上目前的授權寫的是 Tinker Terms of Use，Apache 2.0 還只是「打算公開」的階段。請在公開後閱讀條文原文，再做確認。

發表了什麼？閱讀官方數字

Inkling 2 Small 是該公司的第二代，承接先前的 Inkling 與 Inkling-Small¹。依模型卡，它是 48 層的解碼器型 Transformer，採 MoE 架構，每個 token 從 384 位專家中選 8 位。注意力機制混合了局部與全域層，輸入為文字與影像，輸出僅有文字，不支援語音。上下文最長 100 萬 token，影像編碼器為 2.92 億參數（以 Perception Encoder 為基礎）¹²。

官方對訓練的描述如下¹。

階段	內容
H1（預訓練）	8.4 兆 token。GB300 NVL72 上 68 小時。以 NVFP4 原生訓練
H2	3.8 兆 token。上下文 512K
H3	約 3,200 億 token。推理與代理（agent）軌跡，上下文 1M
H4	約 340 億 token。高品質的代理軌跡
強化學習	1,075 步、超過 1,700 萬次 rollout、9 天、2,048 顆 GPU

值得注意的是強化學習任務的配比。以 rollout 比例計，程式撰寫占 38.5%，工具使用與通用代理占 17.1%，影像占 13.9%，辦公與知識工作占 9.1%¹。也就是說，訓練的重心是利用工具把工作做完，而不是擅長閒聊。

另一項紀錄請不要略過。官方寫道，H4 約 340 億 token 主要來自先前的模型（包含 Kimi K3 與 Inkling 系列模型）所產生的軌跡，再經正確性與一致性篩選¹。向交易對象說明模型的來歷時，必須在已揭露的範圍內，正確掌握「訓練可能用到多個模型的輸出」這件事。我認為這無關好壞，只是確認一個事實：來歷的說明很少一句話就能說完。

以下列出官方頁面的代表性數字，皆為開發商自行評測¹。

領域	指標	數值
綜合	Vals Index	56.1%
程式	DeepSWE v1.1	72.1%
程式	SWEBench Pro v2（Hard）	86.3%
代理	MCP Atlas（Full）	85.4%
影像	MMMU Pro	81.6%
影像	ScreenSpot Pro	83.8%（搭配 Python 為 91.5%）
推理	HLE-Diamond	28.7%
長文	AA-LCR v1.1	83.3%
長文	LongBench v2	70.6%
事實性	AA-Omniscience 非幻覺率	73.3%

數字排起來顯得很強，但同一頁也有偏低的數字。FrontierCode v2.0 為 25.4%，會計題目 Apex-Accounting v1.1 為 14.5%，Terminal Bench Science 為 5.7%¹。坦率的解讀是：擅長程式、工具使用與影像判讀，而困難的會計與長時間的科學作業仍然偏弱。

在第三方評測中位於何處

光看開發商的數字無法判斷，所以來看獨立評測機構。Artificial Analysis 是公布模型智慧指數（Intelligence Index）的第三方評測網站。我在 2026 年 11 月 6 日確認，Inkling 2 Small 在 v5.0.1 為 31，在 29 個比較模型中排第 4，同級別的中位數為 23³。這與官方頁面的 31，以及 v5.0 表中的 30.6 一致¹。

同一天，該網站的開放權重模型榜單（指數 v5.0.1）如下⁴。

模型	開發商所在地	指數
Kimi K3.1 Pro	中國	46
DeepSeek V4.1 Flash（Max）	中國	33
GLM-5.3（Max）	中國	32
Inkling 2 Small（參考。該網站標示為未公開權重）	美國	31
Mistral Large 4（High）	歐洲	26
Qwen3.8 27B（Xhigh）	中國	20

開發商所在地一欄並非該網站的標示，而是依各公司一般所知的所在地所做的我個人整理。這張表能說明與不能說明的事，我明確寫下。Inkling 2 Small 的 31 高於榜單上我能確認的中國以外開放權重模型 Mistral Large 4 的 26。因此可以說「權重公開後，預期會是中國以外最高的指數」。但不能說「勝過所有中國的開放權重模型」。Kimi K3.1 Pro 為 46，DeepSeek V4.1 Flash 與 GLM-5.3 為 32 至 33，都高於 31。此外，該網站目前仍顯示 Inkling 2 Small 未公開權重，榜單也僅限我能確認的範圍。請在公開後重新比較。

促成本文的第三方解說還提到「比前一代提升 18 分」與「與 Gemini 3.8 Flash 相當」。就我能確認的範圍，指數版本不同（前一代 Inkling Small 在另一個版本顯示為 40），因此無法在同一把尺上計算差距。因為無法確認，本文不採用。

還有一項特徵不容易反映在指數上。依同一網站，執行指數評測所用的輸出 token 為 1.54 億，中位數為 8,980 萬；每個任務耗時 18.5 分鐘，中位數為 7.0 分鐘³。官方的限制說明也寫到「不夠簡潔」¹。輸出越長、耗時越久，以 token 計費時費用就越高，等待時間也越長。請把效能與營運成本分開看。

權重有多大？區分確切事實與作者的計算

最常被問到的是「到底有多大」。結論是官方頁面沒有寫檔案大小。模型卡中權重大小欄為「未記載」，硬體需求同樣未記載²。因此我把確切事實與自己的計算分開。

確切的事實如下。總參數為 594B，以 NVFP4 原生預訓練。支援的數值格式是 MXFP8 與 NVFP4，另外也準備了 NVFP4 版的 KV 快取（保存長上下文的區域），官方表示對評測的影響很小¹²。將公開的權重精度與檢查點大小尚未公布。

以下不是官方數字，而是我的計算（推估）。權重大小基本上等於參數量乘以每個參數的位元組數。

精度	每個參數	計算	僅權重的估計
4 位元（NVFP4 等）	約 0.5 位元組	594B × 0.5	約 297GB。加上縮放係數等附帶資料，可能多出數成
8 位元（FP8 等）	約 1 位元組	594B × 1	約 594GB
BF16	約 2 位元組	594B × 2	約 1.19TB

影像編碼器的 2.92 億參數，在這個規模下屬於誤差範圍。

用實例佐證。該公司既有模型已公開在 Hugging Face。依模型頁面的標示，Inkling 的 NVFP4 版總參數為 975B，檔案合計約 592GB；Inkling-Small 的 NVFP4 版為 276B，約 171GB⁵⁶⁷。兩者都含有加速預測的輔助檔案。換算下來，每個參數略高於 0.6 位元組。比理論值 0.5 大，推測是縮放係數，以及部分沒有降到 4 位元的部分所致。把這個比例套用到 594B，約為 360GB 上下。但這只是與既有模型的類推。Inkling 2 Small 的實際數值，請在公開後從檔案清單確認。

新手最容易搞混的是 MoE 的「啟用 17B」。整理常見的誤解如下。

常見誤解	實際情況
啟用 17B，所以記憶體需求和 17B 模型差不多	記憶體由總參數 594B 決定。每次輸入選到的專家不同，所以全部都得放在記憶體（或能立即讀取的地方）
啟用參數少，所以整體很輕	變輕的只是每個 token 的運算量，存放空間並不會變小
4 位元就能放進家用電腦	即使 4 位元，光權重就在 300GB 等級，而且上下文越長 KV 快取越大。若要用到 100 萬 token，這塊區域也很大

對實務的含意有三點。第一，這不是個人電腦或單台一般 GPU 伺服器跑得動的規模。第二，日本企業若要自行營運，需要搭載多顆 GPU 的伺服器，多數人實際的選項會是雲端推論服務或專用部署。第三，具體的 GPU 數量與配置，官方沒有記載，所以我不下定論。NVFP4 的原生運算也可能以特定世代的 GPU（NVIDIA 的 Blackwell 世代）為前提。這同樣是我的推測，需要對照官方資料。公開後，以實測和推論引擎的支援表來確認最可靠。

讀到這裡，也許有人會想：若需要在日本境內處理，能放在哪裡？雲端上各模型的實際可用情形，以及法規真正要求的內容，我在〈能在日本境內的雲端區域執行 LLM 嗎〉（日文）中整理過。透過推論服務使用開放權重模型時的設定與處理地點的實況，則在Hermes Agent 的使用方式中，以 Fireworks 為例說明。

日本企業為什麼尋求中國以外的開放權重模型

接下來是解讀。我認為在日本，尋求中國以外開發的開放權重模型的聲音會增加。我把理由整理成企業的要求條件。這並不是說某個國家的模型較差，或不可信。事實上，如前面的表所示，有些中國模型的指數比這個新模型更高。

要求條件通常出現在下列情況。

要求的類型	具體例子
採購條件	交易對象或委託方以書面詢問所使用 AI 模型的開發商與所在地，招標或規格書中列有條件
契約	客戶契約或保密協議要求就資料處理或供應鏈作出聲明
公司內部治理	資訊安全規範或 AI 使用方針中訂有可用模型的條件
來歷是否容易說明	是否備有能向稽核或交易對象說明訓練資料、衍生關係與授權沿革的資料
資料所在地	推論在哪裡執行、紀錄留在哪裡。有些專案要求在日本境內處理

簡單說，有些場合會依模型好壞以外的標準縮小選擇。過去若想在滿足這類條件的同時追求高效能，可選的模型範圍可能很窄。如果 Inkling 2 Small 公開權重，這個範圍就多了一個選項。變寬的是「可選擇的範圍」，並不是在判定哪一個才正確。

要記住的是，單靠「開發商所在國」並不能決定要求條件。如前所述，依該公司說明，Inkling 2 Small 的訓練也用到了 Kimi K3 的輸出¹。因此請先用文字寫清楚，貴公司的要求究竟是開發商所在地、訓練資料與衍生關係的說明、推論地點，還是其他事項。要求條件模糊，只憑模型的國籍判斷，可能會與實態脫節。

我認為無論是哪個國家的模型，都應該對照自家的要求條件來判斷。如果要求條件有好幾項，選項增加本身就值得歡迎。交易對象各自提出不同條件的企業，採用可同時使用多個模型、並能替換的設計比較實際。可替換的設計對成本也有幫助，這部分我在降低 AI 程式代理成本的五個方法中整理過。

官方寫明的限制，與實務上最先確認的事

整理優缺點。該公司自己列出的限制包括：不夠簡潔、在技能很多的程式庫中有時選不出最適合的工具、不支援語音、聊天用途的最佳化較弱（大量使用斜線，以及對心理健康話題反應過度），以及在一致性評測上不及封閉的 GPT-6.1 Sol¹。官方還說，早期的檢查點曾出現捏造結果、無視指令、隱瞞行為的情形，已透過訓練處理¹。模型卡另外列出幻覺、指令遵循不精確、長時間多輪對話較弱、語言與方言之間的表現差異，並指出醫療、法務與安全相關用途需要額外的微調、驗證與人工確認²。

對日本企業而言，最重要的是最後一項「語言之間的表現差異」。模型卡把語言寫成「英語，另有一般的多語言支援」²。日語的實力無法從官方數字判讀，只能用自家文件實測。

那麼，公開後要先確認什麼？我建議照下列順序。

1. 閱讀授權條文原文。是否成為 Apache 2.0，有沒有附加條件（使用條款或限制）。也要確認模型卡不再寫著 Tinker Terms of Use。
2. 從檔案清單確認公開權重的精度與檔案大小。本文推估的 300GB 等級是否正確，也能在這裡對答案。
3. 決定推論環境的候選。推論引擎的支援情形、所需的 GPU 世代與數量，以及雲端推論服務是否存在、在何處處理。數量與配置，請依官方資料與實測來決定。
4. 同時從契約與設定兩方面，確認貴公司的資料不會被用於訓練。若使用推論服務，要閱讀日誌保存與資料處理的條件。
5. 用小題材試用。例如不含個資與機密的公司內部文件摘要、例行調查、小幅程式修正。先訂好正確答案的標準，並以同一題材與現行模型比較。
6. 決定評測方式。準備 10 至 30 個實際業務案例，不只記錄對錯，也記錄輸出長度、耗時與費用。這個新模型的輸出偏長，所以記錄費用與時間特別重要。

微調的容易程度也值得關注。官方表示，在相同的後訓練任務上，學習速度比 Inkling 與 Inkling-Small 更快，在金融摘要的題材上，以 75 個訓練步驟就達到 Inkling-Small 的最終表現¹。對考慮用自家資料微調的企業，這是個參考材料，但這同樣是開發商自行評測。

另外，截至本文，權重的公開仍是計畫，尚未實現。公開之後，我打算把體積、授權與第三方評測補進本文並更新。

總結與下一步

整理重點。

• Inkling 2 Small 是 594B、啟用 17B 的 MoE，以 NVFP4 原生預訓練，支援影像輸入。
• 第三方評測（指數 v5.0.1）為 31，高於我能確認的中國以外開放權重模型 Mistral Large 4（26）。部分中國模型的指數更高。
• 權重預定下週公開，截至 2026 年 11 月 6 日尚未公開。目前的授權標示是 Tinker Terms of Use。
• 權重大小官方未載明。我的推估是 4 位元時在 300GB 等級。記憶體由總參數決定，個人電腦跑不動。
• 公開後，請依序確認授權條文、檔案大小、推論環境，以及小規模的實測。

今天就能做的準備，是在接觸新模型之前，先把自家的要求條件寫成文字。請做一張表，列出交易對象實際詢問的是開發商所在地、訓練與衍生關係的說明、推論地點，還是資料處理方式。這樣一來，公開後該確認什麼就清楚了。模型之後還會不斷增加。擁有自己的判斷軸，而不是依賴模型名稱，是最持久的準備。

在我們的 ZEROCK，承諾只使用不會把客戶資料用於訓練的模型。必須在日本境內處理的專案，則在個別合約中協商。若您有興趣，歡迎參閱 ZEROCK 頁面，或透過個別諮詢與我們聊聊。

Footnotes

1. Thinking Machines Lab，「Inkling 2 Small」發表文（2026 年 11 月 5 日發表，2026 年 11 月 6 日確認） — https://thinkingmachines.ai/news/inkling-2-small/ ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹ ↩¹² ↩¹³ ↩¹⁴ ↩¹⁵ ↩¹⁶

2. Thinking Machines Lab，「Inkling 2 Small Model Card」（2026 年 11 月 6 日確認） — https://thinkingmachines.ai/model-card/inkling-2-small/ ↩ ↩² ↩³ ↩⁴ ↩⁵

3. Artificial Analysis，「Inkling 2 Small」（Intelligence Index v5.0.1，2026 年 11 月 6 日確認。第三方彙整） — https://artificialanalysis.ai/models/inkling-2-small ↩ ↩²

4. Artificial Analysis，開放權重模型榜單（Intelligence Index v5.0.1，2026 年 11 月 6 日確認。第三方彙整，每日更新） — https://artificialanalysis.ai/models/open-source ↩

5. Hugging Face，「thinkingmachines」組織頁面（2026 年 11 月 6 日確認） — https://huggingface.co/thinkingmachines ↩

6. Hugging Face，「thinkingmachines/Inkling-NVFP4」模型頁面與檔案清單（標示 Apache-2.0，總計 975B，儲存庫合計約 592GB，2026 年 11 月 6 日確認） — https://huggingface.co/thinkingmachines/Inkling-NVFP4 ↩

7. Hugging Face，「thinkingmachines/Inkling-Small-NVFP4」模型頁面與檔案清單（總計 276B，儲存庫合計約 171GB，2026 年 11 月 6 日確認） — https://huggingface.co/thinkingmachines/Inkling-Small-NVFP4 ↩