Open Models

Liquid AI LFM2.5-8B-A1B 發布:38T tokens 訓練的端側 MoE 推理模型

Liquid AI 於 5 月 28 日發布 LFM2.5-8B-A1B:8B 總參數、每 token 約 1B 啟用的端側 MoE 推理模型,預訓練 38T tokens、128K 上下文,MATH500 達 88.76,手機上每秒約 30 tokens。

Liquid AI LFM2.5-8B-A1B 發布:38T tokens 訓練的端側 MoE 推理模型 — 文章封面
本頁內容7 個段落
  1. 從 12T 到 38T:三階段訓練管線
  2. 基準分數:工具呼叫與推理的大幅躍進
  3. 「只推理」的設計取捨
  4. 效能數字:CPU 上的每秒 253 tokens
  5. 授權的細節值得注意
  6. 對端側 AI 開發者的意義
  7. 參考來源

2026 年 5 月 28 日,Liquid AI 發布 LFM2.5-8B-A1B 與 Base 版本:總參數 8B、每 token 啟用約 1B 的稀疏 MoE 模型,接替 LFM2-8B-A1B。定位是跑在手機、筆電與邊緣裝置上的「裝置內個人助理」,主打工具呼叫與 agentic 工作流程,回答前會先生成明確思考鏈。

這次改版的重點不是模型變大,而是訓練量暴增:預訓練從 12T tokens 拉到 38T,上下文從 32,768 擴到 128K。本地模型與雲端的差距正以另一種方式縮小——不靠堆參數,而靠資料與訓練分工。

從 12T 到 38T:三階段訓練管線

訓練分三個階段:第一階段是 38T tokens 的預訓練;第二階段是 2T tokens 的中期訓練,聚焦推理、數學、工具使用與長文件,先把上下文推到 32K;第三階段再加 400B tokens,並提高 RoPE base θ,把上下文擴到 128K。詞表也從 65,536 擴到 128K BPE tokens,並採原地擴充。

強化學習有兩個設計值得注意:一是針對「doom loops」(模型原地打轉)做偏好最佳化;二是 avg@k 獎勵——同一題抽樣多次,以答案一致性計獎,壓低幻覺。

基準分數:工具呼叫與推理的大幅躍進

與前代 LFM2-8B-A1B 相比(舊 → 新):

  • IFEval:79.44 → 91.84
  • MATH500:74.80 → 88.76;AIME25:20.00 → 42.53,AIME26 達 50.00
  • BFCLv3:45.07 → 64.36;BFCLv4:25.52 → 48.50
  • Tau² Telecom:13.60 → 88.07;Tau² Retail:7.02 → 39.82
  • 非幻覺率(Non-Hallucination Rate):7.46 → 63.47

工具呼叫相關的 BFCL 與 Tau² 漲幅最大,與裝置內代理的定位一致。詞表擴充讓 16 種語言的 tokenizer 效率明顯改善:泰文 +238.2%、印地文 +120.4%、越南文 +117.9%、阿拉伯文 +38.8%。

「只推理」的設計取捨

LFM2.5-8B-A1B 是「reasoning-only」模型:回答前先生成明確的思考鏈。好處是數學與多步驟任務直接受惠,幻覺率也壓得下去;代價是延遲與 token 消耗增加。在端側場景這是大膽選擇——手機使用者對速度最敏感——但 Liquid AI 顯然認為回答品質值得這個代價。

效能數字:CPU 上的每秒 253 tokens

官方推理數字:Apple M5 Max 的 CPU 上每秒 253 tokens;AMD Ryzen AI Max+ 395 上每秒 146 tokens、記憶體佔用低於 6GB;手機上約每秒 30 tokens。GPU 側,單張 H100 SXM5 在高併發下每秒輸出 18.5K tokens,一天超過 16 億 tokens。

架構維持混合設計:稀疏 MoE 加上 GQA 與 gated short convolution 區塊;Hugging Face 模型卡標示 24 層(18 層 convolution、6 層 GQA)、總參數 8.3B、每 token 啟用 1.5B。

授權的細節值得注意

權重已上架 Hugging Face(LiquidAI/LFM2.5-8B-A1B),提供 GGUF、ONNX 與 MLX 格式,官方說法是「下載、微調、部署,沒有限制」。但模型卡標示的授權是 Liquid 自訂的 LFM 1.0 條款,而非 Apache 2.0——放進商業產品前值得先讀一遍。

對端側 AI 開發者的意義

三點觀察。第一,128K 上下文進入手機級模型:長文件、多輪對話與本地 RAG 變得實際可行。第二,工具呼叫能力(BFCLv4 達 48.50)已足以認真考慮「本地代理」,且 llama.cpp、vLLM、SGLang 等主流框架第一天就支援。第三,約 1B 啟用的 MoE 證明「啟用量」比「總參數」更決定端側體驗——對硬體選型與續航都是好消息。

參考來源

本文由 AI 協助自上述來源整理,經人工審核後發布。

這篇內容對你有幫助嗎?

支持本站繼續整理實用的 AI 文章、教學與開發筆記。

請我喝杯咖啡
分享X電郵