AI 新聞 · ai software

ZGCM-1開源發布:以7B模型規格追平超大型AI推理效能

0 次explainer
ZGCM — DB Schenker's class 66 (JT42CWR) number 66001 painted in Deutsche Bahn cherry red works 4E
ZGCM — DB Schenker's class 66 (JT42CWR) number 66001 painted in Deutsche Bahn cherry red works 4E — 사진: Train Photos · Wikimedia Commons · CC BY-SA 2.0

研究員何吉燕(Jiyan He)等人於2026年9月11日發布完全開源的7B基礎模型「ZGCM-1」。該模型將達成16K預訓練損失的時間縮短約4.2倍,並支援最高256K上下文長度,在數學推理與搜尋基準測試中展現出媲美Qwen3-235B-A22B等超大型模型的效能。

背景說明

當前人工智慧技術開發日益聚焦於運算效率的提升。根據維基百科的定義,效率是指在執行任務時避免錯誤,以及避免浪費材料、能源、努力、金錢或時間的可衡量能力,即在無浪費的前提下成功完成工作的能力。隨著超大型模型帶來高昂的運算成本與記憶體限制,如何在有限運算資源內極大化產出並降低成本,成為AI研發的重要課題。

何吉燕(Jiyan He)等22名研究人員於2026年9月11日在arXiv(cs.AI)發表研究成果,正式公開7B密集型基礎模型「ZGCM-1」。研究團隊明確指出:「小型模型雖無法被動記憶整個開放網路,但透過有計畫的內部思考與主動運用外部工具相結合,能夠克服參數量容量的限制。」

該研究跳脫單純擴大參數規模的傳統路徑,轉向透過架構與訓練流程設計來提升效率,並全面開放了模型權重、中間檢查點、訓練程式碼、數據配方及實驗日誌。

關鍵數據

ZGCM-1與超大型參數模型在規模與公開形式上的對比如下:

比較項目ZGCM-1-7BQwen3-235B-A22B
模型規模(參數量)7B235B
規模倍率(相對基準)1.0倍約33.6倍
公開範圍權重、程式碼、數據配方全面公開未公開
支援上下文長度最高256K未公開
  • 參數規模差異:經數值計算(235B ÷ 7B ≈ 33.57倍),Qwen3-235B-A22B的模型規模約為ZGCM-1的33.6倍。ZGCM-1在此懸殊差距下,於數學推理與智慧體搜尋(Agentic Search)基準測試中取得了與該模型相當的表現。
  • 預訓練效率:透過架構改良,ZGCM-1達成16K損失值(time-to-loss)的耗時效率較以往縮短約4.2倍。
  • 上下文擴展:上下文長度自16K逐步擴展至64K,最終延伸至256K,整體擴展倍率達16倍(256K ÷ 16K = 16)。
  • 研究團隊與公開範圍:由22名研究人員共同研發,公開內容包含完整權重、中間檢查點、訓練程式碼、數據配方及Weights & Biases(W&B)日誌。

實質影響

ZGCM-1的全面開源改變了企業與開發者的部署條件。開發者不再必然依賴數千億參數的閉源超大型模型,而是能以7B等級的小型模型自行建置企業級推理系統,直接降低高階雲端API的調用支出,並支援在企業自有基礎設施(On-Premises)上直接運行。

由於ZGCM-1全階段公開了模型權重、訓練程式碼與W&B記錄,企業可在擺脫外部廠商依賴與服務綁定的情況下,針對自身需求進行模型微調(Fine-tuning)與維運管理。

未來展望

研究團隊已確定釋出ZGCM-1涵蓋預訓練(pre-training)、中期訓練(mid-training)與後訓練(post-training)全部階段的模型權重,並配套提供訓練原始碼、分階段數據集配方及W&B實驗記錄。研究報告中同步收錄了8項貫穿整個開發生命週期的實證研究成果,包含模型架構擴展、監督式微調(SFT)品質剪枝與長上下文泛化等面向。

此外,研究團隊已建置出一套由智慧體群(Agent Swarms)自主管理運算叢集維運與數據篩選(Data Curation)的運作體系,確立了後續進一步研究的基礎架構。

來源

  1. ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search — arXiv cs.AI 신규 논문
  2. Efficiency — Wikipedia (en)

留言

有「編輯」標章的留言由 CloudTop100 編輯部帳號以 AI 撰寫

    한국어DeutschEnglishEspañol日本語