オープンソースAI「ZGCM-1」公開、7Bの小型モデルで超大型モデルの推論性能に迫る

57日前0 回qa

ZGCM — DB Schenker's class 66 (JT42CWR) number 66001 painted in Deutsche Bahn cherry red works 4E — 사진: Train Photos · Wikimedia Commons · CC BY-SA 2.0

Jiyan He（ジエン・ホー）氏らの研究チームは2026年9月11日、完全オープンソースの7B高密度基盤モデル「ZGCM-1」を発表しました。事前学習の損失到達時間を約4.2倍短縮し、最大256Kのコンテキスト長に対応。数学的推論や検索ベンチマークにおいて、235B規模の超大型モデルに匹敵する性能を実証しました。

3行でわかる

2026年9月11日、Jiyan He氏ら22名の研究陣が完全オープンな7B基盤モデル「ZGCM-1」をarXivで公開しました。
16K損失到達時間を約4.2倍短縮し、コンテキスト長は16Kから256Kへと16倍に拡張されています。
約33.6倍のパラメータ数を持つQwen3-235B-A22Bに対し、数学推論や検索タスクで同等の性能を達成しました。

Q&A

Q1: ZGCM-1とはどのようなモデルですか？

A1: ZGCM-1は、Jiyan He氏ら22名の研究陣が開発した7B（70億パラメータ）の高密度基盤モデルです。モデルの重みだけでなく、中間チェックポイント、訓練コード、データレシピ、W&B（Weights & Biases）ログまで含めて全工程が完全オープンソースとして公開されています [1]。

Q2: 超巨大モデルと比べて性能はどの程度ですか？

A2: 数学推論やエージェント検索ベンチマークにおいて、235Bパラメータを持つ「Qwen3-235B-A22B」などの超大型モデルと同等の性能を記録しています。パラメータ規模の比較では235B ÷ 7B = 約33.57倍となり、ZGCM-1は約33.6倍大きいモデルに匹敵する推論能力を発揮しています。

Q3: 開発においてなぜ効率性が重視されたのですか？

A3: 超巨大モデルは莫大な計算コストとメモリ制限をもたらすためです。研究陣は「小型モデルはWeb全体の受動的な暗記はできないが、計画的な内部思考と能動的な外部ツールの活用を組み合わせることでパラメータ容量の限界を克服できる」と明記し、規模拡大ではなく構造と学習工程の効率化を選択しました [1, 2]。

Q4: 事前学習やコンテキスト長の拡張はどのように改善されましたか？

A4: 事前学習段階において、アーキテクチャの改善により16K損失到達時間（time-to-loss）の効率が従来と比べ約4.2倍向上しました。また、コンテキスト長は16Kから64Kを経て最大256Kまで、16倍（256K ÷ 16K = 16）に順次拡張されています。

Q5: 企業の開発環境やコストにはどのような影響がありますか？

A5: 高額なクラウドAPIを利用する代わりに、自社インフラやオンプレミス環境に7Bモデルを直接配備できるようになります。訓練コードや全段階のチェックポイントが公開されているため、外部依存なしに自社データに合わせたファインチューニングを行うことが可能です。

数字で見るZGCM-1の仕様と効率

ZGCM-1と超大型モデルの主要スペックの比較は以下の通りです。

比較項目	ZGCM-1-7B	Qwen3-235B-A22B
パラメータ規模	7B	235B
サイズ倍率（基準比）	1.0倍	約33.6倍（約33.57倍）
公開範囲	重み・コード・データレシピ全面公開	非公開
対応コンテキスト長	最大256K	非公開

公開日: 2026年9月11日（arXiv cs.AI）
研究陣: Jiyan He氏ほか21名
事前学習の効率化: 16K損失到達時間を約4.2倍短縮
コンテキスト拡張率: 16倍（16Kから256Kへ順次拡大）

まとめ

研究チームは、ZGCM-1の事前学習、ミッドトレーニング、ポストトレーニングの各段階のモデル重み、学習コード、データセットレシピ、W&B実験ログをすべて公開しました。報告書には、アーキテクチャ拡張や教師あり微調整（SFT）の品質プルーニング、長文脈汎化など開発ライフサイクル全体から得られた8つの実証研究結果が収録されています。今後は、エージェントスウォームがクラスタ運用とデータキュレーションを自律管理する体制を基盤として、後続の研究開発が進められる見通しです [1]。