ZGCM-1 vorgestellt: Quelloffenes 7B-Modell schließt zu extrem großen KI-Systemen auf

Ein Forschungsteam um Jiyan He hat am 11. September 2026 das vollständig quelloffene 7B-Basismodell ZGCM-1 präsentiert. Das Modell verkürzt die Zeit bis zum Erreichen des 16K-Vortrainingsverlusts um das rund 4,2-Fache, unterstützt Kontextlängen von bis zu 256K und erreicht bei mathematischer Inferenz sowie agentischer Suche Leistungen auf dem Niveau von Großmodellen wie Qwen3-235B-A22B.

Background

Die Entwicklung moderner Systeme für künstliche Intelligenz stößt zunehmend an Grenzen bezüglich Rechenaufwand und Speicherbedarf. Extrem große Modelle verursachen erhebliche Rechenkosten, weshalb die Systemeffizienz in den Fokus rückt. Effizienz bezeichnet hierbei die messbare Eigenschaft, Fehler, Material, Energie, Aufwand, Kosten und Zeit bei der Ausführung einer Aufgabe zu minimieren [2]. Das Ziel besteht darin, innerhalb begrenzter Rechenkapazitäten einen maximalen Ertrag zu erzielen und finanzielle Belastungen zu senken.

Vor diesem Hintergrund veröffentlichte ein Team aus 22 Forschenden um Jiyan He (지옌 허) am 11. September 2026 auf arXiv (cs.AI) das dichte Basismodell ZGCM-1 mit 7 Milliarden Parametern (7B) [1]. Die Forschenden formulierten den Ansatz, dass kleinere Modelle zwar nicht das gesamte offene Web passiv memorieren können, die Grenzen ihrer Parameterkapazität jedoch durch eine Kombination aus planvollem internen Denken und aktiver externer Werkzeugnutzung überwinden können. Statt das Modell rein über die Parameterzahl zu vergrößern, konzentrierte sich das Projekt auf architektonische Optimierungen und effiziente Trainingsabläufe.

Key figures

Die Leistungsdaten und Parameterunterschiede von ZGCM-1 im Vergleich zu Großmodellen basieren auf exakten Messwerten:

Die mathematische Analyse der Kennzahlen umfasst folgende Kernpunkte:

• Größendifferenz: Mit 235 Milliarden Parametern gegenüber 7 Milliarden Parametern ist das Modell Qwen3 rund 33,57-mal größer (235B ÷ 7B = ca. 33,57).
• Kontextskalierung: Die Kontextlänge wurde von 16K über 64K bis auf 256K erweitert, was einer 16-fachen Skalierung entspricht (256K ÷ 16K = 16).
• Vortrainingseffizienz: Die Dauer bis zum Erreichen des 16K-Verlustwerts (Time-to-Loss) verringerte sich im Vergleich um den Faktor 4,2.
• Offenlegungsrahmen: Bereitgestellt wurden alle Modellgewichte, Zwischen-Checkpoints, Trainingsskripte, Datensatz-Rezepte und Protokolle aus Weights & Biases (W&B).

Impact

Die Veröffentlichung ermöglicht es Softwareentwicklern und Unternehmen, Inferenzsysteme auf Enterprise-Niveau mit einem 7B-Modell eigenständig aufzusetzen, anstatt auf externe Modelle mit Hunderten Milliarden Parametern angewiesen zu sein. Durch den Einsatz kompakter Modelle auf eigener On-Premises- oder Cloud-Infrastruktur lassen sich Schnittstellengebühren für proprietäre Cloud-APIs vermeiden.

Da das Forschungsteam sämtliche Stufen – von den Trainingsdaten-Rezepten über den Code bis hin zu den W&B-Logs – bereitgestellt hat, können Organisationen die Modellgewichte ohne externe Abhängigkeiten vollständig nachvollziehen und für spezifische Einsatzbereiche feinabstimmen.

Outlook

Seit dem 11. September 2026 sind die Gewichte für alle Phasen – Vortraining, Zwischentraining und Nachtraining – öffentlich zugänglich. Der veröffentlichte Forschungsbericht dokumentiert acht empirische Studien entlang des gesamten Entwicklungszyklus, einschließlich Modellaspekten wie Architekturskalierung, Qualitätsfilterung bei überwachtem Feintuning (Supervised Fine-Tuning, SFT) und Generalisierung langer Kontexte.

Für künftige Arbeiten hat das Team ein operatives System aufgesetzt, bei dem ein Verbund autonomer Agenten (Agent Swarm) den Betrieb der Servercluster sowie die Kuration der Trainingsdaten eigenständig verwaltet.

Quellen

1. ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search — arXiv cs.AI 신규 논문
2. Efficiency — Wikipedia (en)