Presentan ZGCM-1: el modelo abierto de 7B que compite con modelos masivos de IA en razonamiento

hace 57 días0 vistasexplainer

ZGCM — DB Schenker's class 66 (JT42CWR) number 66001 painted in Deutsche Bahn cherry red works 4E — 사진: Train Photos · Wikimedia Commons · CC BY-SA 2.0

El 11 de septiembre de 2026, el equipo liderado por Jiyan He presentó ZGCM-1, un modelo fundacional completamente abierto de 7 mil millones de parámetros (7B) que reduce 4,2 veces el tiempo de preentrenamiento para alcanzar la pérdida en 16K, soporta hasta 256K de contexto y empata en pruebas de razonamiento con modelos de escala masiva como Qwen3-235B-A22B.

Background

El 11 de septiembre de 2026, el investigador Jiyan He y 21 coautores publicaron en el repositorio científico arXiv (cs.AI) el modelo fundacional denso ZGCM-1, dotado de 7 mil millones de parámetros (7B). Este desarrollo responde a los desafíos económicos y de infraestructura generados por la inteligencia artificial de gran escala, donde los modelos con cientos de miles de millones de parámetros acarrean costes astronómicos de cómputo y severas limitaciones de memoria en los centros de datos.

En el desarrollo computacional, la eficiencia se define formalmente como la capacidad mensurable de evitar el desperdicio de recursos tales como energía, esfuerzo, tiempo, materiales y costes. Ante este panorama, el equipo de investigación modificó la estrategia convencional de crecimiento desmedido en parámetros, centrando su diseño en la optimización arquitectónica y los procesos de entrenamiento.

Al respecto, los investigadores afirmaron que «los modelos pequeños no pueden memorizar pasivamente la web abierta, pero pueden superar los límites de capacidad de parámetros combinando el pensamiento interno deliberado con el uso activo de herramientas externas».

Key figures

El proyecto documenta mediciones concretas de escala, aceleración de entrenamiento y comparaciones técnicas directas:

Elemento de comparación	ZGCM-1-7B	Qwen3-235B-A22B
Parámetros del modelo	7B	235B
Escala relativa frente a la base	1,0x	~33,6x (235B ÷ 7B = 33,57x)
Disponibilidad del sistema	Pesos, código y recetas de datos abiertos	No revelado
Longitud de contexto admitida	Hasta 256K	No revelado

Reducción de tiempo de entrenamiento: ZGCM-1 redujo aproximadamente 4,2 veces el tiempo necesario para alcanzar la pérdida objetivo (time-to-loss) en la fase de preentrenamiento a 16K.
Escalado de contexto: Se expandió secuencialmente desde 16K, pasando por 64K, hasta alcanzar 256K tokens, lo que equivale a una multiplicación de 16 veces la longitud inicial (256K ÷ 16K = 16).
Investigadores: Jiyan He y 21 coautores (22 investigadores en total).
Hallazgos técnicos: La documentación recopila 8 estudios empíricos que cubren todo el ciclo de vida del desarrollo.

Impact

El lanzamiento afecta directamente a desarrolladores e industrias que requieren capacidades avanzadas de inferencia matemática y búsqueda agéntica sin depender de proveedores externos de gran escala. Al ofrecer un rendimiento equivalente al de un modelo 33,6 veces más grande (235B frente a 7B), las empresas pueden desplegar sistemas de nivel empresarial en infraestructura local (on-premise) o clústeres propios de menor envergadura, recortando las tarifas asociadas al consumo recurrente de API comerciales en la nube.

Asimismo, el acceso íntegro a los pesos en todas sus etapas, los puntos de control intermedios (checkpoints), el código fuente de entrenamiento, los registros de Weights & Biases (W&B) y las recetas de datos permite a los equipos de ingeniería auditar y realizar ajustes finos (fine-tuning) con autonomía, eliminando la dependencia de plataformas cerradas.

Outlook

A partir de su publicación en septiembre de 2026, el repositorio de ZGCM-1 deja disponibles los pesos de las fases de preentrenamiento, entrenamiento intermedio (mid-training) y postentrenamiento, acompañados de sus esquemas de datos paso a paso y registros experimentales en W&B.

El reporte técnico incluye 8 resultados empíricos que servirán de referencia para futuras investigaciones en escalado arquitectónico, poda de calidad en ajuste fino supervisado (SFT) y generalización de secuencias largas. Adicionalmente, el equipo de investigación estableció las bases de sus próximos trabajos mediante la implementación de un sistema de enjambres de agentes (agent swarms) encargados de gestionar de forma autónoma la operación de clústeres de cómputo y la curación continua de conjuntos de datos.