Mehrziel-Bayessche Optimierung: Neuer CTD-Ansatz erzielt 72,9 % Überlegenheit in Benchmark-Tests

Ein Forschungsteam um Chao Jiang hat am 11. September 2026 das Verfahren „Converge Then Diversify“ (CTD) vorgestellt, das Konvergenz und Diversität in der mehrzieligen bayesschen Optimierung entkoppelt. In 446 paarweisen Vergleichstests übertraf die Methode bestehende State-of-the-art-Algorithmen in 72,9 % der Fälle und verspricht geringere Rechenkosten beim KI-Tuning.

Background

Die mathematische Optimierung – auch als mathematische Programmierung bezeichnet – befasst sich mit der Auswahl des besten Elements aus einer Menge verfügbarer Alternativen anhand definierter Kriterien. Das Forschungsfeld unterteilt sich traditionell in diskrete und kontinuierliche Optimierung und findet seit Jahrhunderten Anwendung in der Informatik, den Ingenieurwissenschaften, dem Operations Research und der Ökonomie.

Die mehrzielige bayessche Optimierung dient dazu, rechenintensive Black-Box-Funktionen effizient zu untersuchen. Ihr Ziel ist es, gleichzeitig die Konvergenz hin zur Pareto-Front und eine ausgewogene Diversität der Lösungen entlang der gesamten Front zu erreichen. Herkömmliche Methoden versuchen, beide Aufgaben simultan in jedem Iterationsschritt zu lösen. Bei ausreichenden Rechenressourcen funktioniert dieser Ansatz, stößt jedoch bei extrem begrenztem Evaluierungsbudget an strukturelle Grenzen, da nicht genügend Punkte erzeugt werden können, um die Front auf einmal zu erfassen.

Die Forscher Chao Jiang, Yueling Huang und Miqing Li reichten am 11. September 2026 um 18:04:56 UTC ein Paper (arXiv:2609.13396, Fachbereiche cs.AI und stat.ML) ein, das diesen Konflikt löst. Ihr Verfahren „Converge Then Diversify“ (CTD) trennt den Prozess in zwei Phasen: In Phase 1 wird die Suche schnell auf einen einzelnen Punkt auf der Pareto-Front ausgerichtet, bevor in Phase 2 die Lösungen über die gesamte Front verteilt werden.

Key figures

Die Publikation umfasst 26 Seiten, 4 Abbildungen und eine Dateigröße von 921 KB. Für die Validierung wurden zwei Instanzen mit etablierten Akquisitionsfunktionen erstellt und 446 paarweise Vergleiche gegen bestehende SOTA-Algorithmen durchgeführt:

Die Kombination aus überlegenen und gleichwertigen Ergebnissen erreicht 94,0 % (446 × [0,729 + 0,211] = 419,24, gerundet ca. 419 Fälle). Der Anteil unterlegener Resultate lag bei 6,1 % (ca. 27 Fälle). Die Leistungsvorteile traten besonders bei extrem begrenztem Rechenbudget sowie in hochdimensionalen Problemräumen hervor.

Impact

Der CTD-Ansatz betrifft vor allem Entwicklungsteams im Bereich künstlicher Intelligenz, die unter engen Rechenzeitbudgets stehen oder komplexe hochdimensionale Optimierungen durchführen müssen.

Konkret ermöglicht das Verfahren bei Modellkomprimierungs- und Tuning-Aufgaben – etwa bei der gleichzeitigen Optimierung von Vorhersagegenauigkeit und Inferenzgeschwindigkeit –, pareto-optimale Arbeitspunkte mit weniger Iterationen zu identifizieren. Eine geringere Anzahl an Suchschritten führt direkt zu einer Reduzierung der anfallenden Mietkosten für Cloud-Beschleuniger und verringert den Zeitaufwand im Entwicklungszyklus.

Outlook

Für die am 11. September 2026 vorgelegte Version 1 des Papers läuft derzeit die Registrierung des von arXiv über DataCite vergebenen Digital Object Identifiers (Status: „arXiv-issued DOI via DataCite (pending registration)“). Der Abschluss dieser DOI-Registrierung bildet den ersten formalen Meilenstein.

Zeitpläne für die Veröffentlichung von quelloffenem Programmcode sowie Termine bezüglich einer offiziellen Annahme durch eine wissenschaftliche Fachkonferenz wurden bislang nicht bekannt gegeben.

Quellen

1. Converge Then Diversify: Decoupling Convergence and Diversity in Multi-Objective Bayesian Optimisation — arXiv cs.AI 신규 논문
2. Mathematical optimization — Wikipedia (en)