Ensemble Learning: Kombination von ML-Modellen für bessere Vorhersagen

Ensemble Learning basiert auf einer einfachen, aber wirkungsvollen Idee: Modelle können zusammen nützlicher sein als allein. Ein Modell erfasst möglicherweise breite Muster, ein anderes schneidet bei Randfällen besser ab und ein drittes reduziert die Varianz, indem es aus einem anderen Teil der Daten lernt.

Für Business-Teams in Unternehmen liegt der Wert in der Kombination verschiedener Perspektiven auf dasselbe Vorhersageproblem. Dies ist besonders nützlich, wenn Vorhersagen beginnen, Entscheidungen über Betrug, Nachfrage, Abwanderung, Risiko oder den operativen Betrieb zu prägen. Ensemble Learning hilft, die Abhängigkeit von den Annahmen eines einzelnen Modells zu verringern, und bietet Teams eine Möglichkeit, Vorhersagesysteme zu entwickeln, die stabiler, anpassungsfähiger und besser für den Produktionseinsatz geeignet sind.

Die Technik ist jedoch nur ein Teil der Geschichte. Um Ensemble Learning effektiv zu nutzen, benötigen Teams außerdem konsistente Features, verwaltete Trainingsdaten, Modellversionierung, Inferenz-Kontrollen und ein Monitoring, das zeigt, wie das Ensemble nach der Bereitstellung performt.

Ensemble Learning ist eine Strategie für maschinelles Lernen, die mehrere Modelle kombiniert, um eine einzige Vorhersage zu erstellen. Anstatt darauf zu setzen, dass ein einziges Modell sämtliche Muster in den Daten erfasst, trainiert ein Ensemble mehrere Modelle parallel und aggregiert deren Outputs mittels Voting, Averaging oder einer anderen Kombinationsstrategie.

Ensemble Learning wurde entwickelt, um das Problem zu lösen, dass einzelne Modelle unterschiedliche Arten von Fehlern machen. Beispielsweise neigt ein Modell durch das Rauschen in den Trainingsdaten zu Overfitting, während ein anderes Modell zu einfach konzipiert ist und wichtige Zusammenhänge nicht erfasst (Underfitting). Ein drittes Modell liefert wiederum hervorragende Ergebnisse bei Standardfällen, scheitert jedoch bei seltenen Ausreißern. Wenn diese Modelle sorgfältig kombiniert werden, können sich ihre Schwächen gegenseitig ausgleichen, was oft zu einem Modell führt, das unter vielen Bedingungen besser performt als ein einzelnes Modell.

Dies wird manchmal als die auf das Machine Learning übertragene „Weisheit der Vielen“ (Wisdom of Crowds) bezeichnet. Eine Gruppe unabhängiger Fachleute kann eine einzelne Fachkraft übertreffen, wenn jede Person unterschiedliche Informationen in die Entscheidung einbringt. Beim Ensemble Learning gilt dasselbe Prinzip für Modelle: Diversität ist entscheidend. Wenn jedes Modell denselben Fehler macht, hilft es nicht viel, sie zu kombinieren. Wenn die Modelle unterschiedliche Fehler machen, kann die Aggregation die Vorhersage-Performance je nach Daten und Modellierungsansatz verbessern. Das Ziel ist es, Modelle zu erstellen, die dasselbe Vorhersageproblem aus verschiedenen Blickwinkeln angehen, und dann ihre Ausgaben so zu kombinieren, dass Genauigkeit, Stabilität oder beides verbessert wird.

Ensemble-Methoden helfen in der Regel auf zwei Arten:

• Varianzreduktion: Das Ensemble reagiert weniger empfindlich auf die spezifischen Eigenheiten einer einzelnen Trainingsstichprobe, was Overfitting effektiv entgegenwirkt.
• Bias-Reduktion: Das Ensemble kann komplexe Muster besser erfassen, die ein einzelner Weak Learner übersehen würde, wodurch Underfitting effektiv minimiert wird.

Ensemble Learning umfasst mehrere grundlegende Strategien, die jeweils unterschiedliche Methoden zur Schaffung von Modellvielfalt und zur Kombination von Vorhersagen nutzen. Die drei wichtigsten sind Bagging, Boosting und Stacking, wobei Voting und Averaging oft als einfachere Aggregationsmethoden verwendet werden.

Bagging

Bagging, kurz für Bootstrap Aggregating, trainiert mehrere Versionen eines Modells mit verschiedenen Zufallsstichproben der Trainingsdaten. Jede Stichprobe wird durch Bootstrap Sampling erstellt. Das bedeutet, dass Beispiele mit Zurücklegen ausgewählt werden. Einige Zeilen können in einer Trainings-Teilmenge mehrmals vorkommen, während andere möglicherweise weggelassen werden.

Nachdem die Modelle trainiert wurden, werden ihre Vorhersagen aggregiert. Bei Klassifizierungsproblemen kann das Ensemble Majority Voting verwenden. Bei Regressionsproblemen kann es den Durchschnitt der vorhergesagten Werte bilden.

Bagging ist besonders nützlich zur Reduzierung der Varianz. Ein einzelner Entscheidungsbaum kann beispielsweise sehr empfindlich auf die genauen Daten reagieren, die er während des Trainings sieht. Kleine Änderungen in den Trainingsdaten können zu einem völlig anderen Baum führen. Ein Random Forest löst dieses Problem, indem er viele Entscheidungsbäume mit verschiedenen Stichproben und Feature-Teilmengen trainiert und dann ihre Vorhersagen kombiniert. Das Ergebnis ist in der Regel stabiler als ein einzelner Entscheidungsbaum.

Bagging ist zudem relativ einfach zu parallelisieren, da jedes Modell unabhängig trainiert werden kann. Das macht es zu einer praktischen Wahl, wenn Teams ein stärkeres Modell wünschen, ohne die sequenziellen Abhängigkeiten einzuführen, die mit Boosting einhergehen.

Boosting

Boosting trainiert Modelle sequenziell. Jedes neue Modell konzentriert sich stärker auf Beispiele, die von früheren Modellen schlecht verarbeitet wurden, sodass das Ensemble nach und nach lernt, wo seine früheren Vorhersagen schwach waren.

Die ersten Modelle in einer Boosting-Sequenz können einfach sein. Jeder nachfolgende Learner steuert eine korrigierende Wirkung bei, wodurch das Ensemble immer besser in der Lage ist, auch hochkomplexe Muster präzise zu erfassen. Aus diesem Grund wird Boosting oft verwendet, um den Bias zu reduzieren, und kann je nach Implementierung auch die Varianz verringern: Es kann eine Gruppe schwacher Learner in einen starken Learner verwandeln und gleichzeitig die Performance bei komplexen Daten verbessern.

Zu den gängigen Boosting-Algorithmen gehören AdaBoost, Gradient Boosting, XGBoost, LightGBM und CatBoost. Diese Methoden werden häufig für strukturierte und tabellarische Daten verwendet, da sie bei geschäftlichen Vorhersageproblemen wie Churn-Modellierung, Betrugserkennung, Risikobewertung und Prognosen oft gut abschneiden.

Boosting ist leistungsstark, erfordert aber eine sorgfältige Tuning. Da jedes Modell aus früheren Fehlern lernt, kann Boosting zu Overfitting führen, wenn die Trainingsdaten Rauschen, falsch gekennzeichnete Beispiele oder instabile Muster enthalten. Parameter wie Lernrate, Baumtiefe, Anzahl der Schätzer und Regularisierung sind wichtig, da sie beeinflussen, wie aggressiv sich das Ensemble an schwierige Fälle anpasst.

Stacking

Stacking, oder Stacked Generalization, kombiniert mehrere Basismodelle, indem ein weiteres Modell trainiert wird, um zu lernen, wie deren Vorhersagen verwendet werden sollten. Dieses Modell der zweiten Ebene wird als Meta-Learner bezeichnet.

Ein Stacking-Ensemble könnte einen Random Forest, ein Gradient-Boosting-Modell und ein neuronales Netzwerk als Base Learner umfassen. Jedes Basismodell generiert Vorhersagen. Der Meta-Learner verwendet diese Vorhersagen dann als Eingaben und lernt, wie er sie für die finale Ausgabe kombinieren kann.

Stacking ist flexibel, da es sehr unterschiedliche Arten von Modellen kombinieren kann. Es kann auch Beziehungen erlernen, die bei einfachem Voting oder Averaging übersehen würden. Beispielsweise kann der Meta-Learner herausfinden, dass ein Modell für ein bestimmtes Datensegment zuverlässiger ist, während ein anderes für ein anderes Segment besser abschneidet.

Diese Flexibilität geht mit einer höheren Komplexität einher. Stacking erfordert eine sorgfältige Datenaufteilung, um Leakage zu vermeiden, da der Meta-Learner mit Vorhersagen trainiert werden muss, die widerspiegeln, wie die Basismodelle bei Daten abschneiden, mit denen sie nicht trainiert wurden. Wenn der Modelltrainingsprozess nicht richtig strukturiert ist, kann das Stacked Model in der Testphase stark erscheinen, aber in der Produktion nicht generalisieren.

Voting und Averaging

Voting und Averaging sind einfachere Ensemble-Strategien. Bei der Klassifizierung wählt die Majority Voting die Klasse aus, die von den meisten Modellen vorhergesagt wird. Beim gewichteten Voting erhalten Modelle, die sich als zuverlässiger erwiesen haben, mehr Einfluss. Bei der Regression kombiniert die Mittelwertbildung numerische Vorhersagen, während die gewichtete Mittelwertbildung den Beitrag jedes Modells anpasst.

Diese Ansätze sind einfacher zu implementieren als Stacking, da sie kein erlerntes Meta-Modell erfordern. Sie sind nützlich, wenn Teams über mehrere recht starke Modelle verfügen und diese auf transparente Weise kombinieren möchten. Sie erfassen möglicherweise keine komplexen Beziehungen zwischen den Modellausgaben, können aber die Stabilität bei geringerem betrieblichem Aufwand verbessern.

Ensemble-Strategien im Vergleich

Jede Ensemble-Methode hat unterschiedliche Stärken:

Die richtige Strategie hängt vom Vorhersageproblem, den Daten, dem Performance-Ziel und den Einschränkungen hinsichtlich Interpretierbarkeit, Latenz und Kosten ab.

Erfahren Sie von Tuhin Ghosh, Head of Data Science für die Platform Product Group bei Coinbase, wie die Funktionen von Snowflake ML die Art und Weise vereinfachen, wie Coinbase maschinelles Lernen in großem Maßstab bereitstellt:

In der Praxis geht es beim Ensemble Learning weniger darum, schlicht ‚mehr Modelle‘ zu trainieren. Vielmehr steht die Entscheidung im Vordergrund, welche Modelle optimal harmonieren, wie ihre Outputs zusammengeführt werden und ob die zusätzliche Komplexität in einem gesunden Verhältnis zum Performance-Gewinn steht.

Auswahl der Basismodelle

Die erste Designentscheidung ist die Modellauswahl. Ein Ensemble funktioniert am besten, wenn seine Base Learner vielfältig sind. Diese Vielfalt kann aus verschiedenen Quellen stammen:

• Unterschiedliche Algorithmen, wie Entscheidungsbäume, lineare Modelle, neuronale Netze und Gradient-Boosting-Modelle
• Unterschiedliche Feature-Sets, wie Verhaltenssignale, Transaktionsattribute, historische Aggregate oder aus Text abgeleitete Features
• Unterschiedliche Trainingsstichproben, wie Bootstrap-Stichproben oder segmentspezifische Datensätze
• Unterschiedliche Hyperparameter, wie Baumtiefe, Lernrate oder Regularisierungsstärke

Ein homogenes Ensemble verwendet wiederholt dieselbe Art von Basismodell, wie bei einem Random Forest. Ein heterogenes Ensemble kombiniert verschiedene Modellfamilien, wie es beim Stacking oft der Fall ist. Beide Ansätze können funktionieren, aber das Ziel bleibt dasselbe: Das Ensemble sollte Modelle kombinieren, die nicht einfach dieselben Annahmen wiederholen.

Beispielsweise könnte ein Ensemble zur Betrugserkennung ein regelbasiertes Modell, das bekannte Betrugsmuster erfasst, ein baumbasiertes Modell, das Interaktionen über Transaktionsattribute hinweg lernt, und ein neuronales Modell, das subtile Verhaltenssignale identifiziert, kombinieren. Die endgültige Vorhersage kann mehrere Sichtweisen des Risikos widerspiegeln, anstatt sich auf die Interpretation der Transaktion durch ein einziges Modell zu verlassen.

Strukturierung des Trainings Workflows

Ein typischer Workflow für das Ensemble Training umfasst mehrere Schritte:

1. Datenaufbereitung und Data Split: Teams definieren die Trainings-, Validierungs- und Testdaten und stellen sicher, dass die Aufteilung widerspiegelt, wie das Modell in der Produktion eingesetzt wird.
2. Basismodelle trainieren: Jeder Base Learner wird entsprechend der gewählten Ensemble-Strategie trainiert.
3. Vorhersagen generieren: Basismodelle erzeugen Ausgaben für Validierungs- oder Holdout-Daten.
4. Vorhersagen kombinieren: Das Ensemble verwendet Voting, Averaging, gewichtete Aggregation oder einen Meta-Learner, um eine endgültige Vorhersage zu erstellen.
5. Performance bewerten: Teams vergleichen das Ensemble mit einzelnen Modellen anhand geeigneter Metriken wie Genauigkeit, Präzision, Recall, F1-Score, Area under the Curve, Mean Absolute Error oder geschäftsspezifischer Kostenmaße.
6. Nach Segment validieren: Das Ensemble wird über Kundengruppen, Regionen, Produktkategorien, Risikostufen oder andere relevante Segmente hinweg getestet.
7. Für das Deployment vorbereiten: Modellartefakte, Feature-Definitionen, Versions-Metadaten und Inferenzlogik werden für den produktiven Einsatz paketiert.

Die Datenaufteilung ist besonders wichtig für Stacking und andere erlernte Kombinationsstrategien. Wenn der Meta Learner mit Vorhersagen von Basismodellen trainiert wird, die bereits dieselben Daten gesehen haben, kann er ein zu optimistisches Bild der Modell-Performance erlernen. Ein sauberes Kreuzvalidierungs- oder Holdout-Design hilft dem Ensemble, das tatsächliche Vorhersageverhalten widerzuspiegeln.

Abwägen des Rechenaufwands

Das Training und die Bereitstellung von Ensembles kosten in der Regel mehr als bei einzelnen Modellen. Zusätzlich zu den zahlreichen sequenziellen Trainingsschritten, die oft verschiedene Modellfamilien einbinden, muss das System während der Inferenz potenziell mehrere Modelle parallel ausführen, um eine einzige Vorhersage zu generieren.

Der Mehraufwand kann sich lohnen, wenn die Vorhersage einen signifikanten Business Value bietet. Bei der Betrugserkennung kann beispielsweise eine kleine Verbesserung des Recalls erhebliche Verluste verhindern. Bei der Nachfrageprognose kann eine genauere Vorhersage Fehlbestände, Überbestände oder entgangene Umsätze reduzieren. Im Bereich Risk Scoring sorgen stabilere Vorhersagen für fundiertere Entscheidungen über ganze Portfolios oder Kundensegmente hinweg.

Die zusätzlichen Kosten sind jedoch nicht immer gerechtfertigt. Wenn ein einzelnes Modell bereits das Performance-Ziel erreicht, die Latenzanforderungen erfüllt und einfacher zu erklären ist, kann ein Ensemble unnötige Komplexität hinzufügen. Die entscheidende Frage lautet, ob die zusätzliche Modellkomplexität eine ausreichend hohe Steigerung bringt, um die Trainingskosten, die Inference Latency und den erhöhten operativen Aufwand zu rechtfertigen.

Praktischer Einsatz von Ensemble-Modellen

Ensemble Learning hilft oft, die prädiktive Performance bei schwierigen Problemen zu verbessern. Bei der Betrugserkennung können Ensembles Modelle kombinieren, die bekannte Muster, ungewöhnliche Verhaltenssignale und Risiken auf Transaktionsebene erfassen. In Empfehlungssystemen können Ensembles Collaborative Filtering, inhaltsbasierte Modelle und Ranking-Modelle kombinieren, um die Relevanz zu verbessern. Bei Vorhersagen auf tabellarischen Daten erzielen entscheidungsbaumbasierte Ensembles wie Random Forests und Gradient-Boosting-Modelle meist hervorragende Ergebnisse. Sie erfassen nichtlineare Zusammenhänge und Feature-Interaktionen hochgradig automatisiert, ohne dass ein aufwendiges manuelles Feature Engineering erforderlich ist.

Ensembles sind auch nützlich, wenn sich verschiedene Teile der Daten unterschiedlich verhalten, z. B. wenn eine Nachfrageprognose regionale Saisonalität, die Phase des Produktlebenszyklus und Werbeaktivitäten widerspiegeln muss. Ein einzelnes Modell lernt möglicherweise ein durchschnittliches Muster, das diese Unterschiede übersieht, während ein Ensemble Modelle kombinieren kann, die verschiedene Signale erfassen.

Wann Ensembles nicht die richtige Wahl sind

Ensemble Learning ist nicht immer die richtige Wahl. Neben den Kostenauswirkungen ist die bestehende Infrastruktur möglicherweise nicht in der Lage, die zusätzliche operative Komplexität zu bewältigen. Darüber hinaus können einfachere Modelle besser sein, wenn die Vorhersage gegenüber Aufsichtsbehörden, Kund:innen oder internen Entscheidungsträger:innen erklärt werden muss. In einigen Fällen bietet ein gut abgestimmtes Einzelmodell eine ausreichende Genauigkeit, und die bessere technische Entscheidung besteht darin, das System einfacher zu halten.

Enterprise-Teams sollten auch die Monitoring-Anforderungen berücksichtigen. Ein Ensemble ist nicht nur ein einziges Modell. Es ist ein System von Modellen. Verändert sich die finale Vorhersage, müssen Teams präzise nachvollziehen können, worauf diese Abweichung zurückzuführen ist: auf ein einzelnes Komponentenmodell, die Kombinationsstrategie, eine Änderung bei den Features oder einen klassischen Data Distribution Shift. Das macht Observability und Modellmanagement zu zentralen Elementen für Ensemble Learning in der Produktion.

Ensemble Learning hängt von mehr ab als nur von der Modellierungstechnik. Teams benötigen kontrollierte Daten, wiederverwendbare Features, Modell-Tracking, skalierbare Rechenressourcen und eine Möglichkeit, das Verhalten von Vorhersagen nach dem Deployment zu überwachen. Snowflake unterstützt diesen umfassenderen ML-Lebenszyklus, indem es Teams dabei hilft, Daten aufzubereiten, Modelle zu entwickeln, Modellartefakte zu verwalten und Inferenzen näher an den Daten auszuführen, auf denen die Vorhersage basiert.

Snowflake ML bietet Tools für End-to-End-Workflows für maschinelles Lernen, einschließlich Modellentwicklung, Modellverwaltung, Inferenz und Observability. Die Snowflake Model Registry ermöglicht es Teams, ML-Modelle zu protokollieren und zu verwalten — unabhängig davon, ob diese nativ in Snowflake oder auf externen Plattformen trainiert wurden —, und die registrierten Modelle für eine hochskalierbare Inferenz bereitzustellen. Snowflake ML Observability bietet Tools, um die Performance und den Drift von Produktionsmodellen zu überwachen, Warnmeldungen einzurichten und Shapley-Werte für Modelle in der Registry zu berechnen. Die Model Registry unterstützt auch gängige Modelltypen, darunter Snowpark ML Modeling, scikit-learn, XGBoost, LightGBM, CatBoost, PyTorch, TensorFlow, Keras, MLflow PyFunc, Hugging Face Pipeline und andere, was Teams Flexibilität bei der Arbeit mit verschiedenen Base Learnern bietet.

Die Einheitlichkeit der Features ist ebenfalls wichtig. Mehrere Modelle können von denselben Features oder überlappenden Feature-Sets abhängen. Wenn sich diese Definitionen über Teams oder Trainingsläufe hinweg ändern, wird der Modellvergleich unzuverlässiger. Snowflake Feature Store hilft Teams dabei, ML-Features innerhalb von Snowflake zu erstellen, zu pflegen und wiederzuverwenden, mit Governance, Zugriffskontrolle und Lineage, die Quelldaten mit Features, Datensätzen und trainierten Modellen verbinden.

Der operative Kontext ist das, was Ensemble Learning mit Enterprise-ML verbindet. Die Modelle können zwar mit unterschiedlichen Algorithmen, Features oder Samples trainiert werden — dennoch muss das Unternehmen jederzeit nachvollziehen können, auf welchen Daten sie basieren, welche Modellversionen zu einer bestimmten Vorhersage beigetragen haben und ob sich die Performance nach dem Deployment verändert hat. Die ML-Funktionen von Snowflake helfen Teams bei der Bewältigung dieser Rahmenbedingungen, sodass Ensemble Learning von der Experimentierphase in den kontrollierten Produktionseinsatz übergehen kann.

Ensemble Learning kann Vorhersagen verbessern, indem es Modelle kombiniert, die ein Problem unterschiedlich betrachten. Aber im Bereich Enterprise-ML hängt der unternehmerische Mehrwert von Ensemble Learning von mehr ab als nur von der Modell-Performance. Data Science- und ML-Engineering-Teams müssen die Daten kontrollieren, einheitliche Features wiederverwenden, Modellversionen verfolgen, Inferenz-Workflows verwalten und überwachen, ob sich Vorhersagen weiterhin wie erwartet verhalten. Sie benötigen eine stärker vernetzte Grundlage für die Erstellung von Ensemble-Modellen, die nicht nur in der Testphase präzise, sondern auch in der Produktion verwaltbar sind.