Modelle für maschinelles Lernen: Arten, Funktionsweise und Auswahl

Wenn Sie heute jemanden bitten, ein Modell für maschinelles Lernen zu nennen, wird er wahrscheinlich ChatGPT oder ein anderes Large Language Model (LLM) erwähnen. Dennoch verlassen sich die meisten Unternehmen jeden Tag auf viele andere Arten von Modellen – zur Unterstützung von Prognosen, Risikobewertungen, Empfehlungen, Anomalieerkennung und anderen begrenzten Vorhersagen. Ein einzelnes Unternehmen kann Dutzende oder Hunderte von Modellen ausführen, die auf völlig unterschiedlichen mathematischen Grundlagen aufbauen.

Eines kann eine lineare Regression mit einer Handvoll Koeffizienten sein, ein anderes ein Gradient-Boosted-Ensemble, das mit Millionen von Datensätzen trainiert wurde, und ein weiteres ein Foundation-Modell mit Milliarden von Parametern. Unterschiedliche Modellfamilien treffen unterschiedliche Annahmen über die Daten, lernen unterschiedliche Arten von Beziehungen und stellen unterschiedliche Anforderungen an Training, Inferenz und Interpretation.

Diese Unterschiede sind nicht nur theoretischer Natur. Sie bestimmen, welche Probleme ein Modell lösen kann, wie viele Daten es benötigt, wie seine Ausgaben bewertet werden können und ob es den Anforderungen der jeweiligen Aufgabe entspricht.

Das leistungsstärkste Modell ist nicht immer die beste Wahl. Ein kleineres oder spezialisierteres Modell kann vergleichbare Ergebnisse bei geringeren Kosten, schnellerer Performance oder einfacherer Auswertung liefern. Wie Kyle Schmaus von Snowflake schreibt: „Die Herausforderung besteht darin, zu bestimmen, wo Frontier-Modelle wirklich notwendig sind und wo optimierte Alternativen das gleiche Ergebnis erzielen können.“ Aus diesem Grund benötigen Unternehmen die Flexibilität, zwischen Modellfamilien wählen zu können. In der Praxis bedeutet dies die Verwaltung eines Portfolios von Modellen, die für unterschiedliche Aufgaben, Datentypen und Performance-Anforderungen ausgewählt wurden.

Ein Modell für maschinelles Lernen ist eine trainierte Darstellung von Mustern oder Beziehungen in Daten. Es akzeptiert eine Eingabe, wendet während des Trainings gelernte Parameter an und erzeugt eine Ausgabe wie einen vorhergesagten Wert, eine Klassenwahrscheinlichkeit, eine generierte Sequenz oder eine Gruppenzuordnung.

Das Modell unterscheidet sich von dem Algorithmus, der zu seiner Erstellung verwendet wurde. Der Algorithmus steuert, wie das Lernen abläuft, während das Modell die aus den Daten gelernten Parameter und Strukturen enthält.

Ein Entscheidungsbaum-Algorithmus sucht beispielsweise nach Feature-Werten, die Trainingsbeispiele in zunehmend nützliche Gruppen unterteilen. Der angepasste Baum – einschließlich seiner ausgewählten Features, Split-Schwellenwerte und Blattwerte – ist das Modell. Ein weiterer Durchlauf desselben Algorithmus mit anderen Daten kann einen anderen Baum erzeugen.

Diese Unterscheidung trennt auch das Training von der Inferenz. Während des Trainings passt der Lernalgorithmus die Parameter des Modells an, um einen Fehler zu reduzieren oder ein anderes Ziel zu verbessern. Während der Inferenz wendet das trainierte Modell diese Parameter auf neue Daten an. Ein Modell, das das Risiko eines Geräteausfalls schätzt, könnte aus historischen Sensormesswerten und Wartungsaufzeichnungen lernen und dann stündlich eine Inferenz durchführen, wenn neue Messwerte eintreffen.

Parameter nehmen in verschiedenen Modellfamilien unterschiedliche Formen an. Bei der linearen Regression umfassen sie den Koeffizienten, der jedem Eingabe-Feature zugewiesen ist. Ein Baum speichert Split-Regeln und Vorhersagewerte. Ein neuronales Netzwerk kann Millionen oder Milliarden von Gewichten enthalten, die über Schichten verteilt sind. Unabhängig von ihrer Struktur machen diese gelernten Werte einen Großteil dessen aus, was das Modell aus dem Training behält.

Ein Produktionsmodell umfasst in der Regel mehr als nur gelernte Parameter. Es kann auch Vorverarbeitungslogik, erwartete Eingabeschemata, Klassen-Labels, Abhängigkeitsinformationen und Metadaten enthalten, die erforderlich sind, um Vorhersagen zuverlässig zu reproduzieren.

Sehen Sie sich an, wie Tuhin Ghosh von Coinbase erklärt, wie Snowflake ML-Funktionen die Art und Weise vereinfachen, wie Coinbase maschinelles Lernen in großem Maßstab bereitstellt:

Ein typischer Workflow für maschinelles Lernen beginnt mit einem Dataset, das für die Aufgabe relevante Beobachtungen enthält. Jede Beobachtung wird durch Features dargestellt, die Eingabevariablen, die dem Modell zur Verfügung stehen. Beim überwachten Lernen enthalten die Daten auch ein Label oder einen Zielwert, der die gewünschte Ausgabe darstellt. Ein Kreditrisiko-Dataset könnte beispielsweise Features enthalten, die Einkommen, Zahlungshistorie und bestehende Schulden beschreiben, zusammen mit einem Label, das angibt, ob ein früherer Kreditnehmer einen Kredit zurückgezahlt hat.

Bevor das Training beginnt, bereinigen und transformieren Fachleute in der Regel die Daten, konstruieren nützliche Features und unterteilen die verfügbaren Beispiele in Trainings-, Validierungs- und Test-Sets. Diese Partitionen dienen unterschiedlichen Zwecken: Das Trainings-Set passt das Modell an, das Validierungs-Set unterstützt die Modell- und Hyperparameterauswahl, und das Test-Set liefert eine endgültige Schätzung unter Verwendung von Daten, die die Entwicklung nicht gesteuert haben.

Der Trainingsalgorithmus leitet dann Beispiele durch das Modell und vergleicht dessen Ausgabe mit dem gewünschten Ergebnis. Eine Verlustfunktion wandelt die Differenz in einen numerischen Wert um. Die Optimierung passt die Parameter an, um diesen Verlust zu reduzieren, obwohl sich der genaue Anpassungsprozess zwischen den Modellfamilien erheblich unterscheidet. Ein lineares Modell kann Koeffizienten durch eine analytische Lösung oder iterative Optimierung schätzen, während ein neuronales Netzwerk typischerweise Gradienten berechnet und diese rückwärts durch seine Schichten propagiert.

Fachleute legen auch Hyperparameter fest, die den Lernprozess oder die Modellstruktur steuern, anstatt direkt aus den Trainingsbeispielen gelernt zu werden. Dazu können die maximale Tiefe eines Baums, die Anzahl der Bäume in einem Random Forest, eine Regularisierungsstrafe oder die Lernrate gehören, die zur Aktualisierung der Gewichte des neuronalen Netzwerks verwendet wird.

Nach der Anpassung wird das Modell anhand zurückgehaltener Daten bewertet. Die relevante Metrik hängt von der Aufgabe und den Folgen ihrer Fehler ab. Die Genauigkeit kann nützlich sein, wenn die Klassen einigermaßen ausgewogen sind und die Kosten für verschiedene Fehler ähnlich sind, während Präzision, Recall, Kalibrierung oder die Fläche unter einer Kurve andere Systeme möglicherweise besser beschreiben. Regressionsaufgaben können den mittleren absoluten Fehler, den quadratischen Fehler oder eine domänenspezifische Kostenfunktion verwenden. Die Auswahl der Metrik ist Teil der Problemdefinition: Zwei Modelle können ihren Rang ändern, wenn sie anhand unterschiedlicher Maße bewertet werden.

Das Ziel ist die Generalisierung – die Performance bei neuen Beispielen, die aus den Bedingungen stammen, auf die das Modell voraussichtlich stoßen wird. Ein Modell kann sich eng an seine Trainingsdaten anpassen, ohne Beziehungen zu lernen, die darüber hinausgehen, was zu schlechten Ergebnissen in der Produktion führt. Diese Lücke ist der Grund, warum die Evaluierung Beispiele verwenden muss, die von der Anpassung ausgeschlossen sind, und warum die Performance in der Produktion auch nach der Bereitstellung noch überwacht werden muss.

Die Modellqualität wird auch durch die in den Daten verfügbaren Informationen begrenzt. Fehlende Variablen, inkonsistente Messungen, ungenaue Labels und nicht repräsentative Stichproben können dem Modell Beziehungen beibringen, die in der Produktion nicht gelten. Verschiedene Algorithmen tolerieren Rauschen, Ausreißer und fehlende Werte unterschiedlich, aber kein Modell kann ein Signal wiederherstellen, das die Daten nie erfasst haben.

Es gibt keine endgültige Liste von Modelltypen für maschinelles Lernen, da Modelle nach mehreren Dimensionen gruppiert werden können: nach Lernansatz, nach Aufgabe und nach Modellfamilie.

Ein Random Forest ist beispielsweise eine baumbasierte Modellfamilie. Er verwendet im Allgemeinen überwachtes Lernen und kann entweder Klassifizierung oder Regression durchführen. Diese Dimensionen getrennt zu halten, macht es einfacher zu verstehen, wie Modelle zueinander in Beziehung stehen.

Nach Lernansatz

Lernansätze unterscheiden sich je nach Art des Feedbacks, das während des Trainings verfügbar ist. Einige Modelle lernen aus gelabelten Beispielen, während andere Strukturen in ungelabelten Daten identifizieren, Ziele aus den Daten selbst ableiten oder sich durch Belohnungen aus einer Umgebung verbessern.

• Überwachtes Lernen trainiert ein Modell anhand von Beispielen, die sowohl Eingaben als auch bekannte Zielwerte enthalten. Es unterstützt Aufgaben wie Klassifizierung, Regression und Ranking.
• Unüberwachtes Lernen funktioniert ohne vordefinierte Ziel-Labels. Stattdessen identifiziert das Modell Strukturen in den Eingaben, etwa durch die Gruppierung ähnlicher Beobachtungen, die Schätzung einer Datenverteilung oder das Erlernen einer niedrigerdimensionalen Repräsentation.
• Teilüberwachtes Lernen kombiniert eine kleinere Sammlung gelabelter Beispiele mit einer größeren Sammlung ungelabelter Daten. Es ist nützlich, wenn Eingaben im Überfluss vorhanden sind, aber das Labeling durch Expert:innen teuer oder langsam ist.
• Selbstüberwachtes Lernen leitet Trainingsziele aus den Daten selbst ab. Ein Sprachmodell kann lernen, fehlende oder nachfolgende Token vorherzusagen, während ein Bildmodell durch die Rekonstruktion maskierter Bereiche oder den Vergleich transformierter Ansichten desselben Bildes lernen kann. Pre-Training
• Bestärkendes Lernen trainiert einen Agenten durch Interaktionen mit einer Umgebung. Anstatt aus einem festen Label für jedes Beispiel zu lernen, erhält der Agent Belohnungen, die mit Aktionen verbunden sind, und erlernt eine Richtlinie, die darauf abzielt, die kumulative Belohnung zu maximieren.

Einführende Erklärungen bezeichnen überwachtes, unüberwachtes, teilüberwachtes und bestärkendes Lernen manchmal als die „vier Arten für maschinelles Lernen”. Das bleibt eine nützliche High-Level-Antwort, vorausgesetzt, sie werden als Lernansätze und nicht als vier erschöpfende Modelltypen identifiziert.

Nach Aufgabe

Modelle können auch nach der Art der Ausgabe gruppiert werden, die sie erzeugen. Dieselbe Familie kann mehrere Aufgaben unterstützen, darunter Klassifizierung, Regression, Clustering, Ranking, Forecasting und Generierung.

• Klassifizierung ordnet eine Eingabe einer oder mehreren Kategorien zu. Ein Modell könnte eine Transaktion als legitim oder potenziell betrügerisch klassifizieren, ein Objekt in einem Bild identifizieren oder eine Support-Anfrage an die richtige Warteschlange weiterleiten.
• Regressionsmodelle sagen einen kontinuierlichen numerischen Wert voraus, wie z. B. Nachfrage, Temperatur oder Lieferzeit.
• Clustering gruppiert Beobachtungen anhand eines Ähnlichkeitsmaßes, ohne sich auf vordefinierte Kategorie-Labels zu stützen.
• Ranking ordnet mögliche Ergebnisse, wie bei der Suche, bei Empfehlungen oder bei der Lead-Priorisierung.
• Prognose (Forecasting) schätzt zukünftige Werte und berücksichtigt dabei die zeitliche Reihenfolge der Beobachtungen.
• Generierung erzeugt neue Inhalte oder strukturierte Ausgaben, einschließlich Text, Bildern, Audio, Code und molekularen Repräsentationen.

Weitere Aufgaben umfassen Anomalieerkennung, Dimensionalitätsreduktion, Representation Learning und Steuerung. Ein einzelnes Modell kann auch mehrere Aufgaben unterstützen, insbesondere wenn es mit breiten Daten vortrainiert wurde.

Nach Modellfamilie

Eine Modellfamilie beschreibt die Struktur, durch die das Modell Beziehungen darstellt. Diese Kategorien können sich überschneiden. Ein Autoencoder ist beispielsweise sowohl eine neuronale Netzwerkarchitektur als auch ein Modell zur Dimensionalitätsreduktion, während ein Transformer eine neuronale Netzwerkarchitektur ist, die von vielen Foundation-Modellen verwendet wird. Das Familien-Label verrät Anwender:innen etwas über die Mechanik, die Annahmen und das Rechenprofil des Modells, definiert aber nicht vollständig die Aufgabe, die das Modell ausführen soll.

Die folgenden Familien decken viele der Modelle ab, die für angewandtes maschinelles Lernen verwendet werden. Sie sind eher repräsentativ als erschöpfend, und einige umfassen Algorithmen, die mehr als eine Aufgabe unterstützen.

Lineare Modelle

Lineare Modelle berechnen eine Ausgabe aus einer gewichteten Kombination von Eingabe-Features. Bei der linearen Regression ist die Ausgabe ein kontinuierlicher Wert. Die logistische Regression wendet eine verwandte Formulierung an, um die Wahrscheinlichkeit einer Klasse zu schätzen.

Angenommen, ein Modell schätzt die Lieferzeit anhand von Streckenlänge, Bestellvolumen und Lager-Workload. Ein lineares Modell weist jedem Feature einen Koeffizienten zu, der darstellt, wie sich die vorhergesagte Lieferzeit ändert, wenn sich dieses Feature ändert, vorausgesetzt, die anderen bleiben unverändert.

Diese Struktur macht lineare Modelle zu nützlichen Baselines. Sie trainieren schnell, laufen während der Inferenz effizient und legen Beziehungen offen, die Anwender:innen überprüfen können. Regularisierungsmethoden wie Ridge, Lasso und Elastic Net schränken die Koeffizienten ein, was Overfitting reduzieren und in einigen Fällen das Feature-Set vereinfachen kann.

Dieselbe Struktur ist jedoch auch eine Einschränkung. Ein einfaches lineares Modell kann eine gekrümmte Beziehung oder Interaktion nicht erfassen, es sei denn, diese Terme werden als Features bereitgestellt. Wenn die zugrunde liegende Beziehung stark nichtlinear ist, kann ein lineares Modell selbst bei korrekter Konfiguration zu Underfitting führen.

Entscheidungsbäume

Ein Entscheidungsbaum stellt eine Vorhersage als eine Sequenz von Feature-basierten Splits dar. An jedem internen Knoten wertet das Modell eine Bedingung aus, z. B. ob ein Kontostand einen erlernten Schwellenwert überschreitet. Der Pfad durch diese Bedingungen führt zu einem Blatt, das eine vorhergesagte Klasse, Wahrscheinlichkeit oder einen numerischen Wert enthält.

Bäume können nichtlineare Beziehungen und Interaktionen darstellen, ohne dass Anwender:innen diese im Voraus spezifizieren müssen. Sie können auch mit einer Mischung von Feature-Typen arbeiten und erfordern im Allgemeinen weniger Skalierung oder Normalisierung als distanzbasierte und lineare Methoden.

Ein kleiner Baum ist relativ einfach zu überprüfen, da eine Vorhersage durch eine endliche Menge von Regeln verfolgt werden kann, aber die Interpretierbarkeit nimmt ab, je tiefer der Baum wird und je mehr Zweige er entwickelt. Einzelne Bäume können auch instabil sein. Eine bescheidene Änderung in den Trainingsdaten kann einen frühen Split verändern und eine wesentlich andere Struktur erzeugen. Die Einschränkung der Tiefe, die Anforderung von mehr Beispielen pro Blatt oder das Pruning des angepassten Baums können Overfitting reduzieren, obwohl diese Kontrollen das Modell auch daran hindern können, nützliche Komplexität darzustellen.

Ensemble-Baummodelle

Ensemble-Methoden kombinieren mehrere Modelle, sodass ihre aggregierte Vorhersage genauer oder stabiler ist als das Ergebnis eines einzelnen Komponentenmodells. Zwei der gängigsten baumbasierten Ansätze sind Random Forests und Gradient Boosting.

Ein Random Forest passt viele Entscheidungsbäume an, indem er verschiedene Stichproben der Beobachtungen und zufällige Teilmengen von Kandidaten-Features verwendet. Für die Klassifizierung kombiniert der Forest die Vorhersagen der Bäume, entweder durch eine Mehrheitsentscheidung oder durch Mittelung ihrer vorhergesagten Klassenwahrscheinlichkeiten. Für die Regression werden ihre numerischen Vorhersagen gemittelt. Da die Bäume nicht alle dieselben Fehler machen, reduziert die Aggregation typischerweise die Varianz, die mit einem angepassten Baum verbunden ist.

Gradient-Boosted Trees werden sequenziell aufgebaut. Jeder neue Baum konzentriert sich darauf, die vom aktuellen Ensemble hinterlassenen Fehler zu verbessern. Implementierungen wie XGBoost, LightGBM und CatBoost fügen verschiedene Optimierungen und Kontrollen hinzu, aber alle verwenden Boosting anstelle der unabhängigeren Baumkonstruktion, die in einem Random Forest zu finden ist.

Baum-Ensembles schneiden häufig gut bei strukturierten tabellarischen Daten ab, bei denen Beobachtungen als Zeilen und Features als Spalten erscheinen. Zu ihren Kompromissen gehören größere Modellartefakte, zusätzliche Trainings- oder Inferenzkosten und eine geringere direkte Interpretierbarkeit im Vergleich zu einem kleinen Baum. Maße für die Feature-Wichtigkeit und Post-hoc-Erklärungsmethoden können Aspekte ihres Verhaltens aufdecken, aber sie verwandeln das Ensemble nicht in ein einfaches Regelwerk.

Support Vector Machines

Eine Support Vector Machine (SVM) erlernt eine Grenze, die Klassen trennt, und maximiert dabei den Spielraum zwischen dieser Grenze und den nächstgelegenen Trainingsbeispielen. Diese nahegelegenen Beispiele, bekannt als Support-Vektoren, bestimmen die angepasste Entscheidungsgrenze.

Wenn die Klassen nicht durch eine gerade Linie oder eine flache Hyperebene getrennt werden können, kann eine Kernel-Funktion nichtlineare Beziehungen durch Ähnlichkeiten zwischen Beobachtungen darstellen. Die Support Vector Regression wendet verwandte Mechanismen auf die kontinuierliche Vorhersage an.

SVMs können bei mittelgroßen, hochdimensionalen Daten gut abschneiden, insbesondere wenn die Features bereits eine nützliche Repräsentation bieten. Die Textklassifizierung basierend auf spärlichen Wort- oder Token-Features ist ein traditionelles Beispiel.

Die Methode wird mit zunehmender Anzahl von Trainingsbeispielen unpraktischer, insbesondere bei nichtlinearen Kernels. Die Ergebnisse hängen auch von der Feature-Skalierung und von Entscheidungen wie dem Kernel, der Regularisierungsstärke und den Kernel-Parametern ab. Da die erlernte Grenze durch Support-Vektoren und nicht durch eine kurze Koeffizientenliste oder einen Entscheidungspfad definiert ist, kann die Erklärung einer einzelnen Vorhersage zusätzliche Analysen erfordern.

Nearest-Neighbor-Modelle

Nearest-Neighbor-Methoden sagen anhand der Trainingsbeispiele voraus, die einer neuen Eingabe am ähnlichsten sind. Ein k-Nearest-Neighbors-Klassifikator identifiziert eine festgelegte Anzahl der ähnlichsten Trainingsbeispiele und weist basierend auf deren Stimmen eine Klasse zu. Für die Regression kann er deren Zielwerte mitteln.

Dies wird manchmal als Lazy-Learning-Ansatz beschrieben, da die Anpassung relativ wenig Parameterschätzung beinhaltet. Stattdessen behält das Modell die Referenzbeispiele bei und führt einen Großteil seiner Arbeit während der Inferenz aus.

Die Methode ist leicht zu verstehen und kann unregelmäßige Entscheidungsgrenzen darstellen, aber ihr Verhalten hängt von der Definition der Distanz ab. Features, die auf sehr unterschiedlichen Skalen gemessen werden, können die Ähnlichkeit verzerren, wenn sie nicht standardisiert sind, und irrelevante Dimensionen können wirklich ähnliche Beispiele weit voneinander entfernt erscheinen lassen.

Die Inferenz kann auch teuer werden, wenn die Referenzdaten wachsen. Indexierungs- und Approximate-Neighbor-Techniken reduzieren die Suchkosten, aber Nearest-Neighbor-Modelle stellen dennoch andere Anforderungen an Speicher und Latenz eines Systems als ein kompaktes lineares Modell oder ein Entscheidungsbaum.

Probabilistische Modelle

Probabilistische Modelle stellen Beziehungen durch Wahrscheinlichkeitsverteilungen dar. Anstatt nur eine Klasse oder eine numerische Schätzung zu erstellen, können sie die Wahrscheinlichkeit mehrerer Ergebnisse berechnen oder Unsicherheiten in verborgenen Variablen darstellen.

Naive-Bayes-Klassifikatoren schätzen eine Klasse anhand der bedingten Wahrscheinlichkeit beobachteter Features und verwenden dabei eine Unabhängigkeitsannahme, die das Fitting effizient macht. Gaußsche Mischmodelle beschreiben Daten als Kombination von Wahrscheinlichkeitsverteilungen und werden häufig für das Clustering oder die Dichteschätzung verwendet. Bayessche Netze stellen bedingte Beziehungen zwischen Variablen dar, während verborgene Markov-Modelle Sequenzen repräsentieren, deren zugrunde liegende Zustände nicht direkt beobachtet werden.

Diese Modelle sind nützlich, wenn Unsicherheit Teil des Problems und nicht nur ein zufälliges Ergebnis ist. Eine probabilistische Prognose kann beispielsweise eine Verteilung der möglichen Nachfrage anstelle eines einzelnen Punktwerts schätzen.

Ihre Annahmen können sie recheneffizient und interpretierbar machen, aber die Performance hängt davon ab, ob diese Annahmen die Daten angemessen beschreiben. Eine vereinfachte Abhängigkeitsstruktur erfasst möglicherweise wichtige Beziehungen nicht, während ein ausdrucksstärkeres probabilistisches Modell schwer zu schätzen sein kann.

Cluster-Modelle

Clustering-Modelle finden Gruppen ähnlicher Beobachtungen ohne Training mit bekannten Klassen-Labels. Da keine einzelne Definition eines Clusters für jedes Dataset passt, suchen verschiedene Methoden nach unterschiedlichen Arten von Strukturen.

K-Means weist Beobachtungen einer bestimmten Anzahl von Clustern zu, die jeweils durch einen erlernten Zentroiden repräsentiert werden. Es funktioniert am besten, wenn die Entfernung zu einem Zentroiden die Zugehörigkeit sinnvoll darstellt und die Cluster weitgehend kompatible Formen und Maßstäbe aufweisen.

Hierarchisches Clustering kombiniert oder teilt Gruppen wiederholt, um eine verschachtelte Struktur zu erstellen. Anwender:innen können diese Hierarchie auf verschiedenen Ebenen untersuchen, anstatt sich von Anfang an auf eine flache Gruppierung festzulegen.

Dichtebasierte Methoden, einschließlich DBSCAN, identifizieren Regionen mit dicht gepackten Beobachtungen und können isolierte Punkte als Rauschen markieren. Dadurch können sie Cluster-Formen finden, die zentroidbasierte Methoden möglicherweise übersehen, obwohl das Ergebnis von Dichteschwellenwerten abhängt.

Cluster haben keine inhärente geschäftliche Bedeutung. Nach dem Fitting müssen Anwender:innen die mit jeder Gruppe verbundenen Features und Beispiele untersuchen, testen, ob das Muster stabil ist, und entscheiden, ob es die beabsichtigte Analyse oder den Workflow unterstützt.

Modelle zur Dimensionalitätsreduktion

Die Dimensionalitätsreduktion stellt Daten mit weniger Variablen dar und bewahrt gleichzeitig ausgewählte Aspekte ihrer Struktur. Die resultierende Darstellung kann Visualisierung, Rauschunterdrückung, Komprimierung oder nachgelagertes Modelltraining unterstützen.

Die Hauptkomponentenanalyse (PCA) erlernt neue Achsen, die zunehmend geringere Mengen an Variation in der Eingabe erfassen. Da die Komponenten gewichtete Kombinationen der ursprünglichen Features sind, kann die PCA korrelierte Messungen in einem kleineren Feature-Raum verdichten.

Andere Methoden bewahren andere Eigenschaften. Einige betonen lokale Nachbarschaften für die Visualisierung, während Autoencoder ein neuronales Netzwerk verwenden, um eine Eingabe in eine niedrigerdimensionale Darstellung zu komprimieren und sie zu rekonstruieren.

Die Reduzierung der Anzahl der Features kann Speicher- und Rechenkosten senken oder Rauschen entfernen, aber sie kann auch Informationen verwerfen. Die erlernten Komponenten sind möglicherweise schwerer zu erklären als die ursprünglichen Variablen, und eine Darstellung, die die Gesamtvarianz bewahrt, bewahrt möglicherweise nicht die für die Vorhersageaufgabe wichtigsten Unterscheidungen.

Neuronale Netze

Ein neuronales Netzwerk besteht aus Schichten, die eine Eingabe durch erlernte Gewichte und nichtlineare Funktionen transformieren. Während des Trainings erzeugt das Netzwerk eine Ausgabe, berechnet einen Verlust und propagiert Gradienten rückwärts, damit ein Optimierer seine Parameter aktualisieren kann.

Unterschiedliche Architekturen erzwingen Strukturen, die für unterschiedliche Daten geeignet sind:

• Feedforward-Netzwerke leiten Informationen durch eine Abfolge von Schichten und unterstützen allgemeine Klassifizierungs- und Regressionsaufgaben.
• Faltungsnetzwerke (Convolutional Neural Networks) wenden erlernte Filter auf räumliche Eingaben an und werden häufig für Bilder verwendet.
• Rekurrente neuronale Netzwerke behalten den Zustand über Sequenzen hinweg bei, obwohl Transformer nun viele Aufgaben übernehmen, die früher rekurrenten Architekturen zugewiesen wurden.
• Transformer verwenden Aufmerksamkeitsmechanismen, um Beziehungen zwischen Elementen in einer Sequenz oder einer anderen tokenisierten Darstellung zu modellieren.
• Autoencoder erlernen komprimierte Darstellungen, indem sie ihre Eingaben rekonstruieren.
• Graph Neural Networks tauschen Informationen zwischen verbundenen Knoten aus, um relationale Strukturen zu modellieren.

Neuronale Netzwerke können komplexe Funktionen erlernen und mit genügend Daten nützliche Darstellungen aus Bildern, Audio, Text und anderen hochdimensionalen Eingaben ableiten. Diese Flexibilität geht oft mit höheren Anforderungen an Daten und Rechenressourcen, einer umfangreicheren Anpassung und einer weniger direkten Interpretierbarkeit als bei einfacheren Modellen einher.

Die Architektur allein bestimmt nicht die Qualität. Datenkonstruktion, Zielsetzung, Optimierung, Regularisierung und Evaluierung beeinflussen alle, ob ein neuronales Netzwerk über seine Trainingsbeispiele hinaus generalisiert.

Zeitreihenmodelle

Zeitreihenmodelle berücksichtigen die Reihenfolge, in der Beobachtungen auftreten. Ein Prognosesystem muss möglicherweise Trends, wiederkehrende saisonale Muster, verzögerte Effekte und externe Variablen darstellen, die sich im Laufe der Zeit ändern.

Statistische Modelle wie Autoregressive Integrated Moving Average (ARIMA) verwenden vergangene Werte und Restmuster, um zukünftige Beobachtungen zu schätzen. Exponentielle Glättungsmethoden modellieren Komponenten wie Niveau, Trend und Saisonalität. Baum-Ensembles können konstruierte Lag- und Rolling-Window-Features verwenden, während rekurrente Netzwerke und Transformer zeitliche Darstellungen aus Sequenzen erlernen können.

Die Auswahl von Zeitreihenmodellen läuft oft darauf hinaus, Genauigkeit, Interpretierbarkeit und Rechenkosten in Einklang zu bringen. Schmaus erklärt: „Klassische Methoden wie ARIMA und exponentielle Glättung sind schnell zu trainieren, hocheffizient und leicht zu interpretieren, während neuronale Methoden eine höhere Genauigkeit aufweisen und exogene Eingaben und Nichtlinearitäten integrieren können, allerdings auf Kosten der Trainings- und Inferenz-Effizienz.“

Die Evaluierung muss auch die zeitliche Reihenfolge wahren. Ein zufälliger Train-Test-Split kann zukünftige Informationen in das Training einfließen lassen und ein unrealistisch günstiges Ergebnis liefern. Anwender:innen verwenden stattdessen zeitbasierte Holdouts oder rollierende Evaluierungsfenster, die der Art und Weise, wie Prognosen erstellt werden, näher kommen.

Foundation-Modelle

Ein Foundation-Modell wird mit breiten Daten trainiert, typischerweise in erheblichem Umfang, und ist darauf ausgelegt, die Anpassung an viele nachgelagerte Aufgaben zu unterstützen. Die Kategorie umfasst LLMs sowie Modelle, die für Bilder, Audio, biologische Sequenzen und andere Modalitäten trainiert wurden.

Die meisten Foundation-Modelle verwenden neuronale Netzwerke und selbstüberwachtes Pre-Training. Anstatt für jedes Beispiel ein separates, von Menschen erstelltes Label zu sammeln, leitet der Trainingsprozess Ziele aus den Daten ab, wie z. B. die Vorhersage eines fehlenden Tokens oder die Ausrichtung verwandter Bild- und Textdarstellungen.

Nach dem Vortraining kann das Modell durch Prompt, Abruf, Optimierung (Fine-Tuning) oder zusätzliche aufgabenspezifische Ebenen angepasst werden. Diese Wiederverwendung unterscheidet es von einem Modell, das ausschließlich für eine begrenzte Vorhersageaufgabe trainiert wurde.

Beispiele sind LLMs wie GPT, Claude, Llama und Mistral sowie multimodale Modelle wie Gemini und Qwen2.5-VL. Die Kategorie umfasst auch Bildgenerierungsmodelle wie Stable Diffusion und FLUX, Sprachmodelle wie Whisper und biologische Foundation-Modelle wie ESM. Obwohl diese Modelle sehr unterschiedliche Aufgaben unterstützen, teilen sie die Eigenschaft eines breiten Pre-Trainings, gefolgt von einer Anpassung an nachgelagerte Anwendungen durch Prompting, Retrieval, Feinanpassung oder zusätzliches Training.

Die Modellauswahl ist ein empirischer Prozess. Verschiedene Familien treffen unterschiedliche Annahmen über die Daten und bringen unterschiedliche Kompromisse mit sich, sodass Anwender:innen in der Regel mehrere Kandidaten vergleichen, bevor sie denjenigen auswählen, der am besten zur Aufgabe und zu den betrieblichen Anforderungen passt.

Definieren Sie die Aufgabe und die Evaluierungskriterien

Bestimmen Sie zunächst, ob die Ausgabe eine Klasse, ein numerischer Wert, ein Ranking, ein Cluster, eine Prognose oder ein generiertes Ergebnis ist. Identifizieren Sie dann, wie die Ausgabe verwendet wird.

In einem medizinischen Screening-System beispielsweise ist das Übersehen eines positiven Falls mit ganz anderen Kosten verbunden als das Einsenden eines zusätzlichen Falls zur Überprüfung. Bei der Nachfrageprognose kann eine Unterschätzung teurer sein als eine gleich große Überschätzung. Die Evaluierungsmetrik sollte diese Konsequenzen darstellen, anstatt nur konventionell für die Aufgabe zu sein.

Untersuchen Sie die verfügbaren Daten

Stichprobengröße, Feature-Typen, Sparsity, Label-Qualität und zeitliche Struktur schränken die praktischen Kandidaten ein.

Baum-Ensembles bieten oft starke Baselines für strukturierte Daten, die gemischte Feature-Beziehungen enthalten. Lineare Modelle funktionieren gut, wenn die Beziehung annähernd linear ist oder Transparenz wichtig ist. SVMs eignen sich möglicherweise für mittelgroße, hochdimensionale Daten, während neuronale Netzwerke oft in Betracht gezogen werden, wenn große Mengen unstrukturierter oder hochdimensionaler Daten verfügbar sind.

Dies sind jedoch eher Ausgangspunkte als Auswahlregeln. In einem Benchmark, der 176 tabellarische Datasets umfasste, variierte die relative Performance von neuronalen Netzwerken und Gradient-Boosted Trees mit Eigenschaften wie Feature-Verteilungen, und eine bescheidene Anpassung war manchmal wichtiger als die Wahl zwischen den beiden Familien.

Legen Sie betriebliche Einschränkungen frühzeitig fest

Ein Modell, das die beste Offline-Metrik liefert, kann für seine Produktionsumgebung dennoch ungeeignet sein. Teams müssen möglicherweise Folgendes begrenzen:

• Trainingszeit und Infrastrukturkosten
• Inferenzlatenz
• Speicher- und Modellgröße
• Häufigkeit und Kosten des Retrainings
• Hardware-Abhängigkeiten
• Erklärungsanforderungen
• Volumen und Muster von Vorhersageanfragen

Betriebliche Kompromisse ändern oft, welches Modell die bessere Wahl ist. Ein Nearest-Neighbor-Modell erfordert möglicherweise wenig Training, verlagert aber mehr Kosten auf die Inferenz, während ein Ensemble die prädiktive Performance auf Kosten von Latenz und Speicher verbessern kann. Ein einfacheres lineares Modell kann daher einfacher zu prüfen, bereitzustellen und neu zu trainieren sein, selbst wenn ein komplexerer Kandidat ein geringfügig besseres Ergebnis liefert.

Etablieren Sie eine einfache Baseline

Eine Baseline zeigt, ob zusätzliche Komplexität einen sinnvollen Gewinn bringt. Für die Regression kann dies mit der Vorhersage des historischen Durchschnitts und dem anschließenden Fitting eines linearen Modells beginnen. Für die Klassifizierung könnten Anwender:innen eine Mehrheitsklassenregel, logistische Regression und einen flachen Entscheidungsbaum vergleichen, bevor sie Ensembles oder neuronale Netze hinzufügen.

Die Baseline testet auch die Pipeline. Unerwartet starke Ergebnisse können auf Leakage hinweisen, während unerwartet schwache Ergebnisse Probleme bei Labels, Joins, der Feature-Konstruktion oder der Evaluierung aufdecken können.

Modelle unter konsistenten Bedingungen vergleichen

Kandidatenmodelle sollten dieselben Datenpartitionen und Evaluierungsverfahren verwenden. Die Anpassung der Hyperparameter muss ohne Rücksprache mit dem finalen Testset erfolgen, da wiederholte Entscheidungen aufgrund der Testperformance dieses Set in eine weitere Quelle für Trainingsfeedback verwandeln.

Kreuzvalidierung kann abschätzen, wie die Performance über verschiedene Teilmengen der Daten hinweg variiert, insbesondere wenn die verfügbare Stichprobe begrenzt ist. Zeitabhängige Daten erfordern Aufteilungen, die die Chronologie bewahren.

Der Modellvergleich sollte auch die Variabilität einbeziehen. Ein leicht höherer Durchschnittswert ist möglicherweise nicht aussagekräftig, wenn die Ergebnisse über Folds, Seeds oder Zeitfenster hinweg stark schwanken.

Underfitting und Overfitting ausbalancieren

Ein Underfit-Modell ist zu stark eingeschränkt, um wichtige Beziehungen zu erfassen. Ein Overfit-Modell lernt Muster, die spezifisch für seine Trainingsstichprobe sind, und funktioniert bei neuen Daten weniger zuverlässig.

Dies wird oft durch den Bias-Varianz-Kompromiss beschrieben. Schätzer mit hohem Bias neigen zu systematischen Vereinfachungen, während Schätzer mit hoher Varianz stark auf Änderungen im Trainingsset reagieren. Modellfamilie, Hyperparameter, Regularisierung und Trainingsdatenvolumen beeinflussen alle dieses Gleichgewicht.

Das Ziel ist nicht, das flexibelste Modell auszuwählen, sondern vielmehr genug Flexibilität zu finden, um das nützliche Signal darzustellen, ohne Rauschen anzupassen oder betriebliche Kosten zu verursachen, die den Gewinn nicht rechtfertigen.

Unter erwarteten Produktionsbedingungen testen

Vor der Bereitstellung sollte die Evaluierung Bedingungen umfassen, auf die das Modell wahrscheinlich stoßen wird: fehlende Felder, neue Kategorien, verzögerte Features, ungewöhnliche Volumina und Verschiebungen in der Eingabeverteilung.

Auch der Serving-Pfad verdient es, getestet zu werden. Die während des Trainings angewendete Vorverarbeitung muss während der Inferenz reproduziert werden, Feature-Definitionen müssen konsistent bleiben und die Latenz sollte über den gesamten Anfragepfad gemessen werden, anstatt nur die Modellberechnung allein.

Die Auswahl bleibt nach dem Start vorläufig. Sobald das Modell Produktionsdaten ausgesetzt ist, kann das Monitoring zeigen, ob Eingaben, Vorhersagen und Ergebnisse noch den Bedingungen entsprechen, unter denen es evaluiert wurde.

Ein Modell für maschinelles Lernen kodiert Muster in seinen Trainingsdaten. Es bestimmt nicht unabhängig, ob diese Muster vollständig, kausal oder für die getroffene Entscheidung angemessen sind.

Unvollständige Repräsentation

Trainingsdaten sind eine Stichprobe vergangener Beobachtungen, die von bestehenden Systemen und Prozessen erzeugt wurden. Sie können relevante Populationen, seltene Bedingungen oder Variablen auslassen, die nicht aufgezeichnet wurden. Ein Modell, das mit dieser Stichprobe trainiert wurde, kann auf einer zurückgehaltenen Teilmenge gut abschneiden, während es in Umgebungen, die die Quelldaten kaum repräsentierten, unzuverlässig bleibt.

Overfitting und Verteilungsverschiebung

Selbst ein sorgfältig evaluiertes Modell kann auf Produktionsdaten stoßen, die sich von seinen Trainingsdaten unterscheiden. Das Kundenverhalten ändert sich, Sensoren werden ausgetauscht, vorgelagerte Definitionen werden überarbeitet und neue Produkte verändern die Feature-Verteilung. Einige Verschiebungen verringern die Gesamt-Performance, während andere nur eine bestimmte Population oder Betriebsbedingung betreffen. Aus diesem Grund kann ein aggregiertes Monitoring eine lokalisierte Verschlechterung übersehen.

Bias in Daten und Labels

Historische Labels spiegeln wider, wie frühere Entscheidungen getroffen und gemessen wurden. Wenn einige Gruppen weniger Chancen, eine weniger vollständige Nachverfolgung oder andere Überprüfungsstandards erhielten, kann das resultierende Label diese Unterschiede kodieren.

Daten-Bias kann auch durch Stichprobenziehung, fehlende Werte, Proxy-Variablen und die Wahl des Optimierungsziels entstehen. Die Abschwächung erfordert die Untersuchung, wie die Daten produziert wurden, die Evaluierung der Ergebnisse über relevante Gruppen hinweg und die Überprüfung, wie die Ausgaben des Modells die spätere Datenerfassung beeinflussen.

Begrenzte Interpretierbarkeit

Modelle variieren darin, wie leicht ihre Mechanik inspiziert werden kann. Lineare Koeffizienten und kleine Entscheidungsbäume bieten relativ direkte Repräsentationen, während große Ensembles und neuronale Netze eine Vorhersage über viele interagierende Komponenten verteilen.

Post-hoc-Erklärungsmethoden können den Feature-Einfluss abschätzen oder lokales Verhalten charakterisieren, aber diese Erklärungen haben ihre eigenen Annahmen und Einschränkungen. Das erforderliche Maß an Interpretierbarkeit hängt von der Entscheidung, der Zielgruppe und den geltenden Governance-Anforderungen ab.

Korrelation ohne Kausalität

Prädiktive Modelle nutzen oft Korrelationen aus, die Schätzungen verbessern, ohne den Mechanismus zu identifizieren, der sie hervorgebracht hat. Ein Feature kann stark prädiktiv sein, weil es als Proxy für eine andere Variable dient oder weil ein früherer Geschäftsprozess die Beziehung geschaffen hat.

Dies kann für einige Prognoseaufgaben ausreichend sein, ist es aber weniger, wenn das Unternehmen wissen möchte, welche Intervention das Ergebnis verändern wird. Kausale Fragen erfordern Studiendesigns und Annahmen, die über die standardmäßige prädiktive Modellierung hinausgehen.

Wartungskosten

Ein Modell ist mit Daten-Pipelines, Feature-Logik, Serving-Infrastruktur und Geschäftsdefinitionen verbunden. Änderungen an einer dieser Komponenten können sein Verhalten beeinflussen. Teams müssen den Trainingskontext beibehalten, Modellartefakte versionieren, das Produktionsverhalten überwachen und bestimmen, wann ein Modell untersucht, neu trainiert oder ausgemustert werden muss. Der betriebliche Aufwand wächst, wenn ein Unternehmen viele Modelle mit unterschiedlichen Eigentümer:innen, Abhängigkeiten und Aktualisierungsplänen unterhält.

Die Modellentwicklung stützt sich auf Datenaufbereitung, Experimente, Rechenressourcen, Versionsverwaltung und Inferenz. Wenn diese Phasen auf unzusammenhängende Umgebungen aufgeteilt sind, müssen Teams Datensätze und Feature-Logik reproduzieren, Artefakte zwischen Systemen verschieben und rekonstruieren, welche Eingaben eine bestimmte Modellversion hervorgebracht haben.

Snowflake ML unterstützt diese Phasen neben verwalteten Unternehmensdaten. Anwender:innen können Features aufbereiten, Modelle trainieren, Experimente vergleichen, Modellversionen registrieren, Inferenz ausführen und das Produktionsverhalten über Snowflake-Funktionen überwachen.

Snowpark bietet DataFrame-APIs für die Abfrage und Verarbeitung von Daten in Snowflake mit Python, Java oder Scala. Für Python-Workflows für maschinelles Lernen können Anwender:innen Transformationen konstruieren und mit Snowflake-Daten arbeiten, ohne zuerst das komplette Trainingsset in ein separates Verarbeitungssystem zu exportieren.

Für Workloads, die spezialisierte Bibliotheken, CPUs oder GPUs erfordern, bietet die Snowflake Container Runtime vorkonfigurierte, anpassbare Umgebungen für Experimente, Modelltraining, Hyperparameter-Anpassung und Batch-Inferenz. Die Umgebungen sind versioniert, sodass Teams einen Workload an eine bestimmte Runtime binden und Migrationen auf spätere Versionen planen können.

Sobald ein Modell trainiert ist, kann es in der Snowflake Model Registry mit seinen Metadaten und Versionen protokolliert werden. Die Registry unterstützt gängige Modelltypen, einschließlich scikit-learn, XGBoost, LightGBM, CatBoost, PyTorch, TensorFlow, Keras, MLflow-Modelle und Hugging Face-Pipelines, mit Unterstützung für benutzerdefinierte Modelltypen über die CustomModel-Schnittstelle.

Registrierte Modelle können Batch-Inferenz in einem virtuellen Warehouse von Snowflake ausführen oder Snowpark Container Services für Workloads verwenden, die andere Rechenressourcen-Eigenschaften erfordern. Snowflake unterstützt auch verwaltete Echtzeit-Inferenzdienste mit dedizierten HTTP-Endpunkten für interaktive Anwendungen mit geringer Latenz.

Die Aufbewahrung von Modellversionen und Metadaten innerhalb der verwalteten Umgebung gibt Teams auch eine klarere Aufzeichnung darüber, was Vorhersagen liefert. Zugriffskontrollen können bestimmen, wer ein Modell verwaltet oder aufruft, während gespeicherte Metriken und Metadaten den Vergleich und das Lifecycle-Management unterstützen. Das Modell bleibt ein Teil des Produktionssystems, aber seine Beziehung zu Daten, Rechenressourcen und Governance ist leichter zu bewahren, wenn diese Komponenten über eine gemeinsame Plattform betrieben werden.

Modelle für maschinelles Lernen unterscheiden sich darin, wie sie Beziehungen darstellen, mit welchen Daten sie gut funktionieren und welche Kompromisse sie einführen. Diese Vielfalt ist Teil davon, wie sich maschinelles Lernen in Unternehmen in der Praxis entwickelt. Unternehmen benötigen die Flexibilität, verschiedene Familien zu evaluieren, das Modell auszuwählen, das zu jeder Aufgabe passt, und ein Portfolio zu unterstützen, das sich weiterentwickeln kann, wenn sich Daten, Anforderungen und verfügbare Methoden ändern.