Erfahren Sie, was Support Vector Machines (SVMs) sind, wie sie funktionieren, sowie wichtige Komponenten, Typen, reale Anwendungen und Best Practices für die Implementierung.
Support Vector Machines (SVMs) sind Algorithmen, die überwachten ML-Modellen helfen, verschiedene Datenkategorien zu trennen, indem sie klare Grenzen zwischen ihnen festlegen. Als SVM-Klassifikator soll er Entscheidungsgrenzen für eine genaue Klassifizierung schaffen. Data Scientists nutzen diese Technologie, um KI- und ML-Modelle mit einer Vielzahl praktischer Anwendungen wie Bilderkennung, Betrugserkennung und Spamfilterung zu erstellen.
SVMs können hervorragend hochdimensionale Daten verarbeiten, wie z. B. einen Gehirnscan mit Millionen von Datenpunkten. Sie können auch vor Überanpassung schützen, wenn ein Modell anhand der Daten, mit denen es trainiert wurde, gute Prognosen trifft, aber bei der Begegnung mit neuen Daten schlecht abschneidet.
Dieser Leitfaden beschreibt, wie SVMs funktionieren und warum sie wichtige Tools sind, um mithilfe von ML-Modellen genaue Prognosen zu ermöglichen.
SVMs arbeiten, indem sie erkennen, wo die Margin zwischen den verschiedenen Datenkategorien am größten ist. Mit einem ML-Modell, das mit Bildern von Früchten trainiert wurde, könnte ein SVM beispielsweise lernen, Äpfel und Orangen anhand von Merkmalen wie Farbe, Form und Textur zu trennen. So entsteht eine Grenze, die als Hyperebene bezeichnet wird und mit der das Modell zwischen den beiden Kategorien unterscheidet.
Ein SVM kann sowohl mit linear trennbaren als auch mit nichtlinearen Daten arbeiten. Mit linearen Daten können Sie Äpfel und Orangen auf einem Diagramm mit Merkmalen wie Gewicht und Form zeichnen. Schwerere, rundere Objekte (Orangen) würden sich in einem Bereich ansammeln, während sich leichtere, weniger runde Objekte (Äpfel) an anderer Stelle ansammeln würden. Ein SVM würde die optimale Gerade finden, die diese Cluster mit einer möglichst großen Margin trennt, und dann diese Grenze (die Hyperebene) verwenden, um künftige Bilder von Früchten zu klassifizieren.
Die Klassifizierung und Trennung nichtlinearer Daten erfordert einen zusätzlichen Schritt. Nehmen wir an, Sie besitzen ein Pizzarestaurant und möchten herausfinden, wo Ihre treuesten Kunden wohnen. Sie stellen fest, dass Ihre besten Kund:innen in der Regel in der Nähe des Restaurants wohnen, wobei weniger häufige Besucher:innen in verschiedenen Abständen einen Ring um es bilden. Eine Grafik dieser Daten würde wie ein Donut aussehen, wobei treue Kunden das Loch in der Mitte bilden. Da die Daten jedoch nicht linear sind, können keine Grenzen gezogen werden, die beide Gruppen klar voneinander trennen. SVMs verlassen sich also auf mathematische Funktionen (sogenannte Kernel), ein Prozess, der als Kernel-Trick bezeichnet wird. Diese können die Daten in mehrere Dimensionen umwandeln und ermöglichen es, die größte Grenze zwischen den beiden Gruppen zu identifizieren. Einer der am weitesten verbreiteten Kernel ist der RBF-Kernel (Radial Basis Function), ideal für komplexe nichtlineare Daten.
Jeder SVM beinhaltet folgende Elemente:
Dies ist die Entscheidungsgrenze, die verschiedene Datenkategorien trennt: eine Linie in 2D-Räumen, eine Ebene in 3D oder eine höherdimensionale Oberfläche in komplexeren Datenräumen. Der SVM findet die optimale Hyperebene, die die Kategorien am besten einteilt.
Die Datenpunkte, die der Hyperebene am nächsten liegen und direkt beeinflussen, wo die Grenze gezogen wird, werden als Stützvektoren bezeichnet. Dies sind die kritischen Beispiele, die die Entscheidungsgrenze definieren. Wenn Sie sie entfernen würden, würde sich die Hyperebene verschieben.
Die Margin ist der Abstand zwischen der Hyperebene und den nächstgelegenen Datenpunkten jeder Klasse. SVMs maximieren diesen Spielraum, um eine möglichst robuste Trennung zwischen Kategorien zu schaffen.
Diese mathematischen Funktionen transformieren Daten in höhere Dimensionen, um eine lineare Trennung zu ermöglichen. SVMs können nichtlineare Daten verarbeiten, indem sie gekrümmte Grenzen im ursprünglichen Bereich finden.
Dieser Wert, der typischerweise als C ausgedrückt wird, steuert den Kompromiss zwischen maximaler Margin und Minimierung von Klassifizierungsfehlern. Ein hoher C-Wert priorisiert die korrekte Klassifizierung gegenüber einer großen Margin, während ein niedriger C-Wert die Klassifizierungsgenauigkeit zugunsten einer größeren Margin aufgibt.
Gammawerte steuern, wie eng die Entscheidungsgrenze an den Trainingsdaten haftet. High Gamma erzeugt sehr spezifische Grenzen, die eng an die einzelnen Datenpunkte anknüpfen, während Low Gamma glattere, verallgemeinerte Grenzen schafft, die kleine Details ignorieren.
In Fällen, in denen eine perfekte Trennung von Datenpunkten nicht möglich ist, können sich einige Datenpunkte aufgrund von Slack-Variablen auf der falschen Seite des Randes oder der Hyperebene befinden. Das Zulassen kleiner Mengen an Fehlklassifizierung erleichtert den Umgang mit verrauschten oder sich überlappenden Daten.
Im Folgenden haben wir die fünf wesentlichen Schritte zusammengefasst, die jedes SVM bei der Datenverarbeitung unternimmt:
Das SVM nutzt die ursprünglichen Eingabedaten und nutzt Kernelfunktionen, um sie in einen höherdimensionalen Raum zu transformieren, in dem eine lineare Trennung möglich wird. Dieser Schritt ist entscheidend für die Verarbeitung nichtlinearer Daten. Was im ursprünglichen Raum als gekrümmte Grenze erscheint, wird im transformierten Raum zu einer Geraden.
Der SVM identifiziert die Hyperebene (Entscheidungsgrenze), die eine möglichst große Margin zwischen verschiedenen Klassen schafft. Sie konzentriert sich auf die Stützvektoren – die Datenpunkte, die der Grenze am nächsten liegen – und positioniert die Hyperebene, um den Abstand zu diesen kritischen Punkten aus jeder Klasse zu maximieren.
Wenn aufgrund sich überlappender Klassen oder verrauschter Daten keine perfekte Trennung möglich ist, führt der SVM Slack-Variablen ein, die einige Fehlklassifizierungen zulassen. Der Regularisierungsparameter (C) balanciert zwischen maximaler Margin und Minimierung dieser Klassifizierungsfehler.
Das SVM optimiert wichtige Hyperparameter wie C, Gamma und Kernel, um das Modell komplex genug zu machen, um genau zu sein, aber einfach genug, um gut mit neuen Daten zu arbeiten, die es bisher nicht gesehen hat. So vermeidet der SVM eine Überanpassung, bei der sich ein Modell zu sehr auf Trainingsdaten spezialisiert und bei neuen Beispielen schlecht abschneidet.
Bei neuen, unsichtbaren Datenpunkten wendet das trainierte SVM dieselbe Kerneltransformation an und prüft einfach, auf welche Seite der gelernten Hyperebene jeder Punkt fällt. Der Abstand von der Hyperebene kann auch den Vertrauensgrad der Klassifizierung anzeigen.
Es gibt fünf primäre Arten von Support Vector Machines:
Lineare SVMs kommen zum Einsatz, wenn Daten durch eine gerade Linie oder eine flache Hyperebene getrennt werden können. Da sie sich nicht auf Kernel-Transformationen verlassen, sind lineare SVMs recheneffizient und einfach zu interpretieren.
Wenn keine lineare Trennung möglich ist, verwenden nichtlineare SVMs Kernfunktionen, um Daten in höhere Dimensionen zu transformieren. Dadurch entstehen geschwungene Entscheidungsgrenzen im ursprünglichen Bereich, wodurch es ideal für komplexe, nichtlineare Datenmuster wie ein klassisches donutförmiges Dataset ist.
Einklassen-SVMs wurden für die Erkennung von Anomalien und Neuheiten entwickelt und lernen die Grenzen rund um „normale“ Daten kennen und erkennen alles außerhalb dieser Daten als Ausreißer oder Anomalie. Diese Art von Maschine wird typischerweise in der Betrugserkennung und Qualitätskontrolle eingesetzt.
Diese Art von Maschine verwendet SVM-Techniken, um Zahlen statt Kategorien vorherzusagen. Anstatt eine Linie zu ziehen, die verschiedene Gruppen trennt, zieht SVR eine Linie, die am besten durch die Datenpunkte passt, und bietet etwas Spielraum für Fehler. SVRs werden zur Vorhersage von Preisen, Temperaturen oder Verkaufszahlen eingesetzt.
Multi-Klasse-Maschinen bewältigen Klassifizierungsprobleme, die mehr als zwei Kategorien betreffen, indem sie mehrere reguläre SVMs kombinieren. Da Standard-SVMs nur zwei Gruppen gleichzeitig trennen können, werden bei diesem Ansatz mehrere SVMs verwendet, um zwischen mehreren Kategorien zu unterscheiden – beispielsweise die Klassifizierung von Bildern von Früchten in Äpfel, Orangen und Bananen.
SVMs werden in einer Vielzahl von Anwendungen eingesetzt, bei denen maschinelles Lernen zum Einsatz kommt. Hier einige der häufigsten Anwendungsfälle:
SVM-Klassifikatoren sind in der Lage, Pixelmuster und separate visuelle Merkmale schnell zu analysieren und so Objekte, Gesichter und Szenen in digitalen Bildern zu erkennen. Sie werden häufig in der medizinischen Bildgebung zum Nachweis von Tumoren in Röntgen- oder MRT-Bildern sowie in Sicherheitssystemen zur Gesichtserkennung und -überwachung eingesetzt.
SVMs analysieren Wortmuster und sprachliche Merkmale, um E-Mails, Dokumente und Webinhalte automatisch in Kategorien zu sortieren. E-Mail-Anbieter nutzen sie, um Spam zu filtern, indem sie lernen, zwischen legitimen Nachrichten und unerwünschten werblichen oder böswilligen Inhalten zu unterscheiden.
Durch die Analyse komplexer biologischer Datenmuster helfen diese Systeme, DNA-Sequenzen zu klassifizieren, Proteinstrukturen vorherzusagen und krankheitsbedingte genetische Marker zu identifizieren. Sie eignen sich besonders gut für die Krebsforschung, um Tumortypen anhand von Genexpressionsprofilen zu klassifizieren.
SVMs wandeln handschriftlichen Text in digitales Format um, indem sie Strichmuster, Zeichenformen und räumliche Beziehungen in gescannten Dokumenten analysieren. Sie werden von Postdiensten verwendet, um Adressen auf Umschlägen automatisch zu lesen, und im Bankwesen, um handschriftliche Schecks und Formulare zu verarbeiten.
Diese SVM-Algorithmen analysieren Ausgabenmuster, Transaktionsbeträge, Standorte und Zeitpunkte, um potenziell betrügerische Finanztransaktionen zu kennzeichnen. Kreditkartenunternehmen und Banken nutzen sie, um in Echtzeit Anomalien zu erkennen und Kund:innen vor unbefugten Käufen zu schützen.
Darüber hinaus werden SVMs häufig in der Arzneimittelforschung eingesetzt, um molekulares Verhalten vorherzusagen und vielversprechende pharmazeutische Verbindungen zu identifizieren. Darüber hinaus unterstützen sie Empfehlungssysteme für Streamingdienste und E-Commerce-Plattformen, indem sie Nutzerpräferenzen und -verhaltensmuster analysieren, um relevante Inhalte oder Produkte vorzuschlagen.
SVMs sind nicht für jeden Anwendungsfall maschinellen Lernens geeignet. Im Folgenden stellen wir Ihnen die wichtigsten Vorteile und Einschränkungen der Bereitstellung dieser Algorithmen vor.
Sie sind äußerst genau. SVMs liefern konstant eine ausgezeichnete Klassifizierungsleistung über verschiedene Datasets hinweg. Indem sie sich auf die herausforderndsten Datenpunkte (Stützvektoren) konzentrieren und eine möglichst große Trennung zwischen Klassen schaffen, schaffen sie robuste Entscheidungsgrenzen, die sich gut auf neue, unsichtbare Daten generalisieren lassen.
Sie eignen sich gut für hochdimensionale Räume. SVMs verarbeiten Daten mit vielen Funktionen (z. B. die Analyse tausender Gene auf einmal) besser als die meisten anderen Methoden. Während andere Algorithmen durch zu viele Informationen verwirrt werden, werden SVMs sogar besser, weil sie sich nur darauf konzentrieren, die beste Grenzlinie zu finden, anstatt zu versuchen, jedes Detail der Daten zu verstehen.
Mit kleinen Datasets sind sie effektiv. SVMs können zuverlässige Modelle entwickeln, selbst wenn die Trainingsdaten begrenzt sind. Dadurch eignen sie sich ideal für spezialisierte Bereiche wie medizinische Diagnosen oder die Erkennung seltener Ereignisse. Dank ihrer mathematischen Grundlage können sie maximale Informationen aus minimalen Beispielen extrahieren und so Überanpassungsprobleme vermeiden, die andere Algorithmen plagen, wenn Daten knapp sind.
Sie sind speichereffizient. SVMs speichern nur die Stützvektoren (die kritischen Datenpunkte nahe der Entscheidungsgrenze) und nicht das gesamte Trainings-Dataset. Dadurch sind sie recheneffizient für Prognosen und reduzieren den Speicherbedarf – besonders wertvoll in Anwendungen mit begrenzten Rechenressourcen.
Sie sind vielseitig einsetzbar. SVMs können sowohl einfache geradlinige Probleme als auch komplexe gekrümmte Muster bewältigen, indem sie einfach die von ihnen verwendete mathematische Funktion (Kernel) wechseln. So können Sie mit demselben grundlegenden SVM-Ansatz völlig unterschiedliche Datenprobleme angehen, indem Sie einfach den richtigen Kernel für Ihre spezifische Situation auswählen.
Sie können rechenintensiv sein. Da die SVM-Trainingszeit mit der Anzahl der Datenpunkte drastisch ansteigt, können SVMs bei riesigen Datasets extrem langsam und speicherhungrig werden. Die Verarbeitung von Millionen von Beispielen kann Stunden oder Tage dauern, was sie für Big-Data-Anwendungen, bei denen schnellere Algorithmen bevorzugt werden, unpraktikabel macht.
Sie reagieren sensibel auf die Wahl des Kernels. Die Auswahl der falschen Kernelfunktion kann die SVM-Performance erheblich beeinträchtigen, und es gibt keine universelle Regel, um die beste Wahl zu treffen. Verschiedene Kernel funktionieren besser für unterschiedliche Datenmuster, weshalb umfangreiche Experimente und Fachwissen erforderlich sind, um die optimale Konfiguration für jedes Problem zu finden.
Sie sind weniger effektiv, wenn sich Klassen überlappen. Da sie darauf ausgelegt sind, klare Trennungsgrenzen zu finden, haben SVMs Probleme, wenn verschiedene Kategorien stark miteinander vermischt sind. Wenn Datenpunkte aus verschiedenen Klassen in denselben Regionen verstreut sind, können SVMs übermäßig komplexe Grenzen schaffen, die sich schlecht auf neue Daten verallgemeinern lassen.
Ihre Wahrscheinlichkeitsausgabe ist begrenzt. Im Gegensatz zu einigen anderen Algorithmen liefern SVMs keine automatischen Wahrscheinlichkeitsschätzungen oder Konfidenzniveaus für ihre Prognosen. Wahrscheinlichkeitsschätzungen können zwar hinzugefügt werden, doch dies erfordert zusätzliche Rechenschritte und ist möglicherweise nicht so zuverlässig wie Methoden, die diese Ausgaben von Natur aus erzeugen.
Sie können schwer zu interpretieren sein. SVM-basierte Modelle können unter dem Problem der „Blackbox“ leiden, was es schwierig macht, zu verstehen, warum sie spezifische Prognosen getroffen haben. Dieser Mangel an Interpretationsfähigkeit kann in Bereichen wie Medizin oder Finanzen problematisch sein, wo das Verständnis der Gründe für Prognosen entscheidend für Vertrauen und die Einhaltung gesetzlicher Vorschriften ist.
Im Folgenden haben wir fünf Best Practices für die Verwendung von SVMs zusammengefasst:
SVMs können verwirrt sein, wenn einige Datenmerkmale um Größenordnungen größer sind als andere. Stellen Sie sicher, dass alle Datenfunktionen ähnliche Zahlenbereiche verwenden (beispielsweise indem Sie Alter und Einkommen in dieselbe Zahlenskala umrechnen), um zu verhindern, dass Daten in einer anderen Skala die Ergebnisse verzerren.
Jeder Kernel erfasst verschiedene Arten von Datenmustern. Das Testen mehrerer Kerneloptionen hilft also, die beste Lösung für Ihr spezifisches Problem zu finden. Vielleicht möchten Sie mit einem linearen Kernel für hochdimensionale Daten beginnen und dann RBF für nichtlineare Muster ausprobieren. Betrachten Sie Polynomkerne für strukturierte Beziehungen.
Testen Sie verschiedene Kombinationen von Einstellungen (z. B. C- und Gammawerte) mit einem systematischen Ansatz, der Ihr Modell in mehreren Teildatenmengen testet. So finden Sie die besten Einstellungen, die mit neuen Daten gut funktionieren, nicht nur mit den Daten, die Sie für das Training verwendet haben.
Halten Sie ein separates Validierungsset bereit, um nachzuverfolgen, wie Ihr Modell mit unsichtbaren Daten während des Trainings und der Parameteranpassung abschneidet. Wenn die Trainingsgenauigkeit viel höher ist als die Validierungsgenauigkeit, reduzieren Sie die Modellkomplexität, indem Sie die C- oder Gammawerte senken.
Wenn eine Datenklasse deutlich größer ist als eine andere (z. B. 50 Spam-E-Mails vs. 1.000 legitime Nachrichten), passen Sie die SVM-Einstellungen mithilfe von Klassengewichtungen oder Stichprobenverfahren an, um beiden Gruppen die gleiche Aufmerksamkeit zu widmen. Die meisten SVM-Tools können dies automatisch für Sie ausgleichen, damit der Algorithmus nicht in Richtung der häufigsten Kategorie verzerrt wird.
Support Vector Machines sind aufgrund ihrer Fähigkeit, robuste Entscheidungsgrenzen zwischen verschiedenen Datenklassen zu schaffen, einer der zuverlässigsten Algorithmen für maschinelles Lernen. Sie sind besonders wertvoll, wenn es darum geht, mit begrenzten Trainingsdaten zu arbeiten, oder wenn Präzision entscheidend ist.
SVMs eignen sich hervorragend für zahlreiche Anwendungen, darunter medizinische Diagnosen, Finanzbetrugserkennung, Genklassifizierung, Spamfilterung und Handschrifterkennung. Dank ihrer Fähigkeit, hochdimensionale Daten zu verarbeiten, eignen sie sich besonders für moderne Herausforderungen wie die Analyse genetischer Sequenzen mit Tausenden von Merkmalen oder die Verarbeitung von Textdokumenten mit umfangreichen Vokabeln.
Sie sind auch weiterhin ein leistungsstarkes Werkzeug für akademische Forschung und Industrie, insbesondere für Aufgaben, die hohe Genauigkeit und robuste Entscheidungsgrenzen erfordern.
SVMs eignen sich am besten, um Daten in Kategorien zu sortieren, wenn Sie sehr genaue Ergebnisse benötigen, aber nicht über große Mengen an Trainingsbeispielen verfügen. Sie können besonders gut komplexe Daten mit vielen Funktionen verarbeiten, wie z. B. die Analyse von Text oder Bildern.
Mit dem Kernel-Trick können SVMs gekrümmte, nichtlineare Daten verarbeiten, indem sie mathematisch so tun, als ob die Daten in einer höheren Dimension vorliegen, wo sie durch eine gerade Linie getrennt werden können. Anstatt die Daten in höhere Dimensionen zu verschieben (was sehr langsam wäre), berechnen Kernel-Trickfunktionen hinter den Kulissen, damit das funktioniert. So können SVMs in ihren ursprünglichen Daten geschwungene Grenzen erstellen, während sie weiterhin ihre Standardmethoden für gerade Linien verwenden.
Die Unterstützungsvektorregression (SVR, Support Vector Regression) verwendet dieselben grundlegenden SVM-Ansätze, aber anstatt eine Linie zu ziehen, um Kategorien zu trennen, zeichnet sie eine Linie, die am besten durch Datenpunkte passt, um Zahlen vorherzusagen. Der wichtigste Unterschied besteht darin, dass SVR eine Margin akzeptabler Fehler um die Prognoselinie herum erzeugt: Solange die tatsächlichen Werte innerhalb der Fehlerspanne liegen, gelten sie als gute Prognosen.
