Machine-Learning-Modelle bewerten – Quality Gates etablieren

/ Berthold Schulte

Die Qualität bzw. Nützlichkeit von Machine-Learning-Modellen lässt sich mit Hilfe von Testdaten und Metriken bewerten. Allerdings in welchem Umfang? Manuell, automatisiert, einmalig, regelmäßig? Manuell lassen sich die ersten Modelle als Ergebnis eines Proof of Concepts sicherlich noch überschaubar bewerten und vergleichen. Steigt die Anzahl der Modelle je nach Anwendungsfall in die Dutzende oder gar Hunderte und sind diese zudem noch beständig neu zu trainieren, skaliert das manuelle Vorgehen eher nicht mehr.

Die Vorbereitung der Daten, das Training der Modelle sowie deren Bewertung lässt sich in Form von Machine-Learning-Pipelines automatisieren. Eine qualifizierte Bewertung der Daten oder eine Bewertung der Vorhersagegüte eines Modells hat aber seine Tücken – insbesondere in automatisierter Form.

Weiterlesen im codecentric Blog: Machine-Learning-Modelle bewerten – Quality Gates etablieren

Buchtipp: Machine Learning mit Python: Das Praxis-Handbuch für Data Science, Predictive Analytics und Deep Learning

/ Berthold Schulte

Auf der Suche nach einem Buch mit einer umfassenden aber kompakten Einführung in Maschinelles Lernen und kleinen Beispielen aus der Praxis bin ich vor ein paar Jahren auf das Buch von Sebastian Raschka: Machine Learning mit Python: Das Praxis-Handbuch für Data Science, Predictive Analytics und Deep Learning gestoßen. Nun kann man 400+ Seiten (Druckversion) wahrscheinlich nicht als kompakt betrachten, aber angesichts des Themenspektrums und Komplexität finde ich es durchaus angemessen.
Weiterlesen →

Softwaredesigndokumente – sinnvoller Einsatz im Projektalltag

/ Berthold Schulte

Ist die Dokumentation des Softwaredesigns für die erfolgreiche Entwicklung und Wartung von Software unentbehrlich? Wer oder was hat eigentlich Einfluss auf den Sinn und Einsatz der Designbeschreibungen im Projekt? Und was ist zu beachten, damit sie nicht schon während des Projekts zum Papiertiger werden und einen Nutzen darstellen können?
Dieses eBook gibt Euch einen Überblick, welche Position die Designdokumentation in einem Softwareentwicklungsprojekt einnehmen kann, welchen Einflüssen sie unterliegt und wie sich der Alltag im Projekt mit ihr gestalten lässt.

Das Buch Softwaredesigndokumente – sinnvoller Einsatz im Projektalltag ist im Entwickler-Press Verlag erschienen und als eBook unter anderem auf amazon.de verfügbar.

Machine-Learning-Modelle bewerten – die Crux mit den Testdaten

/ Berthold Schulte

Machine-Learning-Technologien lassen sich erfolgreich und praxisnah im Unternehmensumfeld einsetzen. Ein konkreter, überschaubarer Anwendungsfall und somit fokussierter Einsatz von Machine-Learning-Modellen kann dabei echten Mehrwert generieren. Dieser Mehrwert hängt natürlich vom Anwendungsfall und der Performance der trainierten Modelle ab.

Das heisst, es gilt zu klären wie gut ein Modell die jeweilige Herausforderung eigentlich unterstützten kann. In diesem Artikel möchte ich daher erläutern, wie sich die Bewertung der Performance gestaltet, insbesondere abhängig davon wie viele Testdaten überhaupt zur Verfügung stehen oder stehen sollten.

Weiterlesen im codecentric Blog: Machine-Learning-Modelle bewerten – die Crux mit den Testdaten

Machine-Learning-Modelle bewerten – die Crux mit der Metrik

/ Berthold Schulte

Ist ein Modell erst einmal trainiert, kann es auf verschiedene Art und Weise und mit mehr oder weniger komplexen und aussagekräftigen Verfahren und Metriken bewertet werden. Die Anzahl und möglichen Kriterien, ein Modell zu bewerten, sind allerdings zunächst recht unübersichtlich, wenn man beginnt, sich mit dem Thema Machine Learning zu beschäftigen.

So hängt es beispielsweise davon ab, ob es sich um nicht überwachtes oder überwachtes Lernen handelt, im Fall von überwachtem Lernen um eine Regression oder Klassifikation, welcher Anwendungsfall zu Grunde liegt und so weiter – um nur einige Kriterien zu nennen. Starten möchte ich mit dem überwachten Lernen und der Klassifikation. Dazu stelle ich in diesem Artikel sieben gängige Metriken und Methoden zur Bewertung einer Klassifikation an einem durchgängigen Beispiel einführend dar. Eine ausführliche Diskussion würde den Rahmen dieser Einführung allerdings sprengen, sodass ich auch die den Metriken zugrunde liegende Mathematik nur streife.

Weiterlesen im codecentric Blog: Machine-Learning-Model bewerten – die Crux mit der Metrik