Beim bestärkenden Lernen interagiert ein sogenannter Agent mit seiner Umgebung (Environment), um ein bestimmtes Ziel (Goal) zu erreichen. Hierbei erlernt der Agent was zu tun ist - wie man Situationen auf Aktionen abbildet -, um ein numerisches Belohnungssignal zu maximieren. Dem Lernenden wird nicht gesagt, welche Handlungen er ausführen soll, sondern er muss stattdessen durch Ausprobieren herausfinden, welche Aktionen die größte Belohnung bringen. In den interessantesten und herausforderndsten Fällen können die Aktionen sich nicht nur auf die unmittelbare Belohnung auswirken, sondern auch auf die nächste Situation und damit auf alle nachfolgenden Belohnungen. [Sutton]

Deep Learning ist die Verwendung großer mehrschichtiger (künstlicher) neuronaler Netze, die mit kontinuierlichen (reellen Zahlen) Repräsentationen errechnen. Künstliche neuronale Netze bestehen aus sogenannten Hidden Layern und Hidden Units. Je höher die Anzahl der Hidden Layer und Units, desto tiefer ist ein neuronales Netz. Hieraus leitet sich der Name Deep (tief) Learning ab. Es ist derzeit der erfolgreichste Machine Learning Ansatz, verwendbar für alle Arten von Machine Learning, mit besserer Generalisierung aus kleinen Daten und besserer Skalierung auf große Daten und Rechenbudgets.

Entscheidungsbäume gehören zur Klasse der überwachten Lernalgorithmen und werden (meistens) zur Klassifikation verwendet, können aber auch für die Regression eingesetzt werden. Entscheidungsbäume setzen sich aus Knoten und Ästen zusammen. Ausgehend von einem Wurzelnoten (root node) gehen durch die Äste binäre Entscheidungen ab, die über innere Knoten (internal nodes) zu den Blattknoten (leaf nodes) gelangen. Innerhalb eines jeden Knotens werden Entscheidungen getroffen, die dann zu einer entsprechenden Klassifikation führen.

Hidden Layer sind ein wichtiger Bestandteil künstlicher neuronaler Netze. Sie befinden sich zwischen dem Input und Output Layer. In den Hidden Layern werden die Berechnungen eines neuronalen Netzes durchgeführt. Hierbei werden die Eingänge mit Hilfe von Gewichten und einer Aktivierungsfunktion (nicht linear) transformiert.

Der Input Layer eines künstlichen neuronalen Netzes repräsentiert die Eingabe Schicht. Mit diesem Layer werden die Daten an das neuronale Netz übergeben, sodass es diese verarbeiten kann. Im Input Layer finden keine Berechnungen statt.

Künstliche Intelligenz ist die Wissenschaft davon, Maschinen dazu zu bringen, Dinge zu tun, die Intelligenz erfordern würden, wenn sie von Menschen gemacht würden (Minsky, 1960)

Im Zentrum steht die Frage, wie Maschinen in die Lage versetzt werden können, intelligent zu handeln – und zwar intelligent so wie wir es vom Menschen kennen. Das Ziel der KI ist es also, Maschinen zu entwickeln, die so intelligent handeln, wie man es von einem Menschen erwartet. Es geht nicht um regelbasiertes Handeln, sondern darum, wie Maschinen in die Lage versetzt werden können, wirklich intelligent zu agieren. Künstliche Intelligenz ist der Versuch Maschinen zu befähigen intelligent zu handeln und sie so in die Lage zu versetzen Aufgaben zu lösen, die bisher nur von Menschen ausgeführt werden konnten.

Künstliche neuronale Netze werden im Bereich des Deep Learning eingesetzt. Ursprünglich wurden neuronale Netze dem menschlichen Gehirn nachempfunden, wodurch sich der Name "Künstliche neuronale Netze" etabliert hat. Neuronale Netze lernen während des Trainings eine Eingabe fester Größe (z. B. ein Bild) auf eine Ausgabe fester Größe (z. B. eine Wahrscheinlichkeit für jede von mehreren Kategorien) abzubilden. Tiefe neuronale Netze bestehen aus mehreren Hidden Layern, welche sich wiederum aus Hidden Units zusammensetzen. Um von einem Layer zum nächsten zu gelangen, wird innerhalb der Units eine gewichtete Summe ihrer Eingaben aus dem vorherigen Layer berechnet. Das Ergebnis wird durch eine nichtlineare Funktion an den nächsten Layer weitergegeben.

Maschinelles Lernen ist der Teil der Künstlichen Intelligenz, der untersucht, wie Computeragenten ihre Wahrnehmung, ihr Wissen, Denken oder Handeln auf der Grundlage von Erfahrungen oder Daten verbessern können. [Manning]

Maschinelles Lernen versetzt Systeme in die Lage, automatisch aus Erfahrungen zu lernen und sich zu verbessern, ohne explizit programmiert zu werden. Der Schwerpunkt des maschinellen Lernens liegt auf der Entwicklung von Computerprogrammen, die auf Daten zugreifen und sie nutzen können, um selbst zu lernen und ihr Verhalten zu verbessern.

Die Nächste-Nachbarn-Klassifikation ist ein Algorithmus, der zur Klassifikation von Daten verwendet wird. Das Besondere an diesem Algorithmus ist, dass es keine Trainingsphase gibt. Stattdessen werden zum Testzeitpunkt die (k) nächsten Nachbarn des zu klassifizierenden Datenpunktes x für die Klassifizierung verwendet. Die Anzahl k der Nachbarn ist hierbei ein Parameter, der frei gewählt werden kann. Auf Basis der Klassen der nächsten Nachbarn wird der Datenpunkt x klassifiziert.

Sequence Models sind eine Art von künstlichen neuronalen Netzen, die immer dort eingesetzt werden können, wo sequenzielle Daten betrachtet werden. Beispiele dafür sind Musik, also eine Abfolge von Tönen, Videos, bei denen ein Bild auf das nächste folgt und nicht zuletzt die menschliche Sprache, die aus der Aneinanderreihung verschiedener Worte resultiert. All die genannten Anwendungsfelder haben gemein, dass das vorherzusagende Sequenzglied stark davon abhängt, welches Glied vorher kam.

Support Vector Machines (SVMs) gehören zur Klasse der überwachten Lernalgorithmen und können sowohl zur Klassifikation als auch Regression verwendet werden. Bei der Klassifikation kann der Algorithmus auf Daten die linear trennbar, aber insbesondere auf Daten, die nicht linear trennbar sind, angewendet werden. Hierzu wird der Kernel-Trick verwendet. Mit diesem Trick werden die Daten in einen höherdimensionalen Raum überführt, in dem sie linear trennbar sind und dadurch mit Hilfe einer Hyperebene (Hyperplane) klassifiziert werden können.

Algorithmen für unüberwachtes Lernen arbeiten mit einem Datensatz, der viele Trainingsbeispiele enthält, um nützliche Eigenschaften über die Struktur dieses Datensatzes zu erlernen. Grob ausgedrückt besteht unüberwachtes Lernen darin, mehrere Beispiele eines Zufallsvektors x zu beobachten und zu versuchen, die Wahrscheinlichkeitsverteilung p(x) oder andere wichtige Eigenschaften der Verteilung implizit oder explizit zu erlernen [Goodfellow]

Algorithmen für überwachtes Lernen arbeiten mit einem Datensatz, der Trainingsbeispiele enthält. Jedes dieser Trainingsbeispiele (x) ist zudem mit einem Label (y) oder einem Zielwert versehen. Beim überwachten Lernen versucht der Algorithmus auf Basis der Zusammenhänge der einzelnen x und y zu erlernen y anhand von x vorherzusagen. Der Begriff überwachtes Lernen wird verwendet, da der Zielwert y von einem Menschen bereitgestellt wird, der dem Machine Learning System so zeigt, was es tun soll.