[PYTHON] Ich habe versucht, Human In The Loop zu implementieren - Teil ① Dashboard -

Einführung

Human in the Loop (HITL) soll menschliche Operationen in die Beurteilung und Kontrolle von KI eingreifen und wird als eines der Mittel zur sozialen Umsetzung von KI angesehen, wenn die Qualitätskontrolle schwierig ist. [Referenz 1] In diesem Artikel möchte ich ein Modell für maschinelles Lernen, ein Dashboard für die Überwachung und ein Verifizierungswerkzeug mit einer einfachen WEB-Anwendung implementieren, damit ich das Bild von HITL erfassen kann. (Insgesamt dreimal geplant) In HITL ist ein Dashboard, mit dem Sie die tatsächlichen Daten und das KI-Verhalten gleichzeitig überprüfen können, für die Überwachung wirksam. In Teil 1 werden wir Ziele festlegen, Nutzungsdaten einführen und ein Überwachungs-Dashboard implementieren.

Inhaltsverzeichnis der HITL-Implementierung
Teil ① Dashboard ← Diesmal Teil② Überprüfungstool Teil ③ HITL (① und ② + Modell-Wiederlernmechanismus)

■ Implementierungsergebnis ■ Umgebung

Python 3.7.7 dash 1.16.1 dash-bootstrap-components 0.10.7 dash-core-components 1.12.1 dash-html-components 1.1.1 dash-renderer 1.8.1 dash-table 4.10.1 plotly 4.10.0 Flask 1.1.2 lightgbm 3.0.0

Zielsetzung

Abhängig von der Aufgabe werden verschiedene Konstruktionen von HITL erwartet, aber in dieser Serie werden wir diejenige übernehmen, die auf der Erkennung von Anomalien basiert.

■ Implementieren Sie Folgendes in der WEB-Anwendung

--Überwachung --Dashboard (Diagramm) --Maschinenlernmodell

• Bekannte Anomalieerkennung mit überwachtem Modell
• Erkennungsmodell
• Unbekannte Erkennung ohne Lehrermodell (unbekannt ohne Überprüfung auf normal oder abnormal)
• Expertenüberprüfung
• Implementiert mit Kenntnis der Anmerkungswerkzeuge --Überprüfen Sie, ob der Prüfer für den unbekannten Erkennungsteil normal oder abnormal ist --Szenario
• Das Erkennungsmodell ist unbekannt (das Modell des maschinellen Lernens wird als abnormal beurteilt).
• Der Prüfer überprüft den unbekannten Erkennungsteil und stellt fest, dass er normal ist.
• Erhalten Sie das Urteil und trainieren Sie den relevanten Teil neu, damit das Modell ihn als normal beurteilt.

Nutzungsdaten

Bei der Implementierung wurden Daten aus der Erkennung von Kreditkartenbetrug von Kaggle verwendet. [Referenz 2]

Diese Daten sind unausgeglichene Daten mit der objektiven Variablen der betrügerischen Verwendung von Kreditkarten und werden häufig zum Ausprobieren von Anomalieerkennungsmodellen verwendet.

Die Originaldaten enthalten PCA-Daten von V1 bis V28. Da der Zweck dieser Zeit eine Demonstration zum Erfassen des Bildes ist, wird die Menge der Eingabefunktionen auf 2 Variablen (V4, V14) * eingestellt, damit sie bei der Visualisierung leicht verständlich sind.

• Wir haben im Voraus bestätigt, dass eine nicht autorisierte Verwendung nur mit V4 und V14 erkannt werden kann.

In der Demo werden wir die oben genannten Daten sowie unbekannte normale Daten künstlich überwachen, verifizieren und neu lernen. Unbekannte normale Daten, die künstlich erstellt wurden, müssen im Szenario die folgenden Anforderungen erfüllen.

① Das überwachte Modell erkennt fälschlicherweise (stellt fälschlicherweise fest, dass es abnormal ist) (2) Das Erkennungsmodell kann erkannt werden (dh die künstlichen Daten unterscheiden sich deutlich von den ursprünglichen Lerndaten). ③ Auch beim erneuten Lernen kann das überwachte Modell das vorhandene Abnormalitätsurteil beibehalten

Basierend auf dem oben Gesagten haben wir die Demo-Daten erstellt. (Weniger als) (1 bis 8 s: bekannt (abnormal bei 3 s), 9 bis 11 s: unbekannt, zweimal wiederholt)

Technologie verwendet

Beschreibt das Framework und das Modell für die Implementierung.

■ Visualisierungsteil

• flask
• Leichtes Webanwendungs-Framework --Übertragung zwischen WEB-Anwendung und Server durch Routing-Funktion
• Dash --Web Application Framework, spezialisiert auf Visualisierung [Referenz 5]
• Eine Verlängerung des Kolbens mit einem ähnlichen Codierungsgefühl
• plotly
• Interaktives Visualisierungsframework [Referenz 6]
• Mit Bokeh unter ähnlichen Frameworks in Python

■ Modell des maschinellen Lernens, Erkennungsmodell

--Maschinenlernmodell - LightGBM

• Zeigen Sie die Punktzahl der binären Klassifizierung an (normal: 0, ungültig: 1)
• Verwenden Sie zunächst das, was Sie im Voraus gelernt haben
• Erkennungsmodell
  • KNN
• Der Näherungsabstand wird als Grad der Abnormalität festgelegt, und der Schwellenwert wird abgeschnitten und binärisiert (normal: 0, unbekannt: -1).
• Verwenden Sie zunächst das, was Sie im Voraus gelernt haben

Implementierung

Wir werden es unten separat implementieren.

1. 1. Dashboard ← diesmal
2. Überprüfungstool
3. 3. HITL ((1) und (2) + Modell-Wiederlernmechanismus)

1. 1. Instrumententafel

■ Implementierungsdetails

• Ziel: Einfaches Dashboard (Diagramm + α) --Eingabe: Tabellendaten (CSV-Datei)
• Ausgabe: Verifizierungsdaten mit hoher (beobachteter) Anomalie --Abnormalitätsbeurteilung: Zeigen Sie die Anomaliebewertung des Modells neben den tatsächlichen Daten an
• Sonstiges: Echtzeit-Update
• • Α: Hier werden zusätzlich zum Diagramm ein Kreisdiagramm, ein Distplot, ein Balkendiagramm und eine Tabelle implementiert.

■ Implementierungsimage

■ Implementierungsergebnis

Zusammenfassung

Dieses Mal haben wir ein Dashboard implementiert, das für die Überwachung in Human In The Loop verwendet werden kann. Das Dashboard visualisiert die tatsächlichen Dateninformationen und die KI-Punktzahl in Echtzeit, sodass leichter zu verstehen ist, wo sich die KI auf die tatsächlichen Daten konzentriert. (In diesen Daten scheint AI zu beurteilen, dass es ungültig ist, wenn V4 positiv und V14 negativ ist.) Durch die Verwendung von Dash und Plotly war es für mich relativ einfach, die HTML- und CSS-Teile zu codieren. Vor allem möchte ich, dass Sie das Gefühl haben, dass Sie eine solche WEB-Anwendung, die in Echtzeit ausgeführt wird, problemlos implementieren können.

Wenn Sie Verbesserungen oder Fragen haben, würde ich mich freuen, wenn Sie einen Kommentar abgeben könnten.

Referenz

1. Human-in-the-Loop-KI, die ein besseres Geschäft, eine bessere Gesellschaft und eine bessere Zukunft schafft https://note.com/masayamori/n/n2764e3cecc05

2. Kaggle - Credit Card Fraud Detection https://www.kaggle.com/mlg-ulb/creditcardfraud

3. Erstellen Sie eine Webanwendung, die maschinelles Lernen mit Dash ermöglicht [Schritt 1] https://wimper-1996.hatenablog.com/entry/2019/10/28/dash_machine_learning1

• Ich habe es als Referenz bei der Verarbeitung von Tabellendaten in Dash verwendet.

4. Code veröffentlicht http://github.com/utmoto

5. Dash https://dash.plotly.com/

6. plotly https://plotly.com/