③ Erstellen Sie ein Jupyter-Notizbuch

Wenn der Status "In Betrieb" lautet, drücken Sie "Jupyter öffnen", um zum oberen Bildschirm des Jupyter-Notizbuchs zu gelangen. Wenn Sie zum oberen Bildschirm des Jupyter-Notizbuchs gehen, geben Sie oben rechts unter "neu" "conda_python3" an und erstellen Sie ein Notizbuch. Dies entspricht der Abbildung unten.

Importieren Sie die erforderlichen Konfigurationsvariablen und Bibliotheken. Ändern Sie das unten stehende Bucket-Element in den zuvor festgelegten S3-Bucket-Namen. Wenn sich die Regionen von SageMaker und S3 unterscheiden, funktioniert dies nicht. Seien Sie also vorsichtig, wenn die Regionen identisch sind. Der durch das Präfix angegebene Ordner wird in S3 neu erstellt. Es ist keine besondere Änderung erforderlich, aber es gibt kein Problem, auch wenn es entsprechend geändert wird. Deklarieren Sie abschließend die Rollen von boto3 und IAM. Obwohl es sich um boto3 handelt, handelt es sich um eine Bibliothek, die von AWS entwickeltes Python und verschiedene AWS-Services integriert.

Um eine Zelle auszuführen, drücken Sie Umschalt + Eingabetaste. Wenn die Ausführung abgeschlossen ist, wird sie wie in In [1] in der folgenden Abbildung gezeigt nummeriert. Gelegentlich lautet der Name der Zelle In [*], die Ausführung der Zelle dauert jedoch nur sehr lange. Warten Sie daher eine Weile, bevor Sie mit dem nächsten Schritt fortfahren.

In[1]

#Bitte setzen Sie den Bucket-Namen von S3 wie folgt
#S3-Präfix einstellen (keine Änderung erforderlich)
bucket = 'bank-xgboost'
prefix = 'sagemaker/xgboost-dm'
 
#Erklärung der IAM-Rolle
import boto3
import re
from sagemaker import get_execution_role
 
role = get_execution_role()

Importieren Sie als Nächstes die verschiedenen Bibliotheken, die für diese Modellkonstruktion erforderlich sind. Neben Numpy, Pandas und Matplotlib, die standardmäßiges maschinelles Lernen sind, werden auch ein Modul zum Plotten von Tabellen mit Ipython (Jupyter Notebook) und das Python SDK von SageMaker importiert.

In[2]

import numpy as np                                #Für Matrixoperationen und numerische Verarbeitung
import pandas as pd                               #Zum Ändern von Tabellendaten
import matplotlib.pyplot as plt                   #Zur Visualisierung von Figuren etc.
from IPython.display import Image                 #Anzeigen von Bildern im Notizbuch
from IPython.display import display               #Anzeige der Ausgabe im Notebook
from time import gmtime, strftime                 #Zum Beschriften von SageMaker-Modellen, Endpunkten usw.
import sys                                        #Zum Schreiben der Ausgabe auf ein Notebook
import math                                       #Für die Deckenfunktion
import json                                       #Zur Analyse der Hosting-Ausgabe
import os                                         #So bearbeiten Sie den Dateipfadnamen
import sagemaker                                  #Viele Hilfsfunktionen werden mithilfe des Python SDK von Amazon SageMaker bereitgestellt
from sagemaker.predictor import csv_serializer    #Konvertieren Sie HTTP-POST-Anforderungszeichenfolgen während der Inferenz

④ Herunterladen, Umfragen und Konvertieren von Trainingsdaten

Der Datensatz ist auf der Website der University of California in Irvine verfügbar. Erhalten Sie ihn also direkt von dort. Laden Sie direkt von der URL mit wget und unizip herunter.

In[3]

#Laden Sie den Datensatz von der öffentlichen URL der University of California, Irvine, herunter
!wget https://archive.ics.uci.edu/ml/machine-learning-databases/00222/bank-additional.zip
!unzip -o bank-additional.zip

Laden Sie das heruntergeladene CSV-Dateidatensatz als Pandas-Datenrahmen.

In[4]

# bank-additional-full.Speichern Sie CSV in Daten
data = pd.read_csv('./bank-additional/bank-additional-full.csv', sep=';')
 
#Die Einstellungen für die maximale Anzahl der angezeigten Spalten und Zeilennummern von Pandas wurden geändert
pd.set_option('display.max_columns', 500)
pd.set_option('display.max_rows', 30)
 
#Zeige die ersten 10 Zeilen
data.head(10)

Wenn Sie die ersten 10 Zeilen des Datensatzes anzeigen, können Sie sehen, dass die Kundeninformationen gespeichert sind. Hier ist ein Teil der Gliederung der Elemente.

· Alter - Kundenalter · Job - Jobkategorie ・ Ehe - Heiratsstatus ・ Bildung - Bildung · Standard - Status der verspäteten Zahlung ・ Wohnen - Ob es einen Immobilienkredit gibt oder nicht ・ Darlehen - Gibt an, ob ein persönliches Darlehen usw. vorliegt oder nicht.

Überprüfen Sie, ob Daten fehlen. Wenn Daten fehlen, ist dies problematisch, da der separate Umgang damit besprochen werden muss.

In[5]

#Eine Tabellenfunktion, die fehlende Daten in einem Datenrahmen zusammenfasst
def missing_values_table(df): 
        mis_val = df.isnull().sum()
        mis_val_percent = 100 * df.isnull().sum()/len(df)
        mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)
        mis_val_table_ren_columns = mis_val_table.rename(
        columns = {0 : 'Missing Values', 1 : '% of Total Values'})
        return mis_val_table_ren_columns 
 
#Überprüfen Sie, ob Daten fehlen
missing_values_table(data)

In der folgenden Abbildung ist zu erkennen, dass kein Datenverlust vorliegt. Wie erwartet der Bankdatensatz.

Als nächstes wird eine Datenbereinigung (Datensatzvorverarbeitung) durchgeführt. Die Bereinigung von Datensätzen ist zu einem wesentlichen Bestandteil fast jedes maschinellen Lernprozesses geworden.

Dieses Mal werden vier Arten der Vorbehandlung durchgeführt.

** ① Extrahieren Sie Kunden, die von pdays nicht kontaktiert wurden ** Die Tage (wie viele Tage seit dem letzten Kontakt vergangen sind) enthalten eine große Menge von "999" -Daten, und es kann gesagt werden, dass die meisten Kunden seit dem letzten Mal keine Kontaktaufnahme mehr durchgeführt haben. Die Datenverarbeitung wird mit 999 Tagen (dh Kunden, die nicht kontaktiert wurden) als "1" und den anderen als "0" durchgeführt.

** ② Kunden, die derzeit nicht im Job sind, aus dem Job extrahieren ** Es gibt 12 Arten von Auftragselementen, einschließlich unbekannter. Dieser Artikel umfasst Kunden, die derzeit nicht erwerbstätig sind, z. B. "Student" oder "Arbeitslos". Daher wird der Prozess des Trennens, ob das Element gerade funktioniert oder nicht, und des Hinzufügens eines neuen Elements "not_working" ausgeführt.

** ③ Machen Sie kategoriale Daten zu einer Dummy-Variablen ** Das Verfahren zum Digitalisieren nicht numerischer Daten wird als Dummy-Variable bezeichnet. Im Fall dieser Daten ist das Vorhersageziel beispielsweise "y", aber die Werte, die es hat, sind "ja" und "nein". Wenn dies zu einer Dummy-Variablen gemacht wird, wird ein Element "y" ursprünglich in zwei Elemente "y_yes" und "y_no" unterteilt, und "0" und "1" werden entsprechend jedem Wert angegeben.

** ④ Elemente löschen, die nicht im Vorhersagemodell enthalten sind ** Verwenden Sie abschließend pd.drop, um Elemente, die in dieser Schulung nicht verwendet wurden, wie z. B. Indikatoren für externe Umweltfaktoren (emp.var.rate), aus dem Datenrahmen zu löschen.

In[7]

#Hinzufügen eines neuen Elements zur Identifizierung von Personen, die zuvor noch nicht kontaktiert wurden
data['no_previous_contact'] = np.where(data['pdays'] == 999, 1, 0)
 
#"Personen, die nicht erwerbstätig sind" (Studenten usw.) Flaggen aus dem Beruf hinzugefügt
data['not_working'] = np.where(np.in1d(data['job'], ['student', 'retired', 'unemployed']), 1, 0)
 
#Machen Sie kategoriale Daten zu einer Dummy-Variablen
model_data = pd.get_dummies(data)
 
#Löschen Sie Elemente, die in diesem Modell nicht verwendet werden
model_data = model_data.drop(['duration', 'emp.var.rate', 'cons.price.idx', 'cons.conf.idx', 'euribor3m', 'nr.employed'], axis=1)

Nach Abschluss der Vorverarbeitung besteht die nächste Aufgabe darin, die Daten in drei Teile zu unterteilen: Trainingsdaten, Verifizierungsdaten und Testdaten.

In Bezug darauf, warum es geteilt wird, möchte ich es einfach viele Male trainieren, um die Genauigkeit des Modells zu verbessern, also werde ich es diesmal dem Standpunkt überlassen.

In[8]

#Vorverarbeitetes Modell_Sortieren Sie die Daten nach dem Zufallsprinzip in 3 Datenrahmen
train_data, validation_data, test_data = np.split(model_data.sample(frac=1, random_state=1729), [int(0.7 * len(model_data)), int(0.9 * len(model_data))])   # Randomly sort the data then split out first 70%, second 20%, and last 10%

Als nächstes folgt der letzte Schritt der Datenvorverarbeitung. Das Datenformat des Amazon SageMaker XGBoost-Containers ist libSVM. Obwohl es im libSVM-Format vorliegt, müssen das Merkmal (Merkmalsmenge) und das Vorhersageziel (Zielvariable) separate Argumente sein, damit der Prozess ausgeführt wird. Senden Sie diesen Trainingsdatensatz (libSVM-Format) abschließend über boto3 an AWS S3.

In[9]

#Exportieren Sie die libSVM-Datei
dump_svmlight_file(X=train_data.drop(['y_no', 'y_yes'], axis=1), y=train_data['y_yes'], f='train.libsvm')
dump_svmlight_file(X=validation_data.drop(['y_no', 'y_yes'], axis=1), y=validation_data['y_yes'], f='validation.libsvm')
dump_svmlight_file(X=test_data.drop(['y_no', 'y_yes'], axis=1), y=test_data['y_yes'], f='test.libsvm')
 
#Kopieren Sie Dateien mit Boto3 nach S3
boto3.Session().resource('s3').Bucket(bucket).Object(os.path.join(prefix, 'train/train.libsvm')).upload_file('train.libsvm')
boto3.Session().resource('s3').Bucket(bucket).Object(os.path.join(prefix, 'validation/validation.libsvm')).upload_file('validation.libsvm')

Dadurch wird im ersten von Ihnen angegebenen AWS S3-Bucket ein neuer Ordner mit dem Namen "sagemaker" erstellt. Wie in der folgenden Abbildung gezeigt, wurde train.libsvm problemlos neu erstellt, wenn es im Verzeichnis S3> Bucket-Name> Sagemaker> xgboost-dm> train neu erstellt wurde.

⑤ Trainieren Sie das Modell

Nachdem die Vorverarbeitung abgeschlossen ist, ist es Zeit, das Modell mit XGBoost zu erstellen.

Geben Sie zunächst den Speicherort des ECR-Containers für XGBoost von Amazon SageMaker an und verknüpfen Sie die Trainingsdaten (libSVM) mit S3.

In[10]

#Geben Sie den ECR-Container für SageMaker XGBoost an
containers = {'us-west-2': '433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest',
              'us-east-1': '811284229777.dkr.ecr.us-east-1.amazonaws.com/xgboost:latest',
              'us-east-2': '825641698319.dkr.ecr.us-east-2.amazonaws.com/xgboost:latest',
              'eu-west-1': '685385470294.dkr.ecr.eu-west-1.amazonaws.com/xgboost:latest'}

#Ich werde Trainingsdaten und S3 verknüpfen
s3_input_train = sagemaker.s3_input(s3_data='s3://{}/{}/train'.format(bucket, prefix), content_type='libsvm')
s3_input_validation = sagemaker.s3_input(s3_data='s3://{}/{}/validation/'.format(bucket, prefix), content_type='libsvm')

Geben Sie als Nächstes die erforderlichen Parameter und Hyperparameter für den SageMaker Estimator an und führen Sie die Anpassung durch. Der folgende Code verwendet "ml.m4.xlarge" </ font> als Trainingsinstanz. Der Vorgang ist in ca. 10 Minuten abgeschlossen.

#SageMaker-Sitzung
sess = sagemaker.Session()
 
#Geben Sie die erforderlichen Elemente für den Schätzer des Sagemakers an
xgb = sagemaker.estimator.Estimator(containers[boto3.Session().region_name],
                                    role, 
                                    train_instance_count=1, 
                                    train_instance_type='ml.m4.xlarge',
                                    output_path='s3://{}/{}/output'.format(bucket, prefix),
                                    sagemaker_session=sess)
 
#Angeben von Hyperparametern
xgb.set_hyperparameters(max_depth=5,
                        eta=0.2,
                        gamma=4,
                        min_child_weight=6,
                        subsample=0.8,
                        silent=0,
                        objective='binary:logistic',
                        num_round=100)
 
#Modellanpassung und Ausgabezielspezifikation (S3)
xgb.fit({'train': s3_input_train, 'validation': s3_input_validation})

2019-11-18 16:36:46 Uploading - Uploading generated training model
2019-11-18 16:36:46 Completed - Training job completed
Training seconds: 63
Billable seconds: 63

# ml.t2.Stellen Sie mit einer Instanz eines Mediums bereit
xgb_predictor = xgb.deploy(initial_instance_count=1,
                           instance_type='ml.t2.medium')

ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling the CreateEndpoint operation: The account-level service limit 'ml.c4.xlarge for endpoint usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please contact AWS support to request an increase for this limit.

#Nehmen Sie Einstellungen für die Datenübertragung vor
xgb_predictor.content_type = 'text/csv'
xgb_predictor.serializer = csv_serializer

#Xgb in kleinen Chargen von jeweils 500 Zeilen_Mit Prädiktor vorhersagen und berechnen
def predict(data, rows=500):
    split_array = np.array_split(data, int(data.shape[0] / float(rows) + 1))
    predictions = ''
    for array in split_array:
        predictions = ','.join([predictions, xgb_predictor.predict(array).decode('utf-8')])
 
    return np.fromstring(predictions[1:], sep=',')
 
#Test im vorherigen Element erstellt_Löschen Sie das Zielelement aus den Daten und geben Sie die Prognose aus
predictions = predict(test_data.drop(['y_no', 'y_yes'], axis=1).as_matrix())
 
#Vergleichstabelle der Vorhersage und korrekte Antwortdaten
pd.crosstab(index=test_data['y_yes'], columns=np.round(predictions), rownames=['actuals'], colnames=['predictions'])

#Löschen Sie den erstellten Endpunkt
sagemaker.Session().delete_endpoint(xgb_predictor.endpoint)