[PYTHON] So verbessern Sie die Überwachung von Modellmetriken mit Amazon SageMaker

Dieser Artikel ist der 9. Tagesartikel von Mixie Group Adventskalender 2019

Überblick

(Zusammenfassung von 3 Zeilen)

• Ich möchte die Genauigkeit von Trainingsjobs für maschinelles Lernen überwachen und Modelle auf nette Weise vergleichen.
• Amazon SageMaker bietet CloudWatch-Metrikdiagramme, ist jedoch schwer zu erkennen ...
• Es war gut, Metriken mit SageMaker SDK oder Ihrem eigenen Code zu sammeln und die Metrikdaten und das Diagramm an derselben Stelle (S3) wie das Modell zu platzieren.

Herausforderung: unschuldig:

Amazon SageMaker bietet CloudWatch-Metrik-basierte Diagramme für die Überwachung von Jobmetriken (https://aws.amazon.com/jp/blogs/news/easily-monitor-and-visualize-metrics-while) -training-models-on-amazon-sagemaker /) und erscheinen nun auch in Jobdetails in der Managementkonsole Es ist einfach einzurichten, aber persönlich ist es ein schwieriger Eindruck für die Überwachung von Algorithmusmetriken, wie z. B. Protokollglätte (Ausgabefrequenz), Skalierung und Einheitennotation.

• Die horizontale Achse ist zeitlich festgelegt
• Zeichnen in Epocheneinheiten ist nicht möglich
• Das Zeitachsendiagramm ist aufgrund der Instanzleistung usw. verzerrt.
• Sie können den zu fokussierenden Zeitbereich manuell bearbeiten, er ist jedoch ungenau
• Die Diagramme sind mindestens 1 Minute voneinander entfernt und die Zeichnung ist grob
• Die vertikale Achse ist um den gemessenen Wert der Metrik herum festgelegt, und die Skala ist nicht einheitlich.
• Es ist schwierig, Jobs visuell zu vergleichen
• Strenges Betriebsgefühl ...

Aktion 1: Verwenden Sie die SageMaker SDK-API (Python): entspannt:

Verwenden Sie TrainingJobAnalytics des SageMaker SDK (https://sagemaker.readthedocs.io/en/stable/analytics.html#sagemaker.analytics.TrainingJobAnalytics), um die Daten abzurufen und die Zeichnung selbst zu steuern Die Datenquelle bleibt CloudWatchLogs (nicht grundlegend aufgelöst), aber die Lesbarkeit kann erheblich verbessert werden

Sie können es während des Trainings in das Jupyter-Notizbuch zeichnen oder Sie können es zur regulären Zeit oder zur Endzeit in den Code des Estimator-Anrufers zeichnen und an Ort und Stelle speichern.

analytics.py

metric_names = ['train:loss','validation:loss']

metrics_dataframe = sagemaker.analytics.TrainingJobAnalytics(
    training_job_name=training_job_name,
    metric_names=metric_names,
    period=60, #1 min ist der Grenzwert
).dataframe()

#Datenrahmen formatieren
...

plt = metrics_dataframe_fixed.plot(
    kind='line', 
    figsize=(20,15), 
    fontsize=18,
    x='timestamp', 
    y=[metric_names[0],metric_names[1]], 
    xlim=[0, 2000],
    ylim=[0.1, 0.5],
    style=['b.-','r+-'], 
    rot=45,
 )
plt.figure.savefig('metrics_training_job_xxx.png')
plt.clf()

Was du tun kannst

• Konvertieren Sie Metrikdaten in DataFrame, um die Zeichnung nach Ihren Wünschen anzupassen
• Vertikale und horizontale Skalierung und Größe können angegeben werden
• Die Zeichnungsstartposition kann ausgerichtet werden
• Kann im Code verwaltet werden, sodass Sie damit herumspielen können
• Kann während des Trainings an festen Punkten eingenommen und regelmäßig benachrichtigt werden
• Wenn Sie das gezeichnete Diagramm im Modellspeicher (S3) zusammenstellen, hilft dies bei der Modellbewertung.

Diese Methode kann auch in SageMaker-Algorithmus verwendet werden.

Dinge unmöglich

• Die Daten selbst bleiben gleich (basierend auf CloudWatch)
• Die horizontale Achse kann nur Zeit sein
• Das Plotintervall bleibt gleich (maximal 1 Minute Intervall)

Aktion 2: Zeichnen Sie ein Diagramm in Ihrem eigenen Einstiegspunkt oder in Ihrem eigenen Algorithmus: erröten:

SageMaker hat offiziell 4 Möglichkeiten, aber ML-Framework von Amazon bereitgestellt Container und [Fall mit Originalcontainer](https://docs.aws.amazon.com/ja_jp/ Mit sagemaker / latest / dg / your-algorithm.html) können Sie regelmäßig ein Diagramm der Trainingssituation mit Ihrem eigenen Programmcode zeichnen, ausgeben und an S3 senden.

Ich fürchte, ich verwende SageMaker, aber nicht die bereitgestellten Überwachungsfunktionen. Wenn ich es jedoch nicht in dem gewünschten Format erhalten kann, muss ich es in den Container aufnehmen (da ich das Einstiegspunktskript und meinen eigenen ML-Algorithmus selbst schreibe). , Der Aufwand, dem Code, den Sie kennen, eine Diagrammzeichnung hinzuzufügen, ist nicht so groß.)

Was du tun kannst

• Kann frei aus metrischen Daten definiert werden
• Kann in Epocheneinheiten usw. ausgegeben werden.
• Sie können zeichnen, wie Sie möchten
• Vertikale und horizontale Skalierung und Größe können angegeben werden
• Die Zeichnungsstartposition kann ausgerichtet werden
• Kann im Code verwaltet werden, sodass Sie damit herumspielen können
• Kann während des Trainings an festen Punkten eingenommen und regelmäßig benachrichtigt werden
• Wenn Sie das gezeichnete Diagramm im Modellspeicher (S3) zusammenstellen, hilft dies bei der Modellbewertung.

Dinge unmöglich

• Berühren Sie nicht den Code Diese Methode kann nicht mit [Integrierter Algorithmus] verwendet werden (https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/algos.html).

Prozessablauf

Es ist überraschend schwierig, "wohin das im Container gezeichnete Diagramm gesendet werden soll und wie das Ziel der Diagrammplatzierung (S3-Pfad) innerhalb und außerhalb des Containers freigegeben wird", aber die folgende Methode kann als Beispiel verwendet werden.

1. Definieren Sie das Ausgabeziel des ML-Modells für jeden Trainingsjob in S3
2. Definieren Sie einen Ort für "Bedingungen" an derselben Stelle und legen Sie eine JSON-Datei mit Informationen zum Modell ab.
3. Definieren Sie einen Ort für "Metriken" an derselben Stelle und verwenden Sie ihn als Ort zum Platzieren von Metrikdaten und gezeichneten Diagrammen.
4. Übergeben Sie den Pfad "Bedingungen" als "Eingaben" an den Schätzer und beginnen Sie mit dem Training
5. Führen Sie den Trainingsalgorithmus im SageMaker-Container aus
6. Beziehen Sie sich im Schulungsjob auf JSON unter "Bedingungen" und stellen Sie den Zielpfad für die Modellausgabe zusammen
7. Führen Sie das Training durch, geben Sie das Fortschrittsprotokoll aus und zeichnen Sie ein Diagramm
8. Laden Sie die gezeichneten Diagrammdaten (Festpunkt) in die S3-Diagrammplatzierungsziel-Metriken hoch
9. Verarbeiten Sie das in S3 hochgeladene Diagramm nach Ihren Wünschen
10. Überwachen, senden Sie immer Benachrichtigungen usw.

Codebeispiel

train_task.py

#Bedingungen Erzeugung, Ausbildung_job_Datensatzname
dict_conditions = { "training_job_name" : training_job_name }
s3_conditions_path = '/model/{}/conditions/training_job_config.json'.format(training_job_name)
boto3.resource('s3').Object(bucket,s3_conditions_path).put(Body=json.dumps(dict_conditions))

#Übergabe der Bedingungen an den Sagemaker-Ausbildungsjob
Estimator.fit(
    job_name=training_job_name,
    inputs={'train_data':s3_train_data_path,'conditions':s3_conditions_path},
)

train_entrypoint.py

# Estimator.Erhalten Sie den Namen des Schulungsjobs aus den Bedingungen, die vom Fit-Anrufer übergeben wurden
#(Der Pfad, der dem Diktatschlüssel der übergebenen Eingaben entspricht, wird generiert und die Datei wird platziert.)
input_conditions = '/opt/ml/input/data/conditions/training_job_config.json'
with open(input_conditions) as f:
    conditions = json.load(f)
    training_job_name = input_conditions['training_job_name']

#Diagrammpfaddefinition
graph_name = 'training_history_{}.png'.format(metrics)
graph_outpath = '{}/{}'.format(output_path,graph_name)
s3_graph_outpath = '/model/{}/metrics/{}'.format(training_job_name,graph_name)

#Diagramm zeichnen und speichern (Keras Beispiel)
history = model.fit(...)
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('Model loss')
plt.legend(['training', 'validation'], loc='upper right')
plt.figure.savefig(graph_outpath)
plt.clf()

#S3 Senden (Aktualisieren) des Diagramms an den Bucket, um die Ergebnisse des Trainingsjobs zu speichern
boto3.resource('s3').Bucket(bucket).upload_file(graph_outpath,s3_graph_outpath)

Wie im Code gezeigt, ermöglichen Sie die Übergabe von "training_job_name" mit json in dem Teil, der Estimator of sagemaker aufruft, und aus den gemeinsam genutzten Informationen hat das Metrikausgabeziel für jeden Trainingsjob das angegebene Format ("s3: // {Bucket") } / Model / {training_job_name} /metrics / {graph_name} .png`)

Nebenbei: Zeichnen Sie mit TensorBoard

In Aktion 2 können Sie den Code frei schreiben, um das Protokoll für TensorBoard auszugeben, es mit dem angegebenen Bucket von S3 zu synchronisieren und es anhand des mit Notebook Instance usw. gestarteten Protokolls auf S3 von TensorBoard zu zeichnen. Masu

train_entrypoint_keras.py

tensorboard_log_outpath = '{}/{}'.format(output_path,tensorboard_log_name)

tensorboard_callback = keras.callbacks.TensorBoard(
    log_dir=tensorboard_log_outpath, 
    histogram_freq=1)
callbacks = [tensorboard_callback]

model.fit(..., callbacks=callbacks)

boto3.resource('s3').Bucket(bucket).upload_file(
    tensorboard_log_outpath, s3_tensorboard_log_outpath)

notebook.py

tensorboard --logdir={s3_tensorboard_log_outpath}

Es ist möglich, mit anderen Tools Ihrer Wahl zu zeichnen, aber ich denke, es ist besser, eine ausgewogene Methode zu wählen, die auf den Verwaltungskosten basiert.

Zusammenfassung: erröten:

Wie ich bereits mehrfach erwähnt habe, unterscheiden sich die Optionen je nach Verwendung von SageMaker.

• Eingebauter Algorithmus oder Marktplatz /sagemaker/latest/dg/sagemaker-marketplace.html)
• Verwenden Sie Aktion 1
• Zeichnen Sie mit TrainingJobAnalytics, um metrische Daten zu erhalten und die Lesbarkeit zu verbessern.
• Daten werden durch CloudWatch-Spezifikationen eingeschränkt
• Ursprünglicher Endpunkt oder ursprünglicher Algorithmus /sagemaker/latest/dg/your-algorithms.html)
• Verwenden Sie Aktion 1 oder Aktion 2
• Kann Metrikdaten sammeln und Diagramme innerhalb eines eigenen Algorithmus zeichnen
• Kann über S3 usw. mit anderen Tools verknüpft werden.

Aktionen 1 und 2 Für beide ** ist es meiner Meinung nach einfacher, die Metrikdaten (Datenrahmen und Protokoll) und das gezeichnete Diagrammbild in denselben S3 wie den Modellspeicher hochzuladen **.

Ich möchte die zu vergleichenden Metriken so organisieren, dass sie mit derselben Definition auf einen Blick beurteilt werden können.

Referenz

• [Einfache Überwachung und Visualisierung von Metriken während des Modelltrainings mit Amazon SageMaker](https://aws.amazon.com/jp/blogs/news/easily-monitor-and-visualize-metrics-while-training -models-on-amazon-sagemaker /)
• Amazon SageMaker-Entwicklerhandbuch, Überwachen und Analysieren von Schulungsjobs mithilfe von Metriken
• Amazon SageMaker-Entwicklerhandbuch, Definition von Metriken
• SageMaker Python SDK : Analytics
• Keras: Visualisierung des Trainingsverlaufs