Notizen zur Stapelverarbeitung in IPython Notebook

Sehr nützlich als IPython Notebook, interaktive Datenanalyse- und Programmierumgebung. Und wenn Sie es schwer verwenden, möchten Sie Code wie Stapelverarbeitung schreiben und ausführen. Ich werde zusammenfassen, wie die .ipynb-Datei ausgeführt wird, wenn die Notiz gespeichert wird. Zunächst zwei.

Generieren Sie eine .py-Datei mit dem Befehl ipython nbconvert

Bevor ich es wusste, wurde nbconvert in iPython selbst integriert.

ipython nbconvert mynote.ipynb --to=python

Versuchen Sie beispielsweise, den folgenden nächtlichen Stapelverarbeitungshinweis auf `` `nbconvert``` auszuführen.

Beachten Sie, dass die generierte Quelle das Startskript nicht enthält, selbst wenn Sie das Profil wie folgt angeben. Außerdem funktioniert der Code, der den Pylab-Modus annimmt, nicht.

# coding: utf-8

# In[19]:

from pymongo import MongoClient
from datetime import timedelta, datetime


# In[26]:

#Behandeln Sie lokale MongoDB
con = MongoClient('localhost')
db = con['test']


# In[27]:

#Datum der Bearbeitung(Aggregieren Sie am Vortag nach Mitternacht)
process_date = datetime.now().date() - timedelta(days=1)
process_date


# In[28]:

xxx_count = 0
yyy_count = 0
with db.events.find({'time': {}}) as cur: # from-zur Spezifikation entfällt
    for doc in cur:
        pass
        #Eine Art Aggregation


# In[ ]:

#Aktualisierung des Aggregationsergebnisses
db.daily_state.update({'date': process_date}, {'$set': 'values': {
    'xxx_count': xxx_count,
    'yyy_count': yyy_count
}})

Verwenden Sie runipy, um als .ipynb-Datei ausgeführt zu werden

paulgb/runipy https://github.com/paulgb/runipy

Ein Befehl, der die IPynb-Datei analysiert und den darin enthaltenen Python-Code der Reihe nach in ipython ausführt.

runipy mynote.ipynb

Ähnlich wie nbconvert, kann jedoch das Ergebnis nach der Ausführung als HTML-Datei ausgeben. Es kann zum Aufladen von Cron und zum Generieren von täglichen Berichten verwendet werden. Sie können auch beliebige Parameter, die im Python-Skript verwendet werden, über die Befehlszeile übergeben. Die Verwendung ist jedoch schwierig, wenn Sie die Einstellung "ipython_notebook_config.py" vollständig verwenden, da Sie das Profil von IPython nicht angeben können.

Es ist unpraktisch, dass das Profil nicht angegeben werden kann. Daher wurde die Version, mit der Sie --profile-dir durch Gabeln angeben können, bereits abgerufen.

hagino3000/runipy https://github.com/hagino3000/runipy

Die Entwicklung von Runipy scheint zu stagnieren, daher sollten sich diejenigen, die es nutzen wollen, mit aller Kraft engagieren.