[PYTHON] Japanische Analyseverarbeitung mit Janome Teil1

Dieser Artikel ist der 7. Tag des Adventskalenders von Cloud Analytics.

Verwenden Sie hier die Cloudant-Daten, die am [Tag 3] erstellt wurden (http://qiita.com/y_t_p/items/ea2fbb60677b11b44399), das Notebook zur Data Science Experience, die RDD-Behandlung von Spark und Artikel Die im Titel enthaltenen japanischen Sätze werden durch einfache Aggregationsverarbeitung mit Janome behandelt. * Der Artikel ist lang geworden, also werde ich ihn teilen ...

Informationen zur Vorbereitung von Node-RED und Cloudant sowie zu den diesmal verwendeten Daten finden Sie in Artikel am 3. Tag. Darüber hinaus verwendet die Umgebung dieses Notebooks DataScienceExperience. Einzelheiten zu DSX finden Sie unter Artikel am ersten Tag.

Vorbereiten der Verbindung mit Cloudant

Erstellen Sie eine Verbindung zum Cloudant, die aus dem Hinzufügen von Datenbeständen in der folgenden Abbildung erstellt wurde.

Wenn das rechte Fenster geöffnet wird, wählen Sie die Registerkarte Verbindungen und Erstellen Sie eine neue Verbindung über Verbindung erstellen.

Öffnen Sie den Bildschirm Verbindung erstellen und legen Sie die erforderlichen Elemente fest.

• Name: Geben Sie etwas Beschreibendes.
• Beschreibung: Beschreibung dieser Verbindung
• Dienstkategorie: Datendienste oder andere externe Dienste auf Bluemix. Wählen Sie diesmal Datendienst.
• Service-Instanz: Der Inhalt gemäß der Service-Kategorie kann in DropBox ausgewählt werden. Wenn Sie Cloudant unter Bluemix verwenden, wird es automatisch aufgelistet.
• Auswählen: Elemente ändern sich je nach Service-Instanz. Bei Verwendung von Cloudant wird jedoch die in Service-Instanz ausgewählte Datenbank von Cloudant aufgelistet. Hier wird die erstellte RSS-Datenbank ausgewählt.

Einstellung jedes Elements 1

Einstellung jedes Punktes 2

Wenn Sie auf die Schaltfläche Erstellen klicken, wird eine Verbindung zur RSS-Datenbank von Cloudant hergestellt (siehe unten).

Cloudant ist jetzt bereit. Es ist sehr leicht.

Notizbuch erstellen

Erstellen Sie als Nächstes ein neues Notizbuch zur Analyse. Wählen Sie im Projektbildschirm Notizbücher hinzufügen aus, um ein neues Notizbuch hinzuzufügen.

Es überschneidet sich mit dem in [Tag 1] erläuterten Inhalt (http://qiita.com/y_t_p/items/1781dc5b6fc6eb470582), ist aber einfach.

• Name: Notizbuchname (derzeit ist es sicherer, das Erstellen mit japanischen Namen zu vermeiden)
• Beschreibung: Notizbuchbeschreibung
• Sprache: Diesmal wird Python 3.5 verwendet.
• Spark-Version: Spark-Version. Ich werde 2.0 verwenden.
• Spark Service: Wählen Sie den zu verwendenden Spark Service aus.

In Sprache können Sie auch das Python 2-System auswählen. Dieses Mal werden wir uns mit Japanisch befassen, daher haben wir 3.5 ausgewählt, das einfach zu bedienen ist.

Informationen zur Data Science-Erfahrung finden Sie in Artikel am ersten Tag.

Janome vorbereiten

Das Notizbuch wird beim Erstellen automatisch geöffnet. Installieren Sie Janome, einen in Python verfügbaren morphologischen Analysator, um eine japanische morphologische Analyse durchzuführen.

Janomes HP

Sie können pip on Data Science Experience verwenden. Geben Sie den folgenden Code in die erste Zelle ein und führen Sie ihn aus

!pip install janome

Informationen zur grundlegenden Verwendung von Jupyter, z. B. zur Codeausführung, finden Sie im Artikel am ersten Tag.

Führen Sie es aus, um Janome zu installieren.

Lassen Sie uns nach der Installation von Janome einen einfachen Test durchführen, um festzustellen, ob Janome normal verwendet werden kann. Geben Sie den Schreibcode in eine neue Zelle ein und führen Sie ihn aus.

from janome.tokenizer import Tokenizer
t = Tokenizer()
tokens = t.tokenize("Von den Oberschenkeln und Oberschenkeln")
for token in tokens:
    print(token)

Achten Sie beim Kopieren auf Einrückungen. Es ist in Ordnung, wenn das Ergebnis einer normalen morphologischen Analyse ausgegeben wird.

Cloudanter Verbindungscode

Wenn Janome fertig ist, schreiben wir den Code, um die Daten von Cloudant zu erhalten. Füllen Sie zunächst die Zelle mit Cloudant-Authentifizierungsdaten. Rufen Sie die Cloudant-Informationen auf, die Sie zuvor registriert haben. Öffnen Sie das Menü zum Suchen und Hinzufügen von Daten oben rechts und öffnen Sie es Suchen Sie die Nachrichten, die Sie gerade bei Connections registriert haben.

Wenn Sie Einfügen drücken, um mit einer neuen ausgewählten Zelle zu codieren, füllt die Zelle automatisch die erforderlichen Informationen aus.

Führt die eingegebene Zelle aus und stellt die Variable credentials_1 zur Verfügung. Erstellen Sie als Nächstes einen DataFrame mit SparkSQL. Geben Sie den folgenden Code in eine neue Zelle ein und führen Sie ihn aus.

from pyspark.sql import SQLContext
#SQLContext
sqlContext = SQLContext(sc)
#load rss from cloudant
rss = sqlContext.read.format("com.cloudant.spark").\
option("cloudant.host",credentials_1["host"]).\
option("cloudant.username", credentials_1["username"]).\
option("cloudant.password",credentials_1["password"]).\
load("rss")

Geben Sie das Cloudant-Format in sqlContext an, geben Sie den Hostnamen, den verbundenen Benutzer und das Kennwort aus den obigen Anmeldeinformationen an und laden Sie die Daten aus der RSS-Tabelle.

Wenn hier die Ausnahme einer anderen Derby-Instanz möglicherweise bereits gestartet wurde, starten Sie den Notebook-Kernel neu und führen Sie den Code aus der ersten Zelle erneut aus. Es scheint, dass Apache Derby intern verwendet wird, aber es scheint einen Fall zu geben, in dem die Handhabung der Verbindung nicht gut läuft ...

Führen Sie den folgenden Code aus, um das Schema der geladenen Daten anzuzeigen.

rss.printSchema()

Lassen Sie uns abschließend den Inhalt der Daten überprüfen. Führen Sie den folgenden Code aus, um die Daten anzuzeigen.

rss.show()

Dies ist das Ende von Teil 1. Ab Teil 2 werde ich PySpark und Janome verwenden, um Japanisch zu betreiben.