[PYTHON] Lose Artikel für diejenigen, die mit der Verarbeitung natürlicher Sprache beginnen möchten
Verarbeitung natürlicher Sprache
Verarbeitung natürlicher Sprache (Englisch: Verarbeitung natürlicher Sprache, Abkürzung: NLP) ist eine Reihe von Technologien, mit denen ein Computer die natürliche Sprache verarbeiten kann, die Menschen täglich verwenden. Sie wird in der künstlichen Intelligenz und Linguistik verwendet. Es ist ein Feld.
[Wikipedia Natural Language Processing](https://ja.wikipedia.org/wiki/natural Language Processing)
In den letzten Jahren (früher?), Als ich bei Google gesucht habe Die Wikipedia-Beschreibung wird jetzt in einem quadratischen Rahmen angezeigt. Das bedeutet auch "wichtige Teile aus Wikipedia extrahieren" Es wird als eine Art Verarbeitung natürlicher Sprache angesehen. (Übrigens ist "Extrahieren des ersten Satzes eines Satzes" Es ist eine bekannte empirische Regel zur Zusammenfassung von Aufgaben wie Nachrichten und Berichten. )
API Die Verarbeitung natürlicher Sprache ist tiefgreifend und es macht Spaß, die konkrete Verarbeitung selbst zu implementieren. Es scheint eine API zu geben, die leicht verwendet werden kann, auch wenn dies nicht der Fall ist Dieses Mal werde ich es vorstellen.
goo lab API
https://labs.goo.ne.jp/api/
Es gibt verschiedene Dinge.
- API zur Zusammenfassung der Produktüberprüfung
- Morphologische Analyse-API
- Japanisch benannte Entity Extraction API
- API zur Berechnung der Wortähnlichkeit (API zur Ähnlichkeit japanischer Wörter)
- Hiragana-Konvertierungs-API (japanische Hiragana-Konvertierungs-API)
- ...
Versuche einige
Mir wurde gesagt, ich solle eine POST-Anfrage senden Es ist egal, wie du es machst, aber dieses Mal werde ich es mit Python versuchen.
python
# -*- coding: utf-8 -*-
import json
import requests
# goo
# Overview: Japanese Word Similarity API
app_id = #ID you get when registration
url_shortsum = "https://labs.goo.ne.jp/api/shortsum"
url_entity = "https://labs.goo.ne.jp/api/entity"
url_similarity = "https://labs.goo.ne.jp/api/similarity"
def shortsum(length, review_list, request_id="record001"):
# shortsum API interface: https://labs.goo.ne.jp/api/2015/1150/
payload = {"app_id": app_id, "request_id": request_id, "length": length, "review_list": review_list}
headers = {'content-type': 'application/json'}
r = requests.post(url_shortsum, data=json.dumps(payload), headers=headers)
print r.text
def entity(sentence, class_filter, request_id="record002"):
# entity API interface: https://labs.goo.ne.jp/api/2015/336/
# “ORG”(organization name), “PSN”(person name), “LOC”(location name), “DAT”(date expression) and “TIM”(time expression)
payload = {"app_id": app_id, "request_id": request_id, "sentence": sentence, "class_filter": class_filter}
headers = {'content-type': 'application/json'}
r = requests.post(url_entity, data=json.dumps(payload), headers=headers)
print r.text
def similarity(word1, word2, request_id="record003"):
# similarity API interface: https://labs.goo.ne.jp/api/2015/330/
payload = {"app_id": app_id, "request_id": request_id, "query_pair": [word1, word2]}
headers = {'content-type': 'application/json'}
r = requests.post(url_similarity, data=json.dumps(payload), headers=headers)
print r.text
if __name__ == '__main__':
shortsum(120, [
"Ich habe es schon einmal gekauft, daher hat dieser Smoothie einen fruchtigen Geschmack und ist sehr lecker. Es war sehr viel, weil ich es diesmal zu einem niedrigen Preis kaufen konnte. Dieser Smoothie ist leicht zu trinken und der Mango-Geschmack ist erfrischend und ich möchte ihn noch einmal wiederholen.",
"Der lang erwartete grüne Smoothie ist da. Ich mag keine Milch oder Sojamilch, also habe ich sie mit 180 ml Wasser geteilt und getrunken. Sie roch nicht so grün wie ich erwartet hatte und der Geschmack von Mango war schwach und nicht köstlich. Ich stellte mir etwas Reichhaltigeres vor, aber es ist ziemlich dünn, wahrscheinlich wegen des Wassers. Es scheint besser, bei Raumtemperatur zu trinken, aber ich wollte es mit Eis brechen. Vielleicht habe ich wegen des Wassers keinen Hunger und es scheint unmöglich, eine Mahlzeit zu ersetzen. Persönlich wollte ich Enzyme in meinen Körper einbauen ... Als ich meinem Bekannten sagte, dass ich es gekauft hatte, erhielt ich die folgenden Meinungen. "Stoffwechsel- und Verdauungsenzyme sind völlig unterschiedlich. Smoothies können die Verdauung unterstützen, sind aber keine Stoffwechselenzyme. Sie werden zuerst im Magen abgebaut, sodass sie nicht dorthin gehen, wo sie gebraucht werden." Was ist nun mit dem Effekt? Ich möchte Enzyme aufnehmen."
]
)
entity("Herr Yamashita wird morgen um 10:30 Uhr nach Niigata fahren.", "ORG|PSN|LOC|DAT")
similarity("Goodwill", "Verkäufer")
Senden Sie eine POST-Anfrage mit request.post (Argument). In der API zur Zusammenfassung der Produktreputation werde ich ungefähr zwei Bewertungen von Produkten auf einer bestimmten Versandhandelsseite veröffentlichen.
Ausführungsergebnis
python
(agile_env)nlp $ python test.py
{"request_id":"record001","length":60,"summary":"Ich habe es schon einmal gekauft, daher hat dieser Smoothie einen fruchtigen Geschmack und ist sehr lecker. Es war sehr viel, weil ich es diesmal zu einem niedrigen Preis kaufen konnte."}
{"request_id":"record002","class_filter":"ORG|PSN|LOC|DAT","ne_list":[["Yamashita","PSN"],["Morgen","DAT"],["Niigata","LOC"]]}
{"request_id":"record003","score":0.4345982085070782}
(agile_env)nlp $
(agile_env)nlp $
(agile_env)nlp $
(agile_env)nlp $ python test.py
{"request_id":"record001","length":120,"summary":"Es war sehr viel, weil ich es diesmal zu einem niedrigen Preis kaufen konnte. Ich mag keine Milch oder Sojamilch, also habe ich sie mit 180 ml Wasser geteilt und getrunken. Sie roch nicht so grün wie ich erwartet hatte und der Geschmack von Mango war schwach und nicht köstlich. Es scheint besser, bei Raumtemperatur zu trinken, aber ich wollte es mit Eis brechen."}
{"request_id":"record002","class_filter":"ORG|PSN|LOC|DAT","ne_list":[["Yamashita","PSN"],["Morgen","DAT"],["Niigata","LOC"]]}
{"request_id":"record003","score":0.4345982085070782}
"length":60 Ist die Länge (Zeichen) der Zusammenfassung, die Sie aus der Überprüfung erstellen. Ich habe nicht das Gefühl, in beiden Fällen Trends zu erkennen. Wenn Sie die Anzahl der Zeichen erhöhen, können Sie sehen, dass die Details entsprechend enthalten sind. Danach können Sie das "Preis-Leistungs-Verhältnis" mit 60 oder 120 Zeichen spüren.
"Goodwill" und "Verkäufer" Es scheint interessant zu sein, die Ähnlichkeit zwischen den beiden im Mysterium verwendeten Wörtern zu sehen.
Emotionsanalyse
Möglichkeiten der "Yahoo-Echtzeitsuche", erweitert von "Emotional Analysis" - Fragen Sie das Entwicklungsteam Wie Sie im Artikel sehen können
Für ein bestimmtes Schlüsselwort Beurteilen Sie, welche Art von Gefühlen Sie haben, positiv / negativ (positiv / negativ) Eine solche Analyse scheint der Mainstream zu sein.
Schwierigkeit
Dieser Tweet ist für das Schlüsselwort "Anitube geschlossen" Ist es "positiv" oder "negativ"?
Tiefes Lernen
Themen: Automatische E-Mail-Antwort
Vor kurzem hat Google eine Technologie eingeführt, die Ihre Träume erweitert. Computer, respond to this email.
Und in jüngerer Zeit die Algorithmen, die eine solche Technologieentwicklung unterstützen Als OSS veröffentlicht, damit es von außen verwendet werden kann. Google releases TensorFlow: Search giant makes its artificial intelligence software available to the public
Recommended Posts