[PYTHON] Lassen Sie uns Aozora Bunko im Gespräch mit COTOHA zusammenfassen

Dies ist Qiitas erster Beitrag. Bitte verzeihen Sie die Punkte, die nicht erreicht werden. Versprich Bugfix.

Aus der Planung der COTOHA-API wurden gute Artikel in Massenproduktion hergestellt, und ich genieße es als Leser sehr. Wenn ich darüber nachdachte, selbst etwas zu tun, wollte ich die literarischen Werke zusammenfassen. Natürlich ist Open Source-Literatur begrenzt, deshalb habe ich Aozora Bunko als Ziel gewählt.

Zusammenfassend sind die Ergebnisse nicht akademisch aussagekräftig. Die Schlussfolgerung ist, dass ich die COTOHA-API ausprobiert und auf meine Weise interessante Ergebnisse erzielt habe. Aber kann die API zur Verarbeitung natürlicher Sprache nicht auf diese Weise genutzt werden? Vorschlag.

Unter den COTOHA-APIs habe ich hohe Erwartungen an die zusammenfassende API. In Bezug auf die Reduzierung der Informationsmenge denke ich, dass dies ein gutes Hilfsmittel für vielbeschäftigte moderne Menschen sein wird. Es ist wie die Rückkehr "Gott ist tot!" Nun, ich weiß nicht, was unserem Leben hilft, wenn wir die Zusammenfassung "Gott ist tot!" Erhalten.

Die Umgebung ist kollaborativ.

COTOHA API oder

COTOHA API

Es ist eine API, mit der Sie ganz einfach die Sprachverarbeitung ausprobieren können! (Qiita braucht keine Erklärung mehr, also werde ich es weglassen)

Auf der Schulter des Riesen

Sie können leicht große Dinge tun, indem Sie auf den Schultern von Qiitas Vorfahren reiten. Vielen Dank.

Ich habe eine emotionale Radarkarte von Aozora Bunkos Arbeit erstellt Kopieren und Einfügen von Code für die Verwendung von Cotoha in Google colab sehr einfach [Erste COTOHA-API] Ich habe versucht, die alte Geschichte zusammenzufassen

Im Folgenden werde ich weiterhin meinen Code, meine Philosophie, meine Leidenschaft und meine halbinteressanten Gefühle erben.

Stellen Sie sich auf die Schulter des Riesen

Der Code, den ich dieses Mal geschrieben habe, unterteilt den zu analysierenden Text einfach in eine bestimmte Zahl (5000 Zeichen) und übergibt ihn an die API. Es ist auch bedauerlich, es einen Stufenstand zu nennen. Es geht um einen Sandberg. Ich denke, es ist richtig, mit Interpunktionspunkten zu punktieren, aber mir fehlen technische Fähigkeiten.

def summarize_by_cotoha(url):
  document=get_txt_from_aozorabunko(url)
  document_split=[document[i:i+5000] for i in range(0,len(document),5000)]
  document_summary=[]
  for sentense in document_split:
    document_summary.append((cotoha_call("summary",sentense))["result"])

  return document_summary

Fassen wir die Blue Sky-Bibliothek zusammen

Ich hatte keinen literarischen Hintergrund, also versuchte ich es mit dem Thema "Disqualifikation von Tadashis Menschen", was die maximale Anzahl von Versprechungen ist, wenn man es positiv betrachtet. Ich habe es nicht gelesen Der Titel berührt aus irgendeinem Grund mein Herz.


#Menschliche Disqualifikation
ningenshikkaku=get_txt_from_aozorabunko("https://www.aozora.gr.jp/cards/000035/files/301_14912.html")
cotoha_call("summary",ningenshikkaku)

===>
Zusammenfassung (β)
===>
<Error> BAD REQUEST

Versuch

Was? Was ist schlechte Anfrage? Ich habe gehört, dass ein Fehler auftritt, wenn die Anfrage zu lang ist, aber ist es eine schlechte Anfrage?

Ich bin ein wenig frustriert, also werde ich COTOHA fragen.


cotoha_call("summary",'''
Ich bin nicht sicher, was den Fehler verursacht hat.
Ist es ein Problem, BAD REQUEST genannt zu werden?
Bitte tu etwas!

''')

===>
Zusammenfassung (β)
===>
{'result': 'Ich bin nicht sicher, was den Fehler verursacht hat.', 'status': 0}

Anscheinend wurden andere Informationen als "Ich habe einen Fehler bekommen!" Als Müll eingestuft.

Versuchen Sie, aktuelle Angelegenheiten zu erfassen und die Reaktion zu untersuchen



cotoha_call("summary",'''
Ich bin nicht sicher, was den Fehler verursacht hat.
Ist es ein Problem, BAD REQUEST genannt zu werden?
Bitte tu etwas!
Das Wetter ist heute gut, nicht wahr? Es ist das Beste im Frühling! Ich kann nicht auf die Kirschblüten warten, oder? Ist das Corona-Virus nicht konvergiert?

''')

===>
Zusammenfassung (β)
===>
{'result': 'Ich bin nicht sicher, was den Fehler verursacht hat.', 'status': 0}

Es scheint, dass es nur als Kramer beurteilt wird, der sich über den Fehler beschwert

Lassen Sie uns den einzigen Satz einfügen, den Natsume Soseki kennt, oder den Satz von Nobunaga Odas Rücktritt.


cotoha_call("summary",'''
Ich bin nicht sicher, was den Fehler verursacht hat.
Ist es ein Problem, BAD REQUEST genannt zu werden?
Bitte tu etwas!
Das Wetter ist heute gut, nicht wahr? Es ist das Beste im Frühling! Ich kann nicht auf die Kirschblüten warten, oder? Ist das Corona-Virus nicht konvergiert?

Ich bin eine Katze.

50 Jahre Mensch
Wenn Sie in den unteren Himmel tauchen
Wie ein Traum
Einmal erhalten
Sollte es etwas geben, das nicht zerstört werden kann
''')

===>
Zusammenfassung (β)
===>
{'result': 'Wenn wir 50 Jahre lang in den unteren Himmel tauchen, wird es wie ein Traum, und sollte es etwas geben, das nicht einmal zerstört werden kann?', 'status': 0}

Es antwortete schließlich. Im Vergleich zu Nobunaga Odas Rücktrittssatz scheint meine böswillige Beschwerde weniger als Müll zu sein

Zu diesem Zeitpunkt habe ich mich schließlich entschlossen, den Text zu teilen und an die API zu übergeben.


ningen_summary=summarize_by_cotoha("https://www.aozora.gr.jp/cards/000035/files/301_14912.html")

['Ich habe noch nie ein Kind mit einem so mysteriösen Aussehen gesehen.',
 'Sogar die jüngeren Männer wurden von ihrer Mutter darüber informiert, wie die Rede heute Abend war, und sie sagten, sie sei sehr interessant.',
 'Ich habe einen Clown gespielt, und der Mann hat mich nie ausgelacht, und ich wusste, dass ich scheitern würde, wenn ich zu viel Clown für einen Mann spielen würde. Also habe ich immer versucht, es an der richtigen Stelle aufzurunden, aber die Frau wusste nicht, dass es richtig war, und sie forderte für immer einen Clown von sich selbst, und sie war erschöpft als Reaktion auf die endlose Zugabe. ..',
 'Nur für Takeichi hatte ich lange Zeit meine verderblichen Nerven gezeigt, und ich konnte Takeichi dieses Selbstporträt in aller Ruhe zeigen. Ich zeichnete weiter und bekam eine weitere Vorhersage von Takeichi: "Du wirst ein großartiger Maler sein."',
 'Aber für mich schien es offensichtlich.',
 'Es ist beängstigend, dass ich immer noch allein in diesem Raum der Lodge bin und das Gefühl habe, von jemandem angegriffen und geschlagen zu werden, und wenn ich in die Stadt springe, ist es eine Bewegung von Rei. Ich half oder trank billigen Sake mit Horiki, gab den größten Teil meines Studiums und Malstudiums auf und ging im November des zweiten Jahres in die High School, älter als ich. Ich hatte einen traurigen Tod mit der Frau meines Mannes und mein persönlicher Zustand änderte sich völlig.',
 'Tsuneko wird jetzt geküsst.',
 'Aber wenn Sie sich gut fühlen, Ihre Zukunftspläne klar definieren und sich mit mir beraten, werde ich versuchen, Ihnen zumindest in kleinen Schritten bei Ihrer Rehabilitation zu helfen. Ich denke sogar nach.',
 'Ich habe Horikis Haus noch nie von mir aus besucht, und ich habe Horiki normalerweise per Telegramm angerufen, aber jetzt ist sogar die Telegrammgebühr einsam, und ich falle hinein. Horiki dachte, dass er nicht einfach kommen könnte, indem er ein Telegramm von seinem Körper schickte, also beschloss er, "zu besuchen", was er nicht gut konnte, seufzte und stieg in die Straßenbahn. Als ich merkte, dass das einzige Seil, auf das ich mich auf der Welt verlassen konnte, Horiki war, wurde ich von einem schrecklichen Zeichen getroffen, dass meine Wirbelsäule kalt wurde.',
 'Seitdem musste ich sogar Shigeko erschrecken.',
 '"Möchtest du trinken?"',
 'Vertrauen ist eine Sünde.',
 'Yoshiko scheint zu glauben, dass sie anstelle von Yoshiko Gift getrunken hat, und noch mehr als zuvor hat sie sich gepackt und über nichts gelacht, was sie gesagt hat. Es war so unbeschreiblich, dass ich mich darüber ärgerte, im Apartmentzimmer zu sein, und ich ging einfach raus und musste wie üblich billigen Sake trinken.',
 'Dieser Freund war in meiner College-Zeit ein sogenannter Alumni, und jetzt bin ich Dozentin an einem bestimmten Frauencollege, aber tatsächlich habe ich diesen Freund gebeten, meine Verwandten zu heiraten, damit das erledigt wird Aus diesem Grund habe ich beschlossen, frische Meeresfrüchte zu kaufen und sie meiner Familie zu geben, und bin mit einem Rucksack auf dem Rücken nach Funabashi City gefahren.']


Eine Person wie ich, die kein literarisches Talent hat, kann es nur in drei Zeilen verstehen, deshalb werde ich es weiter zusammenfassen


ningen_summary_summary=cotoha_call("summary",''.join(ningen_summary))
ningen_summary_summary

===>
Zusammenfassung (β)
===>
{'result': 'Yoshiko scheint zu glauben, dass sie anstelle von Yoshiko Gift getrunken hat, und noch mehr als zuvor hat sie sich gepackt und über nichts gelacht, was sie gesagt hat. Es war so unbeschreiblich, dass ich mich darüber ärgerte, im Apartmentzimmer zu sein, und ich ging einfach raus und musste wie üblich billigen Sake trinken.',
 'status': 0}

Mit anderen Worten, menschliche Disqualifikation ** Yoshiko würde immer noch billigen Sake trinken ** Scheint die Zusammenfassung von COTOHA zu sein. Wer ist Yoshiko? Das Bild der Katze vor Ort ist in meinem Kopf ...

Andere Arbeiten

##Nackte Dame (übersetzt, weil die Anzeige des Urheberrechts subtil war)
hadaka_summary=summarize_by_cotoha("https://www.aozora.gr.jp/cards/000019/files/46319_23030.html")
hadaka_summary

["Es gibt nur zwei Betrüger"],["Aber König, bist du nackt?"]

Es ist ziemlich zentral, aber als ich diese beiden in die Zusammenfassungs-API aufgenommen habe, hat die erstere gewonnen. Es scheint, dass der Betrüger einen stärkeren Einfluss hat als der König.


#Relativitätstheorie

soutaisei_summary=summarize_by_cotoha("https://www.aozora.gr.jp/cards/001428/files/50328_64360.html")
soutaisei_summary

['Wir können jedes stationäre Objekt in Bezug auf Äther irgendwie als absolut stationär bezeichnen.',
 "Dieses Sitzmarkensystem K.'Platzieren Sie auch ein Uhrensystem in diesem Feld und setzen Sie sie alle in K.'Lass uns mit diesem K arbeiten'Sie können eine stationäre Uhr genau nach den oben angegebenen Regeln einstellen.",
 'Die Geschwindigkeit, mit der sich die Uhr in einem Bewegungszustand bewegt, wird durch die Bewegungsuhr bestimmt, die gerade unter den Uhren betrachtet wurde, die in Bezug auf K stationär sind und die Zeit in Bezug auf K messen. Es muss berücksichtigt werden, dass es immer im Vergleich zur Zeigerposition von etwas gefunden wird, das vorbeigeht.']

#Weitere Zusammenfassung
cotoha_call("summary",''.join(soutaisei_summary))

{'result': "Dieses Sitzmarkensystem K.'Platzieren Sie auch ein Uhrensystem in diesem Feld und setzen Sie sie alle in K.'Lass uns mit diesem K arbeiten'Sie können eine stationäre Uhr genau nach den oben angegebenen Regeln einstellen.",
 'status': 0}

Hmmm, könnte man das zusammenfassen? Ich habe das Gefühl, als hätte ich COTOHAs Stimme sagen hören: "Gib nichts, was du nicht verstehst." Vielen Dank

Serpentin

Da es schwierig ist, über das Urheberrecht nachzudenken, habe ich versucht, die Bemerkungen des jüngsten Ministers auf die zusammenfassende API anzuwenden


cotoha_call("summary","Als ich in 30 Jahren darüber nachdachte, fragte ich mich, wie alt ich unmittelbar nach der Katastrophe in 30 Jahren sein würde. Deshalb denke ich, dass ich ein potenzieller Politiker bin, um den Meilenstein zu sehen, ob ich mein Versprechen in 30 Jahren einhalten kann, wenn ich gesund bleibe.")

{'result': 'Als ich in 30 Jahren darüber nachdachte, fragte ich mich, wie alt ich unmittelbar nach der Katastrophe in 30 Jahren sein würde.', 'status': 0}

Ich hörte Mr. COTOHAs Stimme fragen, ob ich etwas zusammenfassen könnte, das keinen Sinn hat.

Zusammenfassung

Ich habe auch Hänsel und Gretel und Akazukin-chan ausprobiert, aber es war nicht gut genug. Die meisten Gegenstände im Aozora Bunko haben einen alten Stil, daher scheinen sie nicht kompatibel zu sein.

Wenn Sie eine Phrase für die Zusammenfassung, zwei Phrasen für die Zusammenfassung usw. angeben können, wird die Anwendung meiner Meinung nach weiter ausgebaut!

Ehre sei der zukünftigen Entwicklung der COTOHA API!

Recommended Posts

Lassen Sie uns Aozora Bunko im Gespräch mit COTOHA zusammenfassen
Lassen Sie sie die Bibliothek des blauen Himmels langsam lesen
Clustering von Büchern von Aozora Bunko mit Doc2Vec
Lassen Sie sie den Aozora Bunko langsam lesen: Genauer
Lassen Sie sie den Aozora Bunko langsam lesen: Codeverbesserung
Lassen Sie uns die Verarbeitung natürlicher Sprache mit der COTOHA-API genießen