[PYTHON] Als ich versuchte, Sätze basierend auf Kafkas "Transformation" mit LSTM zu generieren, konnte ich niemand werden.

Überblick

Wie genau ist die Satzgenerierung mit welchem Datensatz? Ich habe es nie versucht, also habe ich es versucht.

Methode

Ich habe es in Tensorflow geschrieben. Ich denke, Keras ist einfacher zu schreiben. .. .. Ein zweischichtiges LSTM wird installiert, und Zeichen / Wort nach einem Zeichen werden als Lehrerdaten gelernt. Bei der Erzeugung von Sätzen wird char / word mit der höchsten Vorhersagegenauigkeit ausgewählt. Wenn Sie Schwankungen vornehmen möchten, können Sie meiner Meinung nach zufällig aus den Top-Vorhersagen auswählen.

Für den Datensatz habe ich Kafukas "Transformation" unter der folgenden URL ausgewählt. Es gibt keine besondere Bedeutung. http://www.gutenberg.org/ebooks/5200

Die Vorverarbeitung extrahiert nur den Textteil und löscht die Kapitelnotation. Ich denke, es wird noch schöner, wenn Sie die Symbole ersetzen.

Klicken Sie hier für den Code https://github.com/pigooosuke/lstm_text_generator

Ergebnis

Erzeugt Sätze, die mit "The" beginnen.

Char Level

Anzahl der Vokabeln: 60 Gesamtzahl der Zeichen: 116622

The same times that I've open upingoull, and his fordit the sigh of the reases,
and no tho gontoused and he pusied hers so that he was to became use to be ard
forgove and he would save with a cramous snignto and if he wolld with hiseof ball
paysfrom a lots of his beadionabthraif asting wouldnewpatreary himself asliad for
hil", and pust ho ewairsutention with anverask so stant that spert flack as home
and he would know all the bost of what had been sudfert horrikeltsubpessitratthr ,
was a giran in mupid.- Gregor had never could be seen fuc  award efuss to bong
severy decisavely atthis way warall.

Es scheint, dass Sie die Leerstelle richtig lernen können. Um ehrlich zu sein, verstehe ich die Bedeutung nicht wirklich.

Wortebene

Anzahl der Vokabeln: 4997 Gesamtzahl der Wörter: 20252 ↑ Die Gesamtzahl der Wörter kann in Bezug auf den Wortschatz unausgewogen sein. .. ..

The room for her hand and she had her her came hands often her selfcontrolled, It
was very sign and the father would have to him but she had been more for her and
she had not very indifferent to him more tried to get and difficult that she would
used to get himself than he had been before. for bed Gregor had him for him to it;
he had back and it was thought that he would have to him for the time that she had
already again in this mother and could not time about this I not me to ask I
parents to the hall, that father only to the door as his mother would always put on
the key on the door with the gold slightly in the notes and day,

Es sieht im Vergleich zum Char-Level anständig aus, aber ich kann die Bedeutung nicht lesen ... Übrigens, wenn Sie die oben genannten durch Google-Übersetzung übergeben,

Ein Raum für ihre Hände und sie hatte sie Sie hielt oft ihre Hände zurück,
Es war sehr beeindruckend und mein Vater musste zu ihm,
Sie war für sie und sie war es gewohnt, sich mehr als zuvor zu holen.
Gregor hatte es für ihn fürs Bett.
Er kam zurück und dachte, er müsse für die Zeit bei ihm sein, die er dieser Mutter wieder angetan hatte.
Ich habe mich nicht dazu gebracht, meine Eltern zu treffen.
Schließen Sie die Tür am Tag immer mit einem Zettel und etwas Geld ab.

Hmm. Wenn Sie ein Kafka-Enthusiast sind, würden Sie sagen: "Es ist eine Kafka-ähnliche Phrase!"

Ich kann verstehen, ob es eine sehr kurze Wortlänge ist, aber ... ・ Der Vater müsste ・ Es wurde gedacht, dass er muss ・ Seine Mutter steckte immer den Schlüssel an der Tür an

Verbesserungen

Es ist eine Ideenebene, ・ Da die vorhergesagten Wörter nicht eingegrenzt werden, sagen Sie dies anhand des ermittelten Vokabulars voraus. ・ Füllen Sie den Vorhersagesatz mit einer festen Länge anstatt mit einer zufälligen Länge auf.

Interaktive Satzgenerierung wird oft erwähnt, Es ist schwer, einfach einen Satz zu generieren.

Recommended Posts

Als ich versuchte, Sätze basierend auf Kafkas "Transformation" mit LSTM zu generieren, konnte ich niemand werden.
Mir wurde gesagt, dass ich XML_SetHashSalt nicht finden konnte, als ich versuchte, pip mit Python zu verwenden.
Melden Sie sich an, wenn ich befürchtet habe, dass ich unter Linux keine Verbindung zu Wi-Fi herstellen kann
Ich habe versucht, Mine Sweeper auf dem Terminal mit Python zu implementieren
Ich habe versucht, ObjectId (Primärschlüssel) mit Pymongo zu generieren
Ein Memorandum beim automatischen Erwerb mit Selen
Ich habe eine Kreuzvalidierung basierend auf dem Rastersuchergebnis mit scikit-learn versucht
Ich habe am Wochenende versucht, mit Bitcoin Systre zu beginnen
Ich habe versucht, die GUI auf einem Mac mit X Window System anzuzeigen
Ich habe versucht, alle Bemerkungen von Slack mit Wordcloud (Python) zusammenzufassen.
Generiere Power-Material für das Video "Ich habe versucht, mit XX zu singen" [python-pptx]
Ich habe versucht, Jojo mit LSTM ein seltsames Zitat zu machen
Ich habe versucht, Sätze mit summpy zusammenzufassen
[Python] Ich habe versucht, die Nacht der Galaxienbahn mit WordCloud zu visualisieren!
Ich habe versucht, Deep Learning zu implementieren, das nicht nur mit NumPy tiefgreifend ist
Ich habe ein Systemkonfigurationsdiagramm mit Diagrams on Docker geschrieben
Ich habe es mit den Top 100 PyPI-Paketen versucht.> Ich habe versucht, die auf Python installierten Pakete grafisch darzustellen
Ich habe versucht, Autoencoder mit TensorFlow zu implementieren
Ich habe versucht, AutoEncoder mit TensorFlow zu visualisieren
Ich habe versucht, mit Hy anzufangen
Ich habe versucht, CVAE mit PyTorch zu implementieren
Ich habe versucht, TSP mit QAOA zu lösen
Als ich versuchte, das Root-Passwort mit ansible zu ändern, konnte ich nicht darauf zugreifen.
Als ich versuchte, eine VPC mit AWS CDK zu erstellen, konnte ich es aber nicht schaffen
Als ich versuchte, mit Python eine virtuelle Umgebung zu erstellen, funktionierte dies nicht
Ich habe versucht, ein Projekt mit Python on Docker mit PyCharm zu erstellen, aber es hat mit Docker Compose funktioniert