Quelle est la précision de la génération de phrases avec quel ensemble de données? Je ne l'ai jamais essayé, alors je l'ai essayé.
Je l'ai écrit dans Tensorflow. Je pense que Keras est plus simple à écrire. .. .. Un LSTM à deux couches est installé et le caractère / mot après un caractère est appris comme données de l'enseignant. Lors de la génération de phrases, le caractère / mot avec la précision de prédiction la plus élevée est sélectionné. Si vous voulez faire des fluctuations, je pense que vous pouvez choisir au hasard parmi les principales prédictions.
Pour l'ensemble de données, j'ai choisi "Transformation" de Kafuka à partir de l'URL suivante. Il n'y a pas de signification particulière. http://www.gutenberg.org/ebooks/5200
Le prétraitement extrait uniquement la partie de texte et supprime la notation de chapitre. Je pense que ce sera encore plus beau si vous remplacez les symboles.
Cliquez-ici pour le code https://github.com/pigooosuke/lstm_text_generator
Génère des phrases commençant par "Le".
Nombre de vocabulaires: 60 Nombre total de caractères: 116622
The same times that I've open upingoull, and his fordit the sigh of the reases,
and no tho gontoused and he pusied hers so that he was to became use to be ard
forgove and he would save with a cramous snignto and if he wolld with hiseof ball
paysfrom a lots of his beadionabthraif asting wouldnewpatreary himself asliad for
hil", and pust ho ewairsutention with anverask so stant that spert flack as home
and he would know all the bost of what had been sudfert horrikeltsubpessitratthr ,
was a giran in mupid.- Gregor had never could be seen fuc award efuss to bong
severy decisavely atthis way warall.
Il semble que vous puissiez apprendre correctement l'espace vide. Pour être honnête, je ne comprends pas vraiment le sens.
Nombre de vocabulaires: 4997 Nombre total de mots: 20252 ↑ Le nombre total de mots peut être déséquilibré par rapport au vocabulaire. .. ..
The room for her hand and she had her her came hands often her selfcontrolled, It
was very sign and the father would have to him but she had been more for her and
she had not very indifferent to him more tried to get and difficult that she would
used to get himself than he had been before. for bed Gregor had him for him to it;
he had back and it was thought that he would have to him for the time that she had
already again in this mother and could not time about this I not me to ask I
parents to the hall, that father only to the door as his mother would always put on
the key on the door with the gold slightly in the notes and day,
Cela a l'air correct par rapport au niveau de caractère, mais je ne peux pas lire le sens ... Au fait, si vous passez ce qui précède via Google Traduction
Une place pour ses mains et elle l'avait Elle a souvent retenu ses mains,
C'était très impressionnant et mon père avait à lui,
Elle était pour elle et elle avait l'habitude de se faire plus qu'avant.
Gregor l'avait pour lui pour le lit.
Il est revenu et a pensé qu'il devait être avec lui pour le temps qu'il faisait à cette mère à nouveau.
Je ne m’ai pas fait rencontrer mes parents.
Verrouillez toujours la porte avec une note et un peu d'argent le jour même.
Hmm. Si vous êtes un passionné de Kafka, diriez-vous: "C'est une phrase de type Kafka!"
Je peux comprendre si c'est un mot très court, mais ... ・ Le père devrait ・ On pensait qu'il devrait ・ Sa mère mettait toujours la clé sur la porte
C’est un niveau d’idée, ・ Puisque les mots prédits ne sont pas limités, prédisez à partir du vocabulaire déterminé. ・ Remplissez la phrase de prédiction avec une longueur fixe plutôt qu'une longueur aléatoire. -Générer plusieurs phrases candidates et adopter celles avec une forte similitude cosinus des phrases précédentes et suivantes C'est peut-être un peu décent, mais je doute qu'il y ait une amélioration spectaculaire. De plus, avec la classification, il existe des cas où la précision est améliorée avec 2gram-char et 3gram-char, il peut donc être intéressant de l'essayer. Celui ci-dessus est 1gram-char.
La génération interactive de phrases est souvent mentionnée, Il est difficile de générer simplement une phrase.
Recommended Posts