Il décompose le japonais avec l '«analyseur morphologique inclus dans le dictionnaire»!
https://mocobeta.github.io/janome/
$ python3 -V
Python 3.7.3
$ mkdir janome-sample
$ cd janome-sample
$ python3 -m venv venv
$ source ./venv/bin/activate
$ pip install janome
$ python3
Python 3.7.3 (default, Mar 6 2020, 22:34:30)
[Clang 11.0.3 (clang-1103.0.32.29)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from janome.tokenizer import Tokenizer
>>> t = Tokenizer()
>>> for token in t.tokenize(u'À la fin de la chanson, Gauche se précipita dans la loge avec un violoncelle aussi vite que le chat, sans plus regarder tout le monde.'):
... print(token)
...
Nomenclature des chansons,Général,*,*,*,*,Chanson,Kyoku,Kyoku
Est un assistant,Assistant de cas,Général,*,*,*,Mais,Géorgie,Géorgie
Verbe de fin,Indépendance,*,*,Cinq étapes, La ligne,Forme basique,fin,Owar,Owar
Et des mots auxiliaires,Assistant de connexion,*,*,*,*,Quand,À,À
Gauche substantif,Général,*,*,*,*,Gauche,*,*
Est un assistant,Assistance,*,*,*,*,Est,C,sensationnel
Déjà un complément,Général,*,*,*,*,Déjà,Mou,Mo
Tout le monde non non,Synonyme,Général,*,*,*,Toutes les personnes,Minna,Minna
Mots auxiliaires,syndicat,*,*,*,*,de,Non,Non
Nomenclature,Non indépendant,Général,*,*,*,Un,Hou,Ho
Etc.,Sous-auxiliaire,*,*,*,*,Tel,Nad,Nad
Est un assistant,Assistance,*,*,*,*,Est,C,sensationnel
Look verbe,Indépendance,*,*,Un pas,Type continu,à voir,Mi,Mi
Aussi assistant,Assistance,*,*,*,*,Aussi,Mo,Mo
Verbe se,Indépendance,*,*,Sahen / Suru,Connexion Nu,Faire,Se,Se
Zu verbe auxiliaire,*,*,*,Spécial,Connexion continue,Nu,Zu,Zu
Juste un complément,Général,*,*,*,*,Juste,Choud,Chode
Cet accessoire,*,*,*,*,*,Cette,Donc non,Donc non
Chat substantif,Général,*,*,*,*,Chat,chat,chat
Mots auxiliaires,syndicat,*,*,*,*,de,Non,Non
Yo substantif,Non indépendant,Racine de verbe auxiliaire,*,*,*,Yo,Tu,Yo
Auxiliaire,Auxiliaire,*,*,*,*,À,ré,ré
Adjectifs rapides,Indépendance,*,*,apocalypse,Connexion continue,Rapide,Sous-kayak,Sous-kayak
Cyril substantif,Général,*,*,*,*,Cyril,Cyril,Cyril
Auxiliaire,Assistant de cas,Général,*,*,*,À,Wo,Wo
Mot verbe,Indépendance,*,*,Cinq étapes / ligne Ta,Connexion continue,Avoir,Mot,Mot
Te assistant,Assistant de connexion,*,*,*,*,main,Te,Te
Dressing substantif,Général,*,*,*,*,vestiaire,Gakuya,Gakuya
À l'assistant,Assistant de cas,Général,*,*,*,Quoi,F,ré
Liao substantif,Général,*,*,*,*,Liao,*,*
Ge substantif,suffixe,Général,*,*,*,Ge,Ge,Ge
Verbe inclus,Indépendance,*,*,Cinq étapes, ligne Ma,Type continu,Entrer,Komi,Komi
Masu verbe auxiliaire,*,*,*,Spécial / masse,Type continu,Masu,Mashi,Mashi
Verbe auxiliaire,*,*,*,Spécial,Forme basique,Ta,Ta,Ta
>>>
C'était bon
Recommended Posts