[PYTHON] Lorsque j'essaie de partager avec Bert Japanese Tokenizer de Hugging Face, cela échoue avec l'initialisation de MeCab et aussi avec l'encodage.

Je vais l'écrire sous forme de note afin que les personnes qui tombent sur la même erreur aient moins de temps pour lever les yeux.

Ce qui suit fonctionne sur Google Colab.

Installez les transformateurs MeCab et huggingface sur Colab en vous reportant à here.

!apt install aptitude swig
!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y
!pip install mecab-python3
!pip install transformers

Essayez d'écrire avec le tokenizer de BERT pour le japonais.

from transformers.tokenization_bert_japanese import BertJapaneseTokenizer

#Tokenizer déclaré pour le BERT japonais
tokenizer = BertJapaneseTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')

text = "Le traitement du langage naturel est très amusant."

wakati_ids = tokenizer.encode(text, return_tensors='pt')
print(tokenizer.convert_ids_to_tokens(wakati_ids[0].tolist()))
print(wakati_ids)

J'ai eu l'erreur suivante.

----------------------------------------------------------

Failed initializing MeCab. Please see the README for possible solutions:

    https://github.com/SamuraiT/mecab-python3#common-issues

If you are still having trouble, please file an issue here, and include the
ERROR DETAILS below:

    https://github.com/SamuraiT/mecab-python3/issues

Vous n'êtes pas obligé d'écrire le numéro en anglais.

------------------- ERROR DETAILS ------------------------
arguments: 
error message: [ifs] no such file or directory: /usr/local/etc/mecabrc
---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-3-f828f6470517> in <module>()
      2 
      3 #Tokenizer déclaré pour le BERT japonais
----> 4 tokenizer = BertJapaneseTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')
      5 
      6 text = "Le traitement du langage naturel est très amusant."

4 frames
/usr/local/lib/python3.6/dist-packages/MeCab/__init__.py in __init__(self, rawargs)
    122 
    123         try:
--> 124             super(Tagger, self).__init__(args)
    125         except RuntimeError:
    126             error_info(rawargs)

RuntimeError: 

La sortie d'erreur me dit gentiment de regarder ici, donc installez mecab-python3 comme indiqué à l'URL. Quand tu fais

pip install unidic-lite

Si vous exécutez également, il ne sera pas supprimé lors de l'initialisation de MeCab. Cependant, cette fois, je me suis fâché avec Value Error: trop de valeurs à décompresser (attendu 2) dans ʻencode`.

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-5-f828f6470517> in <module>()
      6 text = "Le traitement du langage naturel est très amusant."
      7 
----> 8 wakati_ids = tokenizer.encode(text, return_tensors='pt')
      9 print(tokenizer.convert_ids_to_tokens(wakati_ids[0].tolist()))
     10 print(wakati_ids)

8 frames
/usr/local/lib/python3.6/dist-packages/transformers/tokenization_bert_japanese.py in tokenize(self, text, never_split, **kwargs)
    205                 break
    206 
--> 207             token, _ = line.split("\t")
    208             token_start = text.index(token, cursor)
    209             token_end = token_start + len(token)

ValueError: too many values to unpack (expected 2)

À propos de cette erreur ici, le développeur de mecab-python3? Comme mentionné par, il a été résolu en spécifiant la version de mecab-python3 comme «0.996.5».

En résumé, lors de l'installation de pip, je pense que ce ne sera pas une erreur si vous le déclarez comme suit.

!apt install aptitude swig
!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y
!pip install mecab-python3==0.996.5
!pip install unidic-lite
!pip install transformers

Si vous avez déjà installé la dernière version de mecab-python3 avec pip avant d'exécuter ↑, n'oubliez pas de reconnecter votre session colab. Vous pouvez déconnecter la session de la gestion de session en cliquant sur ▼ en haut à droite de l'écran colab, comme la RAM ou le disque.

from transformers.tokenization_bert_japanese import BertJapaneseTokenizer

#Tokenizer déclaré pour le BERT japonais
tokenizer = BertJapaneseTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')

text = "Le traitement du langage naturel est très amusant."

wakati_ids = tokenizer.encode(text, return_tensors='pt')
print(tokenizer.convert_ids_to_tokens(wakati_ids[0].tolist()))
print(wakati_ids)

#Downloading: 100%
#258k/258k [00:00<00:00, 1.58MB/s]
#
#['[CLS]', 'La nature', 'Langue', 'En traitement', 'Est', 'beaucoup', 'agréable', '。', '[SEP]']
#tensor([[    2,  1757,  1882,  2762,     9,  8567, 19835,     8,     3]])

J'ai pu l'écrire en toute sécurité avec BertJapanese Tokenizer.

fin