[PYTHON] Traitement par lots des formulaires avec Azure Form Recognizer
Il existe un service appelé Azure Form Recognizer. https://azure.microsoft.com/ja-jp/services/cognitive-services/form-recognizer/
C'est un excellent qui lit bien le formulaire et extrait les données cibles. Puisqu'il existe également une API, j'ai écrit un script Python qui peut traiter plusieurs formulaires à la fois https://github.com/yosukearaiMS13/formrecognizerbatch/blob/master/fy.py
Le contenu du script et son utilisation sont expliqués ci-dessous.
Contenu du script
Le script est réalisé en étendant l'exemple dans le document https://docs.microsoft.com/ja-jp/azure/cognitive-services/form-recognizer/quickstarts/python-labeled-data?tabs=v2-0
Le script se compose de 4 sections https://github.com/yosukearaiMS13/formrecognizerbatch/blob/master/fy.py
fr.py
# Configurations:Divers paramètres de réglage
#Section pdf de la cible de l'analyse post-analyse
##Publier toutes les données à analyser dans le module de reconnaissance de formulaire
# Get analyze results section
##Obtenez le résultat de l'analyse (y compris les données extraites) des données publiées précédemment.
#Section de sortie CSV du résultat de l'extraction
##Le résultat de l'extraction est sorti. Supprimez les espaces blancs supplémentaires et remplacez les valeurs extraites non fiables
##(S'il est inférieur au seuil, la valeur extraite n'est pas adoptée et la fiabilité est utilisée à la place.[]Sortie en boite)
##Fait
La section Obtenir les résultats d'analyse et la sortie csv des résultats d'extraction analyse le json renvoyé par le programme de reconnaissance de formulaire. Cliquez ici pour le format json https://github.com/Azure-Samples/cognitive-services-REST-api-samples/blob/master/curl/form-recognizer/Invoice_1.pdf.ocr.json
Le format du csv de sortie est le suivant.
--Première colonne: nom du fichier de formulaire à analyser
--Deuxième et colonnes suivantes: toutes les étiquettes (balises) définies dans le modèle d'analyse et les valeurs extraites correspondantes
Les API utilisées dans chaque section sont les suivantes --Post Analyzed pdf: Analyze Form
- Get analyze results: Get Analyze Form Result --Section de sortie CSV: Obtenir un modèle personnalisé
- Obtenez toutes les étiquettes définies dans l'API et utilisez-les comme valeur d'en-tête de csv.
Comment utiliser le script
1. Environnement
Win10 Enterprise, Python 3.8.5, IDE est facultatif
2. Préparation de l'extraction des données
(* Du travail préalable à la préparation de l'extraction de données 1, cet article Qiita est également utile.)
- Travail préalable: procédez d'abord comme suit
- [Créer une ressource de reconnaissance de formulaire](https://docs.microsoft.com/en-us/azure/cognitive-services/form-recognizer/quickstarts/label-tool?tabs=v2-0#create-a-form -recognizer-resource)
- Créer un objet blob Azure (Créer un compte de stockage-> Créer un conteneur)
- Paramètres d'objets blob Azure (Créer une signature d'accès partagé) -access-signatures) (utile dans le menu Explorateur de stockage dans le portail Azure)
- (Vérifiez tous les champs d'autorisation)
- (La valeur URL générée sera utilisée plus tard, alors enregistrez-la)
--Préparation d'extraction de données 1 (mise en œuvre uniquement pour la première fois)
-
Stocker les données d'entraînement pour la création de modèle dans le blob Azure: placez au moins 5 fichiers (facture_1 ~ 5.pdf dans ce cas) sous la forme suivante (xx.json est un fichier créé plus tard, alors ignorez-le ici)
-
-
Paramètres de l'outil d'étiquette (balisage):
- Cliquez ici pour les outils d'étiquetage https://fott.azurewebsites.net/
- Procédure d'étiquetage: Suivez les étapes du document ci-dessous pour vous connecter à l'outil d'étiquetage -> créer un projet. + https://docs.microsoft.com/ja-jp/azure/cognitive-services/form-recognizer/quickstarts/label-tool?tabs=v2-0#connect-to-the-sample-labeling-tool
- Configuration du script python # 1
fr.py
## Configurations
endpoint = r"https://xxxxx.cognitiveservices.azure.com/"
apim_key = "xxxxx"
model_id = "xxxxx"
sourceDir = r"C:\xxxxx\*"
confidence_setting = 0.9 # 0~1.Non adopté si la fiabilité est inférieure à cette valeur
--endpoint: point de terminaison Form Recognizer --apim_key: clé de reconnaissance de formulaire 1 ou 2 --sourceDir: Décrivez l'emplacement du fichier de formulaire à analyser avec le chemin complet --confidence_setting: Définit une valeur de 0 à 1 (* En tant que spécification de script, si la fiabilité est inférieure ou égale à cette valeur, la valeur extraite n'est pas adoptée, et à la place la valeur d'évaluation de fiabilité est sortie dans []. Est)
- Préparation d'extraction de données 2 (effectuée chaque fois qu'une étiquette est ajoutée ou modifiée)
- Étiquetez les données d'entraînement chargées (formulaire) avec l'outil d'étiquette (balisage) (https://fott.azurewebsites.net/). .. Entraînez-vous lorsque vous avez terminé et générez un modèle
- Étapes dans le document ci-dessous: étiquetez le formulaire-> Entraînez votre modèle personnalisé + https://docs.microsoft.com/ja-jp/azure/cognitive-services/form-recognizer/quickstarts/label-tool?tabs=v2-0#label-your-forms
- [Cet article Qiita](https://qiita.com/komiyasa/items/afee82f7baddcd820251#%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%9E%E3%82 % A4% E3% 82% BA% E3% 82% 92% E5% AE% 9F% E8% A1% 8C% E3% 81% 99% E3% 82% 8B)
- Après le train, l'identifiant du modèle sera généré (ci-dessous). Cette valeur sera utilisée plus tard![Image.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws. com% 2F0% 2F149921% 2Ffa4048dc-c641-38e0-6ad9-d1a6e2b291bf.png? ixlib = rb-1.2.2 & auto = format & gif-q = 60 & q = 75 & s = c73deb1bac3ffc3074b2b6cbd14d359d359 --Paramétrage du script python # 2: model_id
fr.py
## Configurations
endpoint = r"https://xxxxx.cognitiveservices.azure.com/"
apim_key = "xxxxx"
model_id = "xxxxx"
sourceDir = r"C:\xxxxx\*"
confidence_setting = 0.9 # 0~1.Non adopté si la fiabilité est inférieure à cette valeur
--Model_id: Définissez l'ID de modèle obtenu ci-dessus
3. Extraction de données
--Placer le fichier de formulaire à analyser dans sourceDir --Exécuter fr.py
- Le résultat de l'extraction des données csv est sorti dans le même dossier que le script
4. Contraintes, etc.
――C'est un format de fichier du formulaire à former et à analyser, mais je n'ai essayé que le PDF
- Je le fais sur la base de la version actuelle v2.0 de Form Recognizer. Si vous l'utilisez dans d'autres versions, vous devrez modifier l'URL de l'API comme il convient et répondre au changement de format json renvoyé par l'outil de reconnaissance de formulaire.
Recommended Posts