Télécharger des fichiers sur Aspera fournis avec IBM Cloud Object Storage (ICOS) à l'aide du SDK (version Python)

Comment télécharger un fichier sur IBM Cloud Object Storage (ICOS). Cette fois, nous utiliserons Aspera fourni avec ICOS en utilisant la version Python du SDK.

Environnement utilisé

La série 3 convient, mais actuellement, le SDK ne prend en charge que 3,6, j'ai donc vérifié avec 2 séries.

Configuration du SDK pour Python

Veuillez configurer en vous référant ici. GitHub:IBM-Cloud/data-lake/upload/cos-upload

Après avoir configuré pip, exécutez install.sh, Pour la version Windows, j'ai copié directement le contenu du fichier et exécuté la commande.

install.sh


pip install --upgrade pip
pip install --upgrade setuptools
pip install "requests>=2.22.0,<2.23.0" "ibm-cos-sdk>=2.5.4" "cos-aspera>=0.1.163682"

Vérifier les informations IQOS

Connectez-vous à IBM Cloud Console (Web) pour vérifier vos informations d'identification de service ICOS. Les informations d'identification du service se trouvent dans les informations d'identification du compartiment créées dans ICOS. service_info.png

Courir

Un exemple de commande est le suivant.

cos-upload.py <endpoint> <apikey> <bucket_name> <prefix> <file>

Exécuter sur Mac

$ python cos-upload.py s3.jp-tok.cloud-object-storage.appdomain.cloud "api-key" test-bucket "" test-upload-python-mac.txt

Initialize COS and Aspera Transfer Manager using endpoint: https://s3.jp-tok.cloud-object-storage.appdomain.cloud

Upload file to COS: /tmp/test-upload-python-mac.txt => test-upload-python-mac.txt
Upload file to COS completed.

Exécuter sous Windows

C:\tmp>py -2 D:\Workspace\cos-upload.py s3.jp-tok.cloud-object-storage.appdomain.cloud "api-key" test-bucket "" test-upload-python-win.txt

Initialize COS and Aspera Transfer Manager using endpoint: https://s3.jp-tok.cloud-object-storage.appdomain.cloud

Upload file to COS: C:\tmp\test-upload-python-win.txt => test-upload-python-win.txt
Upload file to COS completed.

Confirmation d'arrivée

Confirmez que le téléchargement a réussi avec la commande ibmcloud.

//Confirmez qu'il a été téléchargé avec succès
$ ibmcloud cos list-objects --bucket test-bucket
OK
Trouvé 3 Il y a un objet dans le seau'test-bucket':

Nom Date et heure de la dernière modification Taille de l'objet
test.txt    Feb 28, 2020 at 02:27:12   14 B
test-upload-python-mac.txt   Mar 05, 2020 at 20:05:11   20 B
test-upload-python-win.txt   Mar 05, 2020 at 21:21:50   20 B

Épilogue

Je pense que les points de la version Python sont "la construction d'un environnement d'exécution" et "la compréhension du concept de spécification des paramètres au moment de l'exécution".

J'ai fonctionné sur la série 3.7 sans remarquer Require pendant un moment, donc j'avais des problèmes avec install.sh, mais quand je l'ai implémenté sur la série 2.7, cela a été résolu avec brio, donc j'ai perdu du temps! J'ai ressenti cela. De plus, je ne pense pas qu'il y ait beaucoup de cas où Python fonctionne sous Windows, mais je l'ai essayé parce que c'était un gros problème, et cela a fonctionné, alors je l'ai ajouté.

Les paramètres d'exécution «» et «» sont des auteurs-compositeurs, et comme vous pouvez le voir, les fichiers n'ont pas été téléchargés comme prévu au début, ce qui était un peu difficile à comprendre. Par exemple, si vous spécifiez le chemin complet pour <file>,

/tmp/upload/test.txt   Mar 03, 2020 at 21:21:50   20 B

Un fichier avec le nom du chemin sera téléchargé. Donc, aller dans le répertoire du fichier que vous voulez envoyer et appeler cos-upload.py à partir de là n'a pas à être compliqué, donc cela peut être plus facile à faire. Je pense.

Lien de référence

Recommended Posts

Télécharger des fichiers sur Aspera fournis avec IBM Cloud Object Storage (ICOS) à l'aide du SDK (version Python)
Convertir l'API cURL en script Python (à l'aide du stockage d'objets IBM Cloud)
Télécharger le fichier sur Cloud Storage (GCS) de GCP ~ Charger avec Python local
Comment télécharger des fichiers sur Cloud Storage à l'aide de Python [Créer une caméra à point fixe avec Raspberry PI # 1]
Convertissez les fichiers téléchargés vers Cloud Storage avec Cloud Functions (Python) afin qu'ils ne soient pas déformés dans Excel
Télécharger des fichiers sur Google Drive avec Lambda (Python)
[Python] Modifier le contrôle du cache des objets téléchargés sur Cloud Storage
Cloud Functions pour redimensionner les images à l'aide d'OpenCV avec le déclencheur Cloud Storage
Importez et supprimez des fichiers dans Google Cloud Storages avec django-storage
Modifications pour exécuter "Utilisation de Cloud Dataflow + Cloud Pub / Sub + Fluentd ..." avec le SDK 2.1
Importation et téléchargement d'images sur le stockage Azure. Avec Python + requêtes + API REST
Téléchargement de fichiers vers Azure Storage (Python)
Convertissez la feuille de calcul en CSV et importez-la dans Cloud Storage avec Cloud Functions
Copier des données d'Amazon S3 vers Google Cloud Storage avec Python (boto)
Essayez de piquer la base de données sur IBM i avec python + JDBC à l'aide de JayDeBeApi
GAE --Avec Python, faites pivoter l'image en fonction des informations de rotation d'EXIF et importez-la dans Cloud Storage.
[AWS] Utilisation de fichiers ini avec Lambda [Python]
Essayez d'utiliser Python avec Google Cloud Functions
Travailler avec OpenStack à l'aide du SDK Python
[GCP] Exploitez Google Cloud Storage avec Python
Exploitez le stockage d'objets cloud de Sakura à partir de Python
Télécharger des images sur Google Drive avec Python
Étude à partir de Python Lecture et écriture de fichiers Hour9
Lire et écrire des fichiers csv
Télécharger des fichiers sur Aspera fournis avec IBM Cloud Object Storage (ICOS) à l'aide du SDK (version Python)
Installez Anaconda sur votre Mac et téléchargez votre notebook Jupyter (IPython) sur Anaconda Cloud
Comment réparer la merde lors de la lecture d'images Google Cloud Storage de Django déployées sur GAE
Paramètres de lecture de fichiers S3 avec des pandas depuis Jupyter Notebook sur AWS
Lire et écrire des fichiers JSON avec Python
Exploitez le stockage d'objets cloud de Sakura à partir de Python
[IBM Cloud] J'ai essayé d'accéder à la table Db2 on Cloud à partir de Cloud Funtions (python)
Comment installer Fast.ai sur le GPU Alibaba Cloud et l'exécuter sur un ordinateur portable Jupyter
Convertir l'API cURL en script Python (à l'aide du stockage d'objets IBM Cloud)