[PYTHON] Créez facilement du HPC sur AWS avec un cluster AWS Cfn authentique
Qu'est-ce que CfnCluster?
Un outil qui facilite la création de machines en cluster sur AWS Version officielle de Starcluster Cliquez ici pour Premiers pas
Environnement
Environnement actuel
- ASUS C300
- Chrome OS(linux-64)
- miniconda3-3.18.3
Préparation côté AWS
Créez un utilisateur dans la console AWS (https://console.aws.amazon.com/iam/home?region=ap-northeast-1#users/)
--Créer un nouvel utilisateur
- Sélectionnez Utilisateur> Autorisations> Attacher une stratégie> Accès administrateur
Je ne sais pas si d'autres rôles sont acceptables
- Identifiants> Créer une clé d'accès> Télécharger les identifiants
-Créer Paire de clés> Télécharger le fichier pem
Installation de CfnCluster
--Construire un environnement virtuel avec anaconda
- On dirait que ça doit être python 2.7
conda create -n cfn python=2.7 boto boto3 #Pour le moment, mettez le boto dans le conda officiel
source activate cfn
pip install cfncluster
Générer un fichier de configuration
(cfn)chronos@localhost / $ cfncluster configure
Entrez diverses informations dans un format d'assistant
- Modèle de cluster: # Nom de la machine du cluster. Cette fois mycluster --AWS Access Key ID: # Reportez-vous aux informations d'identification --AWS Secret Access Key ID: #Refer to Credentials --AWS Region ID: # Les choix sont affichés. Cette fois ap-nord-est-1 --VPC Name: le nom #VPC peut être n'importe quoi, cette fois le test --Key Name: #Sélectionnez la clé que vous venez de créer
- ID VPC: # Les choix sont affichés, alors sélectionnez-les
- ID de sous-réseau maître: # Les choix sont affichés, alors sélectionnez-les
Le fichier de configuration défini a été généré ici ~/.cfncluster/config
[aws]
aws_region_name = ap-northeast-1
aws_access_key_id = xxxxxxxxxxxxxxxxx
aws_secret_access_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
[cluster mycluster]
vpc_settings = test
key_name = xxxxxx
[vpc test]
master_subnet_id = subnet-xxxxxxxx
vpc_id = vpc-xxxxxxxx
[global]
update_check = true
sanity_check = true
cluster_template = mycluster
Voir ici pour les paramètres détaillés.
Éléments de réglage susceptibles d'être utilisés
Ajoutez-le après la section [cluster] dans le fichier de configuration et c'est OK Ces éléments démarrent avec les valeurs par défaut sans réglage
--master_instance_type: la valeur par défaut de l'instance principale est t2.micro --compute_instance_type: la valeur par défaut de l'instance de nœud de calcul est t2.micro --initial_queue_size: nombre de nœuds de calcul à démarrer en premier. la valeur par défaut est 2 --maintain_initial_size: s'il faut mettre à l'échelle automatiquement. Notez que la valeur par défaut est false (mise à l'échelle), ce qui est le contraire du sentiment. --max_queue_size: nombre maximum de nœuds de calcul lors de la mise à l'échelle automatique. la valeur par défaut est 10 --cluster_type: s'il faut configurer un cluster à la demande ou sur place. La valeur par défaut est ondemand.
Même si vous spécifiez spot, MasterServer est à la demande (car ce sera un problème s'il tombe au milieu)
--spot_price: montant de l'enchère lorsque cluster_type = spot. defalut = 0,00 --custom_ami: AMI peut être spécifié
- proxy_server: http_proxy server --base_os: la valeur par défaut est alinux (amazon linux)
J'ai ajouté les éléments suivants et l'ai lancé en tant qu'essai
maintain_initial_size = true
initial_queue_size = 1
cluster_type = spot
compute_instance_type = m3.medium
spot_price = 0.02
Comment utiliser CfnCluster
Démarrez le cluster
(cfn)chronos@localhost / $ cfncluster create mycluster
Cela prend beaucoup de temps par rapport à l'amas d'étoiles. Cela prend moins de 20 minutes avec 1 nœud maître et 1 nœud de calcul La répartition est à peu près la suivante
- Paramètres de sécurité: 4min
- Lancement principal: 5min
- Enchère spot: 5min
- Lancement du nœud de calcul: 3min
- Post-traitement: 1min
Si l'offre est trop bon marché à construire, EC2 deviendra un zombie même si vous arrêtez cfncluster avec ctrl-x. Arrêtez-le correctement avec
cfncluster delete mycluster.
Confirmation des ganglions
Une fois lancé avec cfn, l'outil de surveillance de serveur Ganglia sera également lancé.
Output:"GangliaPublicURL"="http://xx.xxx.xxx.xxx/ganglia/"
Connectez-vous avec SSH
- Prenez note de l'adresse IP publique et connectez-vous ssh avec ec2-user @ public ip
Vérification
qhost
Supprimer le cluster
(cfn)chronos@localhost / $ cfncluster delete mycluster
Impressions et doutes
-Il y a un sentiment de sécurité parce que c'est authentique. Mais pourquoi est-ce si lent?
- Comment augmentez-vous ou diminuez-vous explicitement les nœuds de calcul? ――Auto Scaling semble être intéressant, mais il n'a pas été étudié
- Enquête requise pour la coopération avec S3 ―― C'est tout pour aujourd'hui
[Notez que j'oublie souvent] Connexion SSH à EC2 avec chromebook-secureshell
- La clé privée est key.pem
mkdir sshkey
cp key.pem ./sshkey/
chmod 600 ./sshkey/
sudo ssh-keygen -y -f ./sshkey/key.pem >key.pub
cp key.pem key
Importez la clé générée (renommée key.pem) et key.pub dans Secure Shell.
Recommended Posts