Construction d'un environnement d'analyse de données avec Python (notebook IPython + Pandas)

introduction

Cette fois, nous allons créer un environnement d'analyse de données avec Python sur un environnement virtuel. Plus précisément, les éléments suivants sont utilisés.

Qu'est-ce que VirtualBox?

VirtualBox est un logiciel de virtualisation de la virtualisation x86 (PC / serveur ordinaire qui traîne). Le nom officiel est Oracle VM VirtualBox. En cours de développement par Oracle.

Un outil très utile pour expérimenter diverses choses sans affecter l'environnement existant.

Qu'est-ce que Vagrant

Vagrant est un outil qui facilite la gestion des environnements virtuels depuis la console. Vous pouvez également créer facilement un environnement de test en utilisant Box créé par des volontaires.

L'introduire permet souvent d'économiser du temps et des efforts lors de la création de divers environnements.

Qu'est-ce qu'IPython

IPython est une extension majeure de l'interpréteur interactif Python existant. Fonction de complétion au moment de l'entrée, traitement parallèle dans l'environnement de cluster, fonction shell de ligne de commande Des extensions telles que des boîtes à outils autour de l'interface graphique ont été faites.

Très utile comme interprète interactif pour une analyse ad hoc.

Qu'est-ce qu'un notebook IPython?

Bloc-notes IPython est IPython mis à disposition à partir d'un navigateur Web. Pratique pour les parties où l'interface graphique est impliquée, en particulier pour les tracés graphiques.

Il est possible de le compléter sur une seule machine, mais si vous l'installez sur un serveur avec de bonnes spécifications, Vous pourrez facilement analyser les clients faibles et partager les résultats avec tout le monde.

Qu'est-ce que les pandas

Pandas est une bibliothèque d'analyse de données Python. Une structure de données qui facilite l'utilisation des valeurs numériques et des matrices, et un résumé des opérations.

Dans les coulisses, j'utilise une bibliothèque de calcul numérique pour Python, telle que numpy et scipy. Grâce à cela, la vitesse du calcul numérique est rapide.

Introduction de divers environnements et outils

Environnement de travail

Cette fois, nous sommes allés dans l'environnement suivant.

• MacBookPro Retina 13 (Late 2013)
• OSX Yosemite
• CPU: Core i5 2.6GHz
• Mémoire: 16 Go

Debian 7.6.0 (64 bits) a été sélectionné comme système d'exploitation de l'environnement virtuel.

Présentation de VirtualBox

Téléchargez et installez le fichier qui convient à votre environnement depuis cette page. Il prend en charge tous les principaux systèmes d'exploitation tels que Windows, Mac et Linux. Si vous suivez les instructions de l'installateur, il ne devrait y avoir aucun problème.

Présentation de Vagrant

Téléchargez et installez le fichier qui correspond à votre environnement à partir de cette page. Il est compatible avec les systèmes d'exploitation Windows, Mac, Linux (séries RedHat, Debian).

Construire un environnement virtuel

Sélectionnez le fichier Box depuis cette page. Cette fois, j'ai choisi Debian 7.6.0 (64 bits).

https://github.com/jose-lpa/packer-debian_7.6.0/releases/download/1.0/packer_virtualbox-iso_virtualbox.box

Exécutez la commande suivante.

$ vagrant box add debian-7.6 https://github.com/jose-lpa/packer-debian_7.6.0/releases/download/1.0/packer_virtualbox-iso_virtualbox.box
$ vagrant list
...
debian-7.6       (virtualbox, 0)
...
$ mkdir -p ~/vagrant/debian7.6 #Créez un emplacement où vous souhaitez installer l'environnement virtuel
$ cd ~/vagrant/debian7.6
$ vagrant init debian-7.6
$ ls
Vagrantfile

Modifiez le Vagrantfile créé comme suit.

Vagrantfile

# -*- mode: ruby -*-
# vi: set ft=ruby :

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "debian-7.6"
  config.vm.network "private_network", ip: "192.168.20.10"
  config.vm.provider "virtualbox" do |vb|
    vb.customize ["modifyvm", :id, "--memory", "2048"]
  end
end

L'adresse IP privée de la machine virtuelle est désormais 192.168.20.10 L'allocation de mémoire peut être définie sur 2 Go.

Démarrez la machine virtuelle avec la commande suivante et connectez-vous avec SSH.

$ vagrant up
Bringing machine 'default' up with 'virtualbox' provider...
==> default: Importing base box 'debian-7.6'...
...

$ vagrant ssh
Linux packer-virtualbox-iso-1411922062 3.2.0-4-amd64 #1 SMP Debian 3.2.57-3 x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sun Sep 28 16:43:22 2014 from 10.0.2.2
vagrant@packer-virtualbox-iso-1411922062:~$

Vous pouvez maintenant vous connecter à l'environnement virtuel. Vous pouvez revenir à l'environnement local avec $ logout ou Ctrl + D. Lors de l'arrêt de la machine virtuelle

$ vagrant halt

Vous pouvez terminer par.

Présentation des pandas

Cette fois, j'utiliserai la série Python 2.7 du système.

Puisqu'il s'agit d'une machine virtuelle, seul pip est utilisé pour la gestion des packages, Sans aucune gestion de paquet spéciale par virtualenv etc. Installez-le sur le Python de votre système.

Exécutez la commande suivante pour installer tous les modules requis pour l'analyse.

$ sudo apt-get update
$ sudo apt-get upgrade
...
Do you want to continue [Y/n]? Y
...

$ sudo apt-get install -y gcc g++ libpyside-dev python2.7-dev libevent-dev python-all-dev build-essential python-numpy python-scipy python-matplotlib libatlas-dev libatlas3gf-base python-pandas emacs
$ pip install --user --install-option="--prefix=" -U scikit-learn

Introduction du notebook IPython + IPython

Installez IPython avec la commande suivante.

$ sudo pip install "ipython[all]"

Créez un fichier de paramètres et écrivez le contenu suivant au début du fichier de paramètres.

$ ipython profile create nbserver
$ emacs /home/vagrant/.ipython/profile_nbserver/ipython_notebook_config.py

ipython_notebook_config

# Configuration file for ipython-notebook.                                                                                                                       

c = get_config()

c.IPKernelApp.pylab = 'inline'
c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 9999

...

Démarrez en tant que serveur avec la commande suivante.

$ ipython notebook --profile=nbserver &

Lorsque vous accédez à http://192.168.20.10:9999/, vous verrez l'écran suivant.

Sélectionnez maintenant Nouveau-> Python2 en haut à droite pour faire apparaître l'interpréteur interactif.

Cette fois, il s'agit d'un environnement virtuel, il n'y a donc pas de problème, mais lorsque vous l'utilisez dans un environnement réel, reportez-vous à la page suivante et Vous devez définir un mot de passe.

Démarrez le serveur de notebook IPython - Définissez un mot de passe pour restreindre l'accès

Échantillon d'exécution

sample.py

%matplotlib inline
import matplotlib.pyplot as plt

plt.plot(range(100))

Entrez le code ci-dessus et cliquez sur ▶ pour exécuter.

en conclusion

Vous disposez maintenant d'un environnement d'analyse Python.

Les références

• Site officiel de VirtualBox
• Site officiel de Vagrant
• Liste des fichiers Vagrant Box
• Site Web officiel IPython
• Site officiel de Pandas
• Lancer le serveur de notebook IPython