Aufbau einer Datenanalyseumgebung mit Python (IPython Notebook + Pandas)

Einführung

Dieses Mal erstellen wir mit Python eine Umgebung für die Datenanalyse in einer virtuellen Umgebung. Insbesondere werden die folgenden verwendet.

Was ist VirtualBox?

VirtualBox ist eine Software zur Virtualisierung der x86-Virtualisierung (gewöhnlicher PC / Server liegt herum). Der offizielle Name lautet Oracle VM VirtualBox. Wird derzeit von Oracle entwickelt.

Ein sehr nützliches Werkzeug zum Experimentieren mit verschiedenen Dingen, ohne die vorhandene Umgebung zu beeinträchtigen.

Was ist Vagrant?

Vagrant ist ein Tool, das die Verwaltung virtueller Umgebungen über die Konsole erleichtert. Sie können auch einfach eine Testumgebung erstellen, indem Sie Box verwenden, das von Freiwilligen erstellt wurde.

Die Einführung spart häufig Zeit und Mühe beim Erstellen verschiedener Umgebungen.

Was ist IPython?

IPython ist eine wichtige Erweiterung des vorhandenen interaktiven Python-Interpreters. Abschlussfunktion zum Zeitpunkt der Eingabe, Parallelverarbeitung in Clusterumgebung, Befehlszeilen-Shell-Funktion, Es wurden Erweiterungen wie Toolkits rund um die GUI vorgenommen.

Sehr nützlich als interaktiver Interpreter für Ad-hoc-Analysen.

Was ist ein IPython-Notebook?

IPython-Notizbuch ist IPython, das über einen Webbrowser verfügbar gemacht wird. Praktisch für Teile, an denen die GUI beteiligt ist, insbesondere für Diagrammdiagramme.

Es ist möglich, es auf einem einzelnen Computer abzuschließen. Wenn Sie es jedoch auf einem Server mit guten Spezifikationen installieren, Sie können leicht von schwachen Kunden analysieren und die Ergebnisse mit allen teilen.

Was ist Pandas?

Pandas ist eine Python-Datenanalysebibliothek. Eine Datenstruktur, die das Bedienen von numerischen Werten und Matrizen erleichtert, sowie eine Zusammenfassung der Vorgänge.

Hinter den Kulissen verwende ich eine numerische Berechnungsbibliothek für Python, wie z. B. numpy und scipy. Dank dessen ist die Geschwindigkeit der numerischen Berechnung schnell.

Einführung verschiedener Umgebungen und Tools

Arbeitsumgebung

Dieses Mal gingen wir in die folgende Umgebung.

• MacBookPro Retina 13 (Late 2013)
• OSX Yosemite
• CPU: Core i5 2.6GHz
• Speicher: 16 GB

Debian 7.6.0 (64 Bit) wurde als Betriebssystem der virtuellen Umgebung ausgewählt.

Einführung in VirtualBox

Laden Sie die für Ihre Umgebung geeignete Datei von [dieser Seite] herunter und installieren Sie sie (https://www.virtualbox.org/wiki/Downloads). Es unterstützt alle gängigen Betriebssysteme wie Windows, Mac und Linux. Wenn Sie den Anweisungen des Installationsprogramms folgen, sollte es kein Problem geben.

Vagrant vorstellen

Laden Sie die für Ihre Umgebung geeignete Datei von [dieser Seite] herunter und installieren Sie sie (https://www.vagrantup.com/downloads.html). Es ist kompatibel mit Windows, Mac, Linux (RedHat, Debian-Serie).

Aufbau einer virtuellen Umgebung

Wählen Sie die Box-Datei aus dieser Seite. Dieses Mal habe ich Debian 7.6.0 (64bit) gewählt.

https://github.com/jose-lpa/packer-debian_7.6.0/releases/download/1.0/packer_virtualbox-iso_virtualbox.box

Führen Sie den folgenden Befehl aus.

$ vagrant box add debian-7.6 https://github.com/jose-lpa/packer-debian_7.6.0/releases/download/1.0/packer_virtualbox-iso_virtualbox.box
$ vagrant list
...
debian-7.6       (virtualbox, 0)
...
$ mkdir -p ~/vagrant/debian7.6 #Erstellen Sie einen Speicherort, an dem Sie die virtuelle Umgebung installieren möchten
$ cd ~/vagrant/debian7.6
$ vagrant init debian-7.6
$ ls
Vagrantfile

Bearbeiten Sie die erstellte Vagrant-Datei wie folgt.

Vagrantfile

# -*- mode: ruby -*-
# vi: set ft=ruby :

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "debian-7.6"
  config.vm.network "private_network", ip: "192.168.20.10"
  config.vm.provider "virtualbox" do |vb|
    vb.customize ["modifyvm", :id, "--memory", "2048"]
  end
end

Die private IP der virtuellen Maschine lautet jetzt "192.168.20.10" Die Speicherzuordnung kann auf 2 GB eingestellt werden.

Starten Sie die virtuelle Maschine mit dem folgenden Befehl und stellen Sie eine Verbindung mit SSH her.

$ vagrant up
Bringing machine 'default' up with 'virtualbox' provider...
==> default: Importing base box 'debian-7.6'...
...

$ vagrant ssh
Linux packer-virtualbox-iso-1411922062 3.2.0-4-amd64 #1 SMP Debian 3.2.57-3 x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sun Sep 28 16:43:22 2014 from 10.0.2.2
vagrant@packer-virtualbox-iso-1411922062:~$

Sie können sich jetzt bei der virtuellen Umgebung anmelden. Sie können mit "$ logout" oder "Strg + D" zur lokalen Umgebung zurückkehren. Beim Beenden der virtuellen Maschine

$ vagrant halt

Sie können mit enden.

Pandas vorstellen

Dieses Mal werde ich die Python 2.7-Serie des Systems verwenden.

Da es sich um eine virtuelle Maschine handelt, wird nur pip für die Paketverwaltung verwendet. Ohne spezielle Paketverwaltung durch virtualenv etc. Installieren Sie es auf dem Python Ihres Systems.

Führen Sie den folgenden Befehl aus, um alle für die Analyse erforderlichen Module zu installieren.

$ sudo apt-get update
$ sudo apt-get upgrade
...
Do you want to continue [Y/n]? Y
...

$ sudo apt-get install -y gcc g++ libpyside-dev python2.7-dev libevent-dev python-all-dev build-essential python-numpy python-scipy python-matplotlib libatlas-dev libatlas3gf-base python-pandas emacs
$ pip install --user --install-option="--prefix=" -U scikit-learn

Einführung von IPython + IPython Notebook

Installieren Sie IPython mit dem folgenden Befehl.

$ sudo pip install "ipython[all]"

Erstellen Sie eine Einstellungsdatei und schreiben Sie den folgenden Inhalt am Anfang der Einstellungsdatei.

$ ipython profile create nbserver
$ emacs /home/vagrant/.ipython/profile_nbserver/ipython_notebook_config.py

ipython_notebook_config

# Configuration file for ipython-notebook.                                                                                                                       

c = get_config()

c.IPKernelApp.pylab = 'inline'
c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 9999

...

Starten Sie als Server mit dem folgenden Befehl.

$ ipython notebook --profile=nbserver &

Wenn Sie auf http://192.168.20.10:9999/ zugreifen, wird der folgende Bildschirm angezeigt.

Wählen Sie nun oben rechts New-> Python2, um den interaktiven Interpreter aufzurufen.

Diesmal handelt es sich um eine virtuelle Umgebung, daher gibt es kein Problem. Wenn Sie sie jedoch in einer realen Umgebung verwenden, lesen Sie die folgende Seite und Sie sollten ein Passwort festlegen.

Starten Sie den IPython-Notebook-Server. Legen Sie ein Kennwort fest, um den Zugriff einzuschränken.

Ausführungsbeispiel

sample.py

%matplotlib inline
import matplotlib.pyplot as plt

plt.plot(range(100))

Geben Sie den obigen Code ein und klicken Sie zum Ausführen auf ▶.

abschließend

Jetzt haben Sie eine Python-Analyseumgebung.

Verweise

• Offizielle VirtualBox-Homepage
• Vagrant Official Homepage
• Vagrant Box File List
• Offizielle IPython-Homepage
• Pandas Official Homepage
• IPython-Notebook-Server starten