Collecter des informations depuis Twitter avec Python (construction de l'environnement)

Système à faire cette fois

Explorez les informations de Twitter, formatez les informations et créez un système pour les stocker dans la base de données. Pour le moment, créez un environnement de test sur l'environnement virtuel en utilisant Vagrant comme expérience.

• Utilisez l'environnement virtuel de Vagrant (VirtualBox)
  • OS:
    • Debian Wheezy 7.6
  • Language:
    • Python 2.7.3
• Gérez les modules avec virtualenv.
  • Database:
    • MySQL
  • Tools:
    • MeCab 0.99
• Dictionnaire IPA (mecab-ipadic-utf8)
• Liaisons MeCab Python

Construire un environnement autour d'une machine virtuelle

Installation de VirtualBox

Installez la dernière version depuis https://www.virtualbox.org/wiki/Downloads.

Créez un environnement virtuel à partir de Vagrant.

Installez Vagrant

Téléchargez et installez la dernière version à partir de http://www.vagrantup.com/downloads.

Créer une machine virtuelle

Créez un environnement virtuel avec Vagrant.

$ mkdir -p ~/vagrant/debian7_twitter
$ vagrant box add debian7.6_twitter https://github.com/jose-lpa/packer-debian_7.6.0/releases/download/1.0/packer_virtualbox-iso_virtualbox.box
$ vagrant init debian7.6_twitter
$ vagrant up
$ vagrant ssh

Vous pouvez maintenant vous connecter à l'environnement virtuel.

Si vous souhaitez quitter, après vous être déconnecté

$ vagrant halt

Vous pouvez terminer par. Après cela, sous le répertoire où l'environnement virtuel a été créé, Vous pouvez vous connecter à cet environnement à tout moment avec vagrant up-> vagrant ssh.

Paramètres autour de Python

Python Python 2.7.3 est installé par défaut, alors utilisez-le.

$ Python -V
Python 2.7.3

virtualenv Utilisez virtualenv pour gérer les modules utilisés projet par projet.

Installation

Utilisez apt.

$ sudo apt-get update
$ sudo apt-get install python-dev python-virtualenv

Changer d'environnement Python avec virtualenv

Accédez à n'importe quel répertoire de travail et exécutez la commande suivante.

$ virtualenv twi-py

Cela créera un répertoire twi-py dans le répertoire courant, et un environnement Python indépendant sera créé ici. Accédez au répertoire créé et exécutez la commande suivante.

$ source bin/activate

Si (twi-py) ... est ajouté au début de l'invite du shell, l'environnement est passé à twi-py.

Pour quitter l'environnement de module spécifique et revenir à la valeur par défaut, exécutez la commande suivante.

$ deactivate 

Après cela, installez les modules liés à MeCab dans cet environnement twi-py.

Paramètres autour de MeCab

Installation de l'unité principale MeCab

Utilisez apt.

$ sudo apt-get update
$ sudo apt-get -y install mecab
$ sudo apt-get -y install mecab-ipadic-utf8
$ sudo update-alternatives --config mecab-dictionary # ipadic-Vérifiez si c'est utf8

Installer la liaison Python de MeCab (mecab-python)

Installation des bibliothèques requises avec apt.

$ sudo apt-get -y install python-dev
$ sudo apt-get -y install libmecab-dev
$ sudo apt-get -y install build-essential
$ sudo apt-get -y install g++

Installez la version des liaisons Python pour Debian 7 wheezy sous l'environnement twi-py.

(twi-py)$ pip install https://mecab.googlecode.com/files/mecab-python-0.99.tar.gz

Vérification du fonctionnement de MeCab et Python

Analysons la morphologie du «hors des cuisses et des cuisses».

$ Python
>>> import MeCab
>>> mecab = MeCab.Tagger("-Ochasen")
>>> print mecab.parse("Des cuisses et des cuisses")
Sumomo Sumomo substantif-Général
Les deux mo et mo-Assistance
Nomenclature de la pêche de la cuisse-Général
Les deux mo et mo-Assistance
Nomenclature de la pêche de la cuisse-Général
L'assistant de Nono-syndicat
Uchi Uchi Noun-Non indépendant-Avocat possible
EOS

>>>

J'ai pu l'analyser correctement.

Maintenant, nous avons tous les outils pour réaliser le système que nous allons créer cette fois.

Paramètres MySQL

Installation

Installé à l'aide d'apt.

Paramètres MySQL

Installation

Installé à l'aide d'apt.

$ sudo apt-get -y install libmysqlclient-dev
$ sudo apt-get -y install mysql-server-5.5

Lors de l'installation, il vous sera demandé de définir un mot de passe root, alors entrez vagrant.

Contrôle de fonctionnement

Connectez-vous en tant qu'utilisateur root.

$ mysql -u root -pvagrant
mysql> SELECT user,host,password FROM mysql.user; 
+------------------+----------------------------------+-------------------------------------------+
| user             | host                             | password                                  |
+------------------+----------------------------------+-------------------------------------------+
| root             | localhost                        | *04E6E1273D1783DF7D57DC5479FE01CFFDFD0058 |
| root             | packer-virtualbox-iso-1411922062 | *04E6E1273D1783DF7D57DC5479FE01CFFDFD0058 |
| root             | 127.0.0.1                        | *04E6E1273D1783DF7D57DC5479FE01CFFDFD0058 |
| root             | ::1                              | *04E6E1273D1783DF7D57DC5479FE01CFFDFD0058 |
| debian-sys-maint | localhost                        | *A5B3FEE41C7F1F2C147B4876D39D6A4F65E79B7D |
+------------------+----------------------------------+-------------------------------------------+

Cela a fonctionné en toute sécurité.

Installez des modules Python pour accéder à MySQL

Installé sous l'environnement twi-py.

(twi-py)$ pip install MySQL-python

Contrôle de fonctionnement

$ python
>>> import MySQLdb

S'il n'y a pas d'erreur avec cela, c'est OK.

finalement

Vous disposez désormais de tous les outils dont vous avez besoin. Désormais, nous allons créer la partie crawl, la partie de moulage d'informations, la partie store dans la base de données, etc. Ces articles viendront plus tard.