[PYTHON] Recommandation de Jupyter Notebook, un environnement de codage pour les data scientists

Article du Data Scientist 2e ww

Environnement d'analyse de données pour les data scientists

Je pense que les data scientists ont de nombreuses occasions de faire des présentations et de discuter tout en regardant les données. <- Spéculation appropriée Par conséquent, je pense qu'un environnement de codage différent de vim / emacs et de l'ancien IDE est nécessaire.

Je pense que les quatre points suivants sont des spécifications requises.

Spécifications requises vim/emacs Rstudio/Spyder Spotfire/Tableu Jupyter Notebook
Peut coder ×
Les données peuvent être visualisées de manière interactive ×
Facilité d'assurer la reproductibilité ×
sexy Vu du grand public ×

C'est une table arbitraire qui est loin de la science des données, mais il est vrai qu'il n'y a pas de perte à utiliser le Jupyter Notebook. RStudio (python est Spyder) est bon, mais du point de vue de la reproductibilité, Jupyter Notebook, qui vous permet de laisser des commentaires avec démarque, est meilleur. Il est recommandé car vous pouvez enregistrer le processus de codage même si vous n'êtes pas un data scientist.

Qu'est-ce que Jupyter Notebook?

――Python est livré avec un shell interactif depuis le début, mais les personnes qui n'en étaient pas satisfaites ont créé un shell interactif appelé IPython (Interactive Python). -Extrait de Comment utiliser IPython

  • Codage orienté cellule: peut être exécuté collectivement dans des unités appelées cellules
  • Complétion en onglet des mots réservés, des variables, des noms de modules, etc. --Investigate Objects: Add? To the object name for more information --Diverses commandes magiques: Vérifiez la vitesse d'exécution avec %% timeit, etc. --Commandes Shell: les lignes commençant par! Telles que ! Ls peuvent être exécutées comme des commandes shell --Réutilisation des entrées et sorties: les entrées et sorties des cellules sont stockées dans des variables appelées In et Out

--Dans le projet IPython, un notebook IPython qui peut entrer et sortir IPython à partir du Web est apparu.

Par conséquent,

--Dans différentes langues --Facile à coder

** C'est une application qui a la reproductibilité, le stockage et le partage du processus d'analyse **. C'est une sorte de note d'expérimentation électronique. (Il n'y a pas de témoin)

Environnement

Si vous mettez anaconda, tout est inclus. La construction de l'environnement d'anaconda peut être trouvée à ici.

Démarrez le terminal dans un dossier approprié et appuyez sur la commande suivante. jupyter notebook C'est OK si le navigateur démarre et que la page Jupyter est affichée à http: // localhost: 8888.

Paramètres initiaux de Jupyter

Ancien article Intégration


Cela fonctionne pour le moment même si vous ne le définissez pas. Si cela ne vous dérange pas, veuillez l'ignorer.


alias jupyter notebook est assez long, vous pouvez donc créer une note ou un alias.

À propos de config

Il semble que la zone de configuration a considérablement changé dans jupyter 4.0, donc ceux qui l'utilisent depuis longtemps devraient la vérifier. https://jupyter.readthedocs.org/en/latest/migrating.html

Création d'un fichier de configuration et définition d'un mot de passe

URL de référence

jupyter notebook --generate-config
#>>> Writing default config to: ~/.jupyter/jupyter_notebook_config.py
python -c "from notebook.auth import passwd;print(passwd())" 
#>>> Enter password:
#>>> Verify password:
#>>> 'sha1:........'

Faites une copie du mot de passe de hachage commençant par «sha1: ...».

vi ~/.jupyter/jupyter_notebook_config.py

Principalement pour changer

Trouvez les paramètres ci-dessous, décommentez-les si nécessaire et entrez les valeurs.

Paramètres valeur initiale commentaire
c.NotebookApp.ip 'localhost' Modifiez si vous souhaitez accéder à partir d'autres ordinateurs clients.'*'Entièrement ouvert.
c.NotebookApp.notebook_dir null Spécifiez le répertoire actuel de Jupyter. Il est bon de le préciser quelque part.
c.NotebookApp.open_browser True Voulez-vous ouvrir le navigateur au démarrage? Définissez le serveur sans X sur False.
c.NotebookApp.port 8888 Si vous utilisez 8888 ailleurs, spécifiez un port différent.
c.NotebookApp.password null Si vous entrez la chaîne de caractères de hachage que vous avez copiée précédemment, l'authentification par mot de passe sera appliquée.

Il existe également d'autres paramètres SSL, alors consultez la documentation si vous devez publier sur le Web.

Bibliothèque à charger au lancement d'IPython

Si vous décrivez la bibliothèque à charger en premier dans ~ / .ipython / profile_default / startup, elle sera lue ensemble au démarrage du noyau. La magie cellulaire peut également être décrite au format ipy, il est donc bon de décrire également % matplotlin inline. Si vous écrivez la manière d'écrire préférée de seaborn, ce sera plus facile après cela. Si vous écrivez trop, le démarrage du noyau sera retardé, ce qui est frustrant. (Les pandas sont relativement lourds)

Exemple:

00_init.ipy


%matplotlib inline
from matplotlib import pyplot as plt
import seaborn as sns
import numpy as np
import pandas as pd

extension Jupyter Notebookn a également une extension. Je vais l'omettre car il est résumé dans l'article suivant. Ajoutez une extension pour créer un environnement Jupyter plus confortable [jupyter notebook extensions python-markdown(markdown + jinja2)] (http://qiita.com/ksomemo/items/ba0f24daae2276ffd9b2)

RISE

Il existe une extension intéressante qui vous permet de présenter sur votre notebook Jupyter.

git clone https://github.com/damianavila/RISE
cd RISE
python setup.py install

Un bouton de diaporama sera ajouté en haut à droite de la page du bloc-notes Si vous sélectionnez Diaporama avec le bouton de la barre d'outils Cellule sur la page du bloc-notes, vous pouvez spécifier la distance à laquelle vous souhaitez faire une diapositive.

Jupyter Content Management Extensions (Post-scriptum 3/21) J'ai oublié qu'IBM a créé une extension super utile. Si vous mettez cela, vous pouvez effectuer une recherche en texte intégral dans le fichier notebook de jupyter. Blog d'introduction IBM Il est publié sur pip donc il est facile à installer.

pip install jupyter_cms
jupyter cms install --user -s 
jupyter cms activate
jupyter notebook

Si vous lancez le notebook après jupyter cms activate, un bouton de recherche sera ajouté à l'écran de l'arborescence. Vous pouvez également rechercher des codes subordonnés et des commentaires, ce qui améliore la réutilisabilité. La recherche est également assez flexible (http://whoosh.readthedocs.org/en/latest/querylang.html). (Je serais plus heureux s'il y avait un aperçu ...)

De plus, il existe également des extensions qui vous permettent de créer des tableaux de bord avec jupyter notebook. Diapositive JupyterDay NYC github

(3/21 postscript jusqu'à ici)

Comment utiliser Jupyter Notebook

Il y a un bon article. Jupyter Beginning

(Ajouté le 13 avril 2016) Pour changer d'environnement, entrez jupyter_environment_kernels. J'ai découvert dans un merveilleux article ici.

Recommended Posts

Recommandation de Jupyter Notebook, un environnement de codage pour les data scientists
<Python> Construisez un serveur dédié pour l'analyse des données Jupyter Notebook
Analyse des données pour améliorer POG 2 ~ Analyse avec le notebook jupyter ~
Préparer un environnement de langage de programmation pour l'analyse des données
Spécification du navigateur Jupyter Notebook dans un environnement Windows
Une bibliothèque pour la science des données "Je veux faire ça" sur le bloc-notes Jupyter
Recommandation de construction d'un environnement Python portable avec conda
Liste des bibliothèques Python pour les data scientists et les data ingénieurs
Touche de raccourci pour le bloc-notes Jupyter
Dockerfile pour créer un environnement de science des données basé sur pip3
Je souhaite utiliser un environnement virtuel avec jupyter notebook!
notebook jupyter dans l'environnement venv python3.8
Créer et tester un environnement CI pour plusieurs versions de Python
Créer un environnement Python pour ceux qui veulent devenir des data scientists 2016
Fichier journal de sortie avec Job (Notebook) de Cloud Pak for Data
Créez un environnement d'expérimentation / d'analyse psychologique confortable avec PsychoPy + Jupyter Notebook
Créer un Ubuntu de démarrage USB avec un environnement Python pour l'analyse des données
Paramètres d'extrait de code pour le notebook jupyter python
Jupyter Notebook indispensable au développement de logiciels
Publier Jupyter Notebook en tant que billet de blog
Faites un son avec le notebook Jupyter
[MEMO] [Construction de l'environnement de développement] Jupyter Notebook
Site de compétition recommandé pour les data scientists
Création d'un environnement pour Anaconda et Jupyter
Recommandation d'analyse des données à l'aide de MessagePack
Autoriser Jupyter Notebook à incorporer des données audio dans des tableaux HTML pour la lecture
Rendons l'environnement de développement COBOL confortable 3 --Recommandation pour l'automatisation du travail auxiliaire-
Résumé du livre électronique Python utile pour l'analyse de données gratuite
L'histoire d'une personne qui a commencé à viser un data scientist depuis un débutant
Configuration initiale de Jupyter Notebook pour les amoureux de Vim ・ Quitter avec jj (jupyter-vim-binding)
Créez rapidement un environnement python pour le Deep Learning / Data Science (Windows)
Extension Jupyter Notebook, paramètres nbextensions pour moi-même
Faisons un noyau jupyter
Créons un environnement virtuel pour Python
Faire de Jupyter Notebook un service sur CentOS
Impressions d'utilisation de Flask pendant un mois
Créer un environnement d'exécution pour Jupyter Lab
[Mac] Création d'un environnement virtuel pour Python
Vérification du GPU du PC sur le notebook Jupyter
Jupyter Notebook Principes d'utilisation
Construire un environnement conda pour les utilisateurs de ROS
Recommandation d'Altair! Visualisation des données avec Python
Construction d'un environnement de développement pour l'atelier Choreonoid
Exécuter le notebook Jupyter sur un serveur distant
Créer un environnement de développement Python pour le développement de l'IA
Créer un environnement de développement pour l'apprentissage automatique
[Introduction au Data Scientist] Bases de Python ♬
Un mémorandum de problème lors du formatage des données
Introduction du code de dessin pour les figures avec un certain degré de perfection des données météorologiques
Exécuter l'API de Cloud Pak for Data Analysis Project Job avec des variables d'environnement
Pour générer une valeur au milieu d'une cellule avec Jupyter Notebook
Un mémorandum expliquant comment exécuter la commande magique! Sudo dans Jupyter Notebook
Installer et configurer Jupyter Notebook pour créer un environnement de création de notes d'étude [Mac]
Créez un environnement PYNQ sur Ultra96 V2 et connectez-vous à Jupyter Notebook
Un mémorandum de méthode souvent utilisé lors de l'analyse de données avec des pandas (pour les débutants)
[Introduction à Python] Comment obtenir l'index des données avec l'instruction for