Analyse de données à l'aide de pandas python

relation numpy pandas python

Le bloc-notes Ipython est pratique pour les données N = 1

Il est plus pratique d'utiliser ipython car c'est pour ceux qui itèrent avec des données de N = 10 ou plus.

Cependant, il est difficile de le faire si vous utilisez la classe, etc. pour le rendre orienté objet, je cherche donc une solution

class ClassName:
  def __init__(self, filename):
    self.data = pd.read_csv(filename)
    self.filename = filename

  def method(self):
    data = self.data

if __init_='__main__':
  def method(self):

  method()
  instance = ClassName(filename)
  data = instance.data

Cela peut être plus facile à gérer si vous faites comme ça, mais dans l'analyse des données, cela peut prendre un temps inhabituel pour s'inquiéter de la pollution, il vaut peut-être mieux ne pas s'en soucier. Cela peut être bon car les données peuvent être traitées comme un objet pandas

Fichiers à inclure

# -*- coding: utf-8 -*-
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import scipy as sp
import scipy.signal as signal
import logging
import sys
import os
import re

Pyenv et anaconda étaient très pratiques pour créer l'environnement. L'environnement est Exécuter le fichier avec% run avec vim et iterm Ou Faites tout le travail sur le notebook ipython Cela semble bon

Pour éviter les retouches

pd.dataframe.to_csv('default.csv')

Je souhaite enregistrer les données de chaque étape avec, mais le stockage sera difficile, donc TradeOff

Le tutoriel officiel des pandas est bon

Convertir les boucles et les conditions en tranches et en tableaux booléens

Les boucles ne doivent être utilisées que pour obtenir des fichiers

Après tout, numpy utilise efficacement le tableau d'algèbre booléenne (tableau de valeurs valides) et décale la valeur en découpant. Le pire de tous dans les pandas, écrivez à l'aide des fonctions apply et lamda rééchantillonner pour l'index datetime

enregistreur pour la théorie selon laquelle l'instruction d'impression n'est pas bonne

logger = logging.getLogger()
logger.setLevel(logging.DEBUG)

avec ça

logging.debug('here')

Est affiché sur la sortie standard ou sur ipython

lié à matplotlib

Dessin interactif de matplotlib.pyplot pour mac

%matplotlib osx

Est nécessaire? plt.ion () etc. besoin d'une enquête

Dessiner une silhouette cool

pd.options.display.mpl_style = 'default'

Dessiner des points

plt.plot(marker='o', linestyle=None)
Ou
plt.plot(linestyle='o')

Ajouter des options

Dessin d'image dynamique tel que la simulation

for x in range(y):
  plt.clf()
  plt.draw() #Ne pas dessiner ici
  plt.pause(0.1) #Sûr de dessiner ici[s]

Besoin d'être redessiné avec

Dessiner un graphique

plt.show()

Pour empêcher le dessin en masse de graphiques

plt.close()
fais le
plt.show()

exemple de simulation

fig, ax = plt.subplots()
for i in np.arange(count):
    logging.debug(i)
    ax.clear()
    ax.set_title( self.title )
    self.data.iloc[ i*TIME_RANGE:(i)*TIME_RANGE].plot(ax=ax, legend=False)
    plt.draw()
    plt.pause(PAUSE_TIME)

Dessiner des diagrammes 3D (je suis impressionné car c'est interactif)

from mpl_toolkits.mplot3d import Axes3D

Séries chronologiques liées

pandas a un excellent index Datetime

La méthode de rééchantillonnage est pratique

Autre

Obtenez pid

print os.getpid()

logger setting logger = logging.getLogger() logger.setLevel(logging.DEBUG)

reload reload('./filename.py')

Comment obtenir des éléments

Vous pouvez être impressionné une fois par la description

Attention au découpage avec des nombres entiers

[In] np.array([0, 1, 2])[:2]
Est
[Out] array[0, 1]

Si vous ne maîtrisez pas l'index, le traitement sera souvent anormalement lourd.

Pratique pour avoir deux index, séries chronologiques et entiers

Dans l'index d'option = [Series, Series]

set_index

Méthode de référence d'index

[: 2 ,:] etc.

ix iloc, loc iget_value Série uniquement irow, icol DataFrame uniquement

reindex et set_index sont pratiques

value_counts est pratique

Comment fusionner des données

concat est rapide

Il vaut mieux aller là où vous pouvez aller avec une substitution ordinaire

data['name'] = pd.Series, list

méthode de traitement de la valeur na

+ Peut être tôt

dropna est souvent utilisé

Méthode pratique de DatetimeIndex

resample

La complétion des onglets et l'introspection sont essentielles, ce qui réduit considérablement le nombre de googles.

Le débogueur semble utile (nécessite une enquête)

%debug
Bougez avec u ou d
s
b 12 #point d'arrêt
c
n
!Nom de variable

S'il est numérique, le différentiel du premier ordre a une fonction diff

Référence d'algèbre booléenne et méthode d'application pratique pour s'habituer

L'emballage matplotlib seaborn semble être bon

Bibliothèque de statistiques

le modèle de statistiques semble facile à gérer scipy.stats orange

Autres bibliothèques

Apprentissage automatique scikit-learn Gratter une belle soupe Traitement du langage naturel nltk Traitement d'image opencv

Super bon article

Peu de gens, y compris moi-même, apprennent sérieusement à la fois R et python (basé sur les impressions), et les comparaisons ne sont pas fiables, mais c'est un article fiable. https://chezou.wordpress.com/2014/01/18/%E7%A7%91%E5%AD%A6%E8%A8%88%E7%AE%97%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E5%9D%87%E8%B3%AA%E5%8C%96%E3%80%81%E3%81%82%E3%82%8B%E3%81%84%E3%81%AF%E3%81%AA%E3%81%9Cpython%E3%81%8C%E7%9D%80%E5%AE%9F/ http://postd.cc/r-vs-python-head-to-head-data-analysis/