[PYTHON] Je veux faire ○○ avec les Pandas

Journal des modifications

• 2020/07/08
  Changement du format d'affichage des données de CSV à Markdown Table. J'ai utilisé le CSV to Markdown Table Generator (https://donatstudios.com/CsvToMarkdownTable) pour convertir de CSV en Markdown Table.

Pandas demande souvent: "Que dois-je faire quand je veux faire ça?", Je vais donc les résumer par utilisation.

supposition

Dans cet exemple de code, Liste des survivants du Titanic (train.csv) fournie par Kaggle Lire et utiliser avec pandas.read_csv ().

Titanic: Machine Learning from Disaster | Kaggle

import pandas as pd
df = pd.read_csv('train.csv')

pandas.read_csv — pandas 1.0.5 documentation

Je souhaite produire des informations statistiques

df.describe()

#Réduisez les colonnes de sortie
df['Age'].describe()

count    714.000000
mean      29.699118
std       14.526497
min        0.420000
25%       20.125000
50%       28.000000
75%       38.000000
max       80.000000
Name: Age, dtype: float64

pandas.DataFrame.describe — pandas 1.0.5 documentation

Je veux vérifier le nombre de données

df['Age'].count()

714

Vous pouvez vérifier le nombre de lignes / colonnes contenant des valeurs autres que «None», «NaN» et «NaT».

• pandas.DataFrame.count — pandas 1.0.5 documentation

Je veux affiner les données

# 20 < Age <Extraire 40 lignes
df[(20 < df['Age']) & (df['Age'] < 40)].head()

Si vous souhaitez restreindre par plusieurs conditions ET / OU, spécifiez les conditions en les entourant de (), comme df [(A) & (B)].

• Python Pandas: Boolean indexing on multiple columns - Stack Overflow

Je souhaite convertir des données catégorisées en valeurs numériques

# Embarked(C, Q, S)Valeur numérique(1, 2, 3)Conversion en
df['Embarked'] = df['Embarked'].map({'C': 1, 'Q': 2, 'S': 3})

pandas.Series.map — pandas 1.0.4 documentation

Je veux changer le nom de la colonne

# Sex(female, male)Valeur numérique(0, 1)Convertir en et nom de colonne(Sex)À l'homme
df['Sex'] = df['Sex'].map({'female': 0, 'male': 1})
df = df.rename(columns={'Sex': 'Male'})

pandas.DataFrame.rename — pandas 1.0.4 documentation

Si vous passez un tableau avec une liste de noms de colonnes, vous pouvez modifier tous les noms de colonnes à la fois.

pd.DataFrame({'c': [1, 2], 'd': [10, 20]}).columns = ['a', 'b']

python - Renaming columns in pandas - Stack Overflow

Je souhaite vérifier le nombre de valeurs manquantes pour chaque colonne

df.isnull().sum()

PassengerId      0
Survived         0
Pclass           0
Name             0
Male             0
Age            177
SibSp            0
Parch            0
Ticket           0
Fare             0
Cabin          687
Embarked         2
dtype: int64

pandas.isnull — pandas 1.0.4 documentation pandas.DataFrame.sum — pandas 1.0.4 documentation

Je souhaite exclure les valeurs manquantes

#Exclure toutes les lignes contenant des valeurs manquantes
df_dn = df.dropna()
df_dn.count()

PassengerId    183
Survived       183
Pclass         183
Name           183
Male           183
Age            183
SibSp          183
Parch          183
Ticket         183
Fare           183
Cabin          183
Embarked       183
dtype: int64

pandas.DataFrame.dropna — pandas 1.0.5 documentation

Je veux récupérer la colonne spécifiée

#Extraire les colonnes Survived et Age
df[['Survived', 'Age']]

Indexing and selecting data — pandas 1.0.4 documentation Obtenir / modifier la valeur de n'importe quelle position avec les pandas à, iat, loc, iloc | note.nkmk.me

Je souhaite exclure la colonne spécifiée

df_dn = df.drop('Cabin', axis='columns')

pandas.DataFrame.dropna — pandas 1.0.5 documentation

Je souhaite appliquer une fonction à une valeur de ligne / colonne et créer une nouvelle ligne / colonne

import re

#Fonction pour extraire le titre
def getTitle(row):
    name = row['Name']
    p = re.compile('.*\ (.*)\.\ .*')
    surname = p.search(name)
    return surname.group(1)

df['Title'] = df.apply(getTitle, axis='columns')

pandas.DataFrame.apply — pandas 1.0.5 documentation

Je veux calculer la moyenne pour chaque catégorie

#Trouvez l'âge moyen pour chaque titre
df.groupby('Title').mean()['Age']

Title
Capt        70.000000
Col         58.000000
Countess    33.000000
Don         40.000000
Dr          42.000000
Jonkheer    38.000000
L           54.000000
Lady        48.000000
Major       48.500000
Master       4.574167
Miss        21.773973
Mlle        24.000000
Mme         24.000000
Mr          32.368090
Mrs         35.728972
Ms          28.000000
Rev         43.166667
Sir         49.000000
Name: Age, dtype: float64

Vous pouvez également trouver le nombre d'éléments de données pour chaque titre en utilisant df.groupby ('Titre'). Count (). Comment utiliser Pandas groupby --Qiita

Je veux trier les lignes par valeur

df.sort_values(by='Age')

pandas.DataFrame.sort_values — pandas 1.0.5 documentation

Normalement, le DaraFrame qui a exécuté sort_values () est inchangé et les valeurs de retour sont obtenues dans un état trié. Si ʻascending = False est spécifié, les colonnes spécifiées seront triées par ordre décroissant. Si ʻinplace = True est spécifié, le DataFrame qui a exécutésort_values ()sera trié et la valeur de retour sera None.

Je souhaite connaître la valeur unique contenue dans une colonne

df['Survived'].unique()

array([0, 1], dtype=int64)

pandas.unique — pandas 1.0.5 documentation

Je souhaite récupérer une ligne contenant une chaîne de caractères spécifique

df[df['Name'].str.contains('Thomas')]

pandas.Series.str.contains — pandas 1.0.5 documentation python - How to filter rows containing a string pattern from a Pandas dataframe - Stack Overflow

Utilisez l'opérateur ~ si vous voulez récupérer * des valeurs qui n'incluent pas * de chaîne spécifique.

df[~df['Name'].str.contains('Thomas')]

python - Search for "does-not-contain" on a DataFrame in pandas - Stack Overflow

Je souhaite ajouter de la couleur lors de l'affichage d'un bloc de données

#valeur"Mr"Rendre la couleur d'arrière-plan de la colonne jaune
df.style.apply(lambda x: ['background-color: yellow' if v == 'Mr' else '' for v in x])

Lorsqu'elle est ouverte dans Jupyter Notebook, la colonne correspondante s'affiche avec un arrière-plan coloré. Notez que lorsque vous ouvrez le bloc-notes Jupyter sur GitHub, la couleur d'arrière-plan ne sera pas ajoutée.

pandas.io.formats.style.Styler.apply — pandas 1.0.5 documentation python - Pandas style function to highlight specific columns - Stack Overflow

Je veux sortir au format CSV

df.to_csv('output.csv', index=False)

Si vous ne souhaitez pas inclure l'index (numéro de ligne), spécifiez ʻindex = False`. pandas.DataFrame.to_csv — pandas 1.0.5 documentation

Si vous ne voulez pas insérer de saut de ligne sur la dernière ligne du fichier, passez line_terminator =" " uniquement sur la dernière ligne python - How to stop writing a blank line at the end of csv file - pandas - Stack Overflow