[PYTHON] Comment extraire des données qui ne manquent pas de valeur nan avec des pandas

--Environnement --macOS Catalina version 10.15.7 - Python 3.8.5 - pandas 1.1.3

Les données de la source d'extraction ressemblent à ceci

df = pandas.read_csv('CSV.csv')
print(df)

production


Nom Count Start End
0 Ponsuke 1 9:00  18:00
1 Ponsuke 2 18:00    NaN
2 Ponsuke 3 9:00  13:00
3 Ponsuke 4 NaN NaN
4 Ponsuke 5 9:00    NaN
5 Ponsuke 6 18:00    NaN
6 Ponsuke 7 12:00    NaN
7 Ponsuke 8 12:00    NaN
8 Ponsuke 9 NaN 18:00
9 Ponsuke 10 NaN NaN

Extraire les données où une colonne n'est pas NaN

Je veux extraire
Les données
début Fin
x NaN NaN
o Pas NaN NaN
x NaN Pas NaN
o Pas NaN Pas NaN

Méthode


# [début]Comment supprimer des données dont la colonne est NaN
print(df.dropna(subset=['début']))
# [début]Comment extraire des données dont la colonne n'est pas NaN
print(df[df['début'].notna()])
# [début]Comment extraire des données dont la colonne n'est pas NaN
print(df.query('début.notna()', engine='python'))

production


Nom Count Start End
0 Ponsuke 1 9:00  18:00
1 Ponsuke 2 18:00    NaN
2 Ponsuke 3 9:00  13:00
4 Ponsuke 5 9:00    NaN
5 Ponsuke 6 18:00    NaN
6 Ponsuke 7 12:00    NaN
7 Ponsuke 8 12:00    NaN

Extraire des données qui ne sont pas NaN dans les deux colonnes

Je veux extraire
Les données
début Fin
x NaN NaN
x Pas NaN NaN
x NaN Pas NaN
o Pas NaN Pas NaN

Méthode


# [début]Ou[Fin]Comment supprimer des données dans l'une des colonnes NaN
print(df.dropna(subset=['début', 'Fin']))
# [début][Fin]Comment extraire des données où les deux colonnes ne sont pas NaN
print(df.query('début.notna() &Fin.notna()', engine='python'))

production


Nom Count Start End
0 Ponsuke 1 9:00  18:00
2 Ponsuke 3 9:00  13:00

Extraire les données si l'une des deux colonnes n'est pas NaN

Je veux extraire
Les données
début Fin
x NaN NaN
o Pas NaN NaN
o NaN Pas NaN
o Pas NaN Pas NaN

Méthode


#Faire de NaN un caractère vide[début][Fin]Comment extraire des données non vides en collant des colonnes ensemble
print(df[df['début'].str.cat(df['Fin'], na_rep='') != ''])
# [début][Fin]Comment extraire des données là où l'une des colonnes n'est pas NaN
print(df.query('début.notna() |Fin.notna()', engine='python'))

production


Nom Count Start End
0 Ponsuke 1 9:00  18:00
1 Ponsuke 2 18:00    NaN
2 Ponsuke 3 9:00  13:00
4 Ponsuke 5 9:00    NaN
5 Ponsuke 6 18:00    NaN
6 Ponsuke 7 12:00    NaN
7 Ponsuke 8 12:00    NaN
8 Ponsuke 9 NaN 18:00

Extraire les données de "1 colonne n'est pas NaN" et "1 colonne est NaN"

Je veux extraire
Les données
début Fin
x NaN NaN
x Pas NaN NaN
o NaN Pas NaN
x Pas NaN Pas NaN

Méthode


# [début]Après que la colonne extrait NaN[Fin]Comment supprimer des données dont la colonne est NaN
print(df[df['début'].isna()].dropna(subset=['Fin']))
# [début]La colonne n'est pas NaN et[Fin]Comment extraire des données où la colonne est NaN
print(df.query('début.isna() &Fin.notna()', engine='python'))

production


Nom Count Start End
8 Ponsuke 9 NaN 18:00

Recommended Posts

Comment extraire des données qui ne manquent pas de valeur nan avec des pandas
Comment extraire des données qui ne manquent pas de valeur nan avec des pandas
Comment convertir des données détenues horizontalement en données détenues verticalement avec des pandas
Comment extraire des valeurs Null et des valeurs non Null avec des pandas
Comment gérer les données déséquilibrées
Comment augmenter les données avec PyTorch
Comment extraire des fonctionnalités de données de séries chronologiques avec les bases de PySpark
Essayez de convertir en données ordonnées avec les pandas
Comment lire les données de problème avec Paiza
Comment créer des exemples de données CSV avec hypothèse
Essayez d'agréger les données de musique doujin avec des pandas
Comment récupérer des données de courses de chevaux avec Beautiful Soup
Convertir 202003 en 2020-03 avec les pandas
Visualisation des données avec les pandas
Manipulation des données avec les Pandas!
Mélangez les données avec les pandas
Comment utiliser xgboost: classification multi-classes avec des données d'iris
Comment récupérer des données d'image de Flickr avec Python
Comment récupérer des données de courses de chevaux à l'aide de pandas read_html
Comment accéder avec cache lors de la lecture_json avec pandas
Comment obtenir plus de 1000 données avec SQLAlchemy + MySQLdb
Comment générer un CSV d'en-tête multiligne avec des pandas
Comment convertir un fichier JSON en fichier CSV avec Python Pandas
[Python] Comment gérer l'erreur de lecture pandas read_html
Extraire la valeur maximale avec les pandas et modifier cette valeur
Extraire les données Twitter avec CSV
Comment mettre à jour avec SQLAlchemy?
Comment utiliser Pandas Rolling
Comment lancer avec Theano
Comment modifier avec SQLAlchemy?
Comment séparer les chaînes avec ','
Comment faire RDP sur Fedora31
Comment gérer les trames de données
Conseils de traitement des données avec Pandas
Comment supprimer avec SQLAlchemy?
Comment extraire n'importe quel rendez-vous dans Google Agenda avec Python
Ingéniosité pour gérer les données avec Pandas de manière à économiser la mémoire
Essayez d'extraire la table de données d'Azure SQL Server avec pyodbc
Comment extraire un index autre qu'un index spécifique avec Numpy
Comment obtenir un aperçu de vos données dans Pandas
Comment lire un fichier Excel (.xlsx) avec Pandas [Python]
Comment créer une trame de données et jouer avec des éléments avec des pandas
Compagnon de science des données en python, comment spécifier des éléments dans les pandas
[Introduction à Python] Comment obtenir des données avec la fonction listdir
Essayez d'extraire les caractéristiques des données de capteur avec CNN
Comment annuler RT avec Tweepy
Comment lire les données de la sous-région e-Stat
Comment écrire sobrement avec des pandas
[Python] Comment utiliser la série Pandas
[Analyse du cours de l'action] Apprenez les pandas avec la moyenne Nikkei (004: Changer les données lues en moyenne Nikkei)
Pour utiliser virtualenv avec PowerShell
Comment installer python-pip avec ubuntu20.04LTS
Traçage de données polyvalent avec pandas + matplotlib
Comment installer des pandas sur EC2 (Comment gérer MemoryError et PermissionError)
Comment démarrer avec Scrapy
Comment démarrer avec Python
[Pandas] J'ai essayé d'analyser les données de ventes avec Python [Pour les débutants]
Comment trouver l'adresse mémoire de la valeur de la trame de données Pandas
<Pandas> Comment gérer les données de séries chronologiques dans le tableau croisé dynamique
Comment gérer l'erreur DistributionNotFound