[PYTHON] [Pandas] Comment vérifier les doublons dans un tableau et supprimer les doublons (équivalent à supprimer les doublons dans Excel)
[Python] Comment vérifier et supprimer les doublons dans une table (pandas DataFrame)
Un résumé de la façon de vérifier les éléments en double dans une table et de supprimer les valeurs en double
Vous pouvez effectuer le même traitement que la «suppression des doublons» qui est fréquemment utilisée dans Excel.
> Page officielle ・ [Duppliqué](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.duplicated.html?highlight=dupli#pandas.DataFrame.duplicated) ・ [Drop_duplicates](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Index.drop_duplicates.html?highlight=dupli#pandas.Index.drop_duplicates)
**table des matières**
- [Vérifier les lignes en double](# 1 Vérifier les lignes en double)
- [Supprimer les lignes en double](# 2 Supprimer les lignes en double)
- [Rechercher les doublons dans l'en-tête de ligne](Rechercher les doublons dans l'en-tête de ligne n ° 3)
- [Vérifier les noms de ligne en double](#Check les noms de ligne en double)
- [Supprimer et confirmer les noms de ligne en double](# Supprimer et confirmer les noms de ligne en double)
- [Confirmation en double par nom de colonne](# 4 Confirmation en double par nom de colonne)
### ▼ Données du tableau à utiliser Vérifiez chaque méthode à l'aide du tableau ci-dessous.
-Row0 et row5 sont complètement dupliqués. ・ Tous les éléments de col0 et col4 sont dupliqués ・ Col2 est row0 = row5, row1 = row4 ・ Col3 est row0 = row5, row1 = row3
## 1. 1. Vérifiez les lignes en double -En utilisant la ** méthode dupliquée **, les lignes avec des éléments dupliqués peuvent être extraites.
-
** Les lignes en double sont vraies **.
-
** Par défaut, la ligne dupliquée supérieure est considérée comme False **, et les lignes en dessous sont considérées comme True. Il est également possible de définir le côté inférieur sur True en option. └ Décidez si la cible est en haut ou en bas lors de la suppression. └ Il est également possible de supprimer toutes les lignes en double.
-Il est également possible de spécifier la colonne cible par nom de colonne.
### Principales méthodes dupliquées
①duplicated ②duplicated(keep='last') ③duplicated(keep=False) ④duplicated(['aaa']) ⑤duplicated(['aaa','bbb'])
①duplicated `duplicated()` Les lignes en double qui sont complètement dupliquées dans toutes les colonnes sont jugées.
duplicated
df.duplicated()
#production
row0 False
row1 False
row2 False
row3 False
row4 False
row5 True
dtype: bool
Seule la ligne 5 est considérée comme dupliquée (True).
Row = 0 et row = 5 sont identiques dans toutes les colonnes. Par défaut, la première ligne est False, donc row5 est considérée comme dupliquée.
Par défaut: "keep = 'first'" Les deux processus suivants sont identiques.
df.duplicated()
df.duplicated(keep='first')
②duplicated(keep='last') `duplicated(keep='last')` La première ligne dupliquée est considérée comme dupliquée. (Laissez le dos)
keep=last
df.duplicated(keep='last')
#production
row0 True
row1 False
row2 False
row3 False
row4 False
row5 False
dtype: bool
row0 est un jugement en double (True).
③duplicated(keep=False) `duplicated(keep=False)` Toutes les lignes dupliquées sont considérées comme des doublons.
keep=False
df.duplicated(keep=False)
#production
row0 True
row1 False
row2 False
row3 False
row4 False
row5 True
dtype: bool
Row0 et row5 sont des jugements en double (True).
④duplicated(['aaa']) `duplicated(['aaa'])` └ Le jugement en double est effectué uniquement pour la colonne spécifiée (ici, "aaa").
** ▼ En cas de duplication (['col0']) **
Spécifiez une colonne
df.duplicated(['col0'])
#production
row0 False
row1 True
row2 True
row3 True
row4 True
row5 True
dtype: bool
Puisque tous les éléments de col0 sont 1, tous sauf la première colonne sont considérés comme des doublons.
⑤duplicated(['aaa','bbb']) `duplicated(['aaa','bbb',,,])` └ Spécifiez plusieurs colonnes pour le jugement en double. └ Si chaque ligne spécifiée est un jugement en double (Vrai), un jugement en double est effectué. └ Si même une colonne est différente, elle sera False.
df.duplicated(['col0','col3'])
#production
row0 False
row1 False
row2 False
row3 True
row4 False
row5 True
dtype: bool
Seules les lignes 3 et 5 sont vraies. └ row3 de col0 et col3 est True → True └ row5 de col0 et col3 est True → True └ col0 et row1 sont True, la ligne1 de col3 est False → False
## 2. Supprimer les lignes en double Utilisez la méthode drop_duplicates. Contrairement à la confirmation de duplication ** pluriel ** └`drop_duplicates` └`duplicated`
La ligne jugée dupliquée (True) par la méthode dupliquée est la cible de la suppression.
### Méthode principale drop_duplicates
①drop_duplicates ②drop_duplicates(keep='last') ③drop_duplicates(keep=False) ④drop_duplicates(['aaa']) ⑤drop_duplicates(['aaa','bbb'])
①drop_duplicates `drop_duplicates()` └ Supprimez les lignes où tous les éléments sont dupliqués. └ Laissez la ligne du haut (keep = 'first')
drop_duplicates
df.drop_duplicates()
la ligne 5 a été supprimée.
Dupliquer row0 et row5. Étant donné que la ligne du haut n'est pas considérée comme dupliquée (par défaut, keep = 'first'), la ligne5 a été supprimée.
②drop_duplicates(keep='last') `drop_duplicates(keep='last')` └ Supprimez les lignes où tous les éléments sont dupliqués. └ Laissez la ligne du bas (keep = 'last')
keep='last'
df.drop_duplicates(keep='last')
③drop_duplicates(keep=False) `drop_duplicates(keep=False)` └ Supprimer toutes les lignes en double
keep=False
df.drop_duplicates(keep=False)S
Supprimé à la fois row0 et row5.
④drop_duplicates(['aaa']) `drop_duplicates(['aaa'])` └ Supprimez les lignes en double dans la colonne spécifiée. └ "aaa": nom de la colonne
** ▼ En cas de drop_duplicates (['col0']) **
Spécifiez la colonne
df.drop_duplicates(['col0'])
Tous les éléments de col0 sont dupliqués de row0 à row5. Puisqu'il s'agit d'un jugement en double autre que row1, il sera supprimé.
** ▼ En cas de drop_duplicates (['col0'], keep = 'last') **
Spécifiez la colonne
drop_duplicates(['col0'], keep='last')
Si keep = 'last', la ligne du bas ne sera pas une vérification en double.
⑤drop_duplicates(['aaa','bbb']) `drop_duplicates(['aaa','bbb'])` └ Supprimez la ligne dupliquée dans les colonnes multiples spécifiées. └ "aaa" "bbb": nom de la colonne
** ▼ Pour df.drop_duplicates (['col2', 'col3']) **
Spécifiez plusieurs colonnes
df.drop_duplicates(['col2', 'col3'])
ligne5 supprimée.
Les doublons dans col2 sont row1, row4, row5. Les doublons dans col3 sont row1 et row5. ⇛ Le commun est row1 et row5. Étant donné que la première ligne dupliquée est définie pour rester (par défaut, keep = 'first'), seule la ligne5 sera supprimée.
## 3. 3. Confirmation en double dans l'en-tête de ligne Si vous spécifiez une ligne pour l'objet, vous pouvez vérifier s'il existe une ligne avec le même nom ou afficher une liste de noms de lignes sans duplication.
① Confirmation des noms de ligne en double ② Supprimez le nom de ligne en double et vérifiez
** ▼ Options disponibles **
keep='first'
└ Ne jugez pas les doublons pour le nom de la première ligne
keep='last'
└ Ne jugez pas le nom de dernière ligne des doublons comme des doublons
keep=False
└ Tous les noms de ligne en double sont considérés comme des doublons
└ Si False, aucun quota n'est requis
### ① Confirmation des noms de ligne en double `df.index.duplicated()` └ "df": données de table └ ".index": obtenir la liste des noms de ligne └ ".duplicated ()": affiche les lignes dupliquées comme True
Puisque l'option de ".duplicated ()" est "keep = 'first'" par défaut, la première ligne dupliquée est False et la deuxième ligne et les suivantes sont True.
Rechercher les noms de ligne en double
df.index.duplicated()
#production
# array([False, False, False, False, True, True])
▼ Table d'origine
Les noms de 0ème et 5ème ligne et les noms de 1ère et 4ème ligne sont dupliqués. ⇛ Les 5e et 4e sont des jugements en double.
** ▼ Si garder = False **
Tous les noms de ligne en double sont True
df.index.duplicated(keep=False)
#production
# array([ True, True, False, False, True, True])
### ② Supprimez le nom de ligne en double et vérifiez `df.index.drop_duplicates()`
Comment obtenir une liste de noms de lignes en supprimant les noms de lignes en double.
Utilisé lorsque vous souhaitez vérifier le nom de la ligne.
Obtenir en supprimant le nom de la ligne
df.index.drop_duplicates()
#production
# Index(['AAA', 'BBB', 'CCC', 'DDD'], dtype='object')
Les deuxièmes «AAA» et «BBB» qui ont été dupliqués ont été supprimés.
▼ Table d'origine
## 4. Confirmation en double par nom de colonne Si vous spécifiez un nom de colonne dans l'objet, vous pouvez faire de même avec le nom de colonne.
df.columns.duplicated()
df.columns.drop_duplicates()
└ ".columns": Extraire les noms de colonnes de la table avec liste.
[Back to top](#python table duplicate check and how to remove duplicates)
Recommended Posts