--Environnement --macOS Catalina version 10.15.7 - Python 3.8.5 - pandas 1.1.3

Les exemples de données sont des données lues à partir de CSV. Concentrez-vous sur la colonne [ID] de ces données et essayez différentes lignes uniques.

if __name__ == '__main__':
    df = pandas.read_csv('CSV.csv')
    print(df)
#ID date début fin
# 0   20.0  10/14   9:00  18:00
# 1   16.0  10/15  10:00  19:00
# 2   39.0  10/16  11:00  20:00
# 3    NaN  10/17  12:00  21:00
# 4   47.0  10/18  20:00  22:00
# 5   29.0  10/19  11:00  12:00
# 6   62.0  10/20  15:00  17:00
# 7    NaN  10/21  16:00  18:00
# 8   16.0  10/22  17:00  19:00
# 9    3.0  10/23  18:00  20:00
# 10  16.0  10/24  19:00  21:00
# 11  20.0  10/25  20:00  21:00

ligne nombre	ID	Date	...	[ID]Dupliquer les colonnes しているligne
0	20.0	10/14	...	o
1	16.0	10/15	...	o
2	39.0	10/16	...
3	NaN	10/17	...	o
4	47.0	10/18	...
5	29.0	10/19	...
6	62.0	10/20	...
7	NaN	10/21	...	o
8	16.0	10/22	...	o
9	3.0	10/23	...
10	16.0	10/24	...	o
11	20.0	10/25	...	o

Obtenez des décomptes uniques pour n'importe quelle colonne

--Reference: Comptez le nombre et la fréquence (nombre d'occurrences) des éléments uniques dans les pandas | note.nkmk.me

#En incluant NaN
print(df.nunique(dropna=False)['ID'])
# 8

#Lorsque NaN est exclu
print(df.nunique()['ID'])
# 7

Obtenez la valeur et le nombre de cas lorsqu'ils sont rendus uniques dans n'importe quelle colonne

--Référence - pandas.DataFrame.value_counts — pandas 1.1.3 documentation - pandas.DataFrame.groupby — pandas 1.1.3 documentation

requête pour extraire les lignes de pandas.DataFrame par condition | note.nkmk.me

la différence	groupby	value_counts	Remarques
En-tête de colonne	Oui	Aucun
Trier	Valeur de la colonne	la fréquence	sort=S'il est défini sur False, l'ordre sera le même

#En incluant NaN
print(df.groupby('ID', dropna=False).size())
# ID
# 3.0     1
# 16.0    3
# 20.0    2
# 29.0    1
# 39.0    1
# 47.0    1
# 62.0    1
# NaN     2
# dtype: int64
print(df['ID'].value_counts(dropna=False))
# 16.0    3
# NaN     2
# 20.0    2
# 3.0     1
# 62.0    1
# 29.0    1
# 47.0    1
# 39.0    1
# Name: ID, dtype: int64

#Lorsque NaN est exclu
print(df.groupby('ID', sort=False).size())
print(df['ID'].value_counts(sort=False))
# 20.0    2
# 16.0    3
# 39.0    1
# 47.0    1
# 29.0    1
# 62.0    1
# 3.0     1
# Name: ID, dtype: int64

Obtenez la valeur et le nombre de lignes en double

#En incluant NaN
val_con = df.groupby('ID', dropna=False).size()
print(val_con[val_con >= 2])
# ID
# 16.0    3
# 20.0    2
# NaN     2
# dtype: int64

#Lorsque NaN est exclu
val_con = df['ID'].value_counts()
print(val_con[val_con >= 2])
# 16.0    3
# 20.0    2
# Name: ID, dtype: int64

Déterminer les lignes avec des colonnes arbitraires en double

--Référence - pandas.DataFrame.duplicated — pandas 1.1.3 documentation

#En incluant NaN
print(df.duplicated(subset=['ID']))
# 0     False
# 1     False
# 2     False
# 3     False
# 4     False
# 5     False
# 6     False
# 7      True
# 8      True
# 9     False
# 10     True
# 11     True
# dtype: bool

#Lorsque NaN est exclu
print(df.dropna(subset=['ID']).duplicated(subset=['ID']))
# 0     False
# 1     False
# 2     False
# 4     False
# 5     False
# 6     False
# 8      True
# 9     False
# 10     True
# 11     True
# dtype: bool

duplicated prend la valeur par défaut False pour la première ligne dupliquée (keep = 'first'). En fonction de la valeur spécifiée pour keep, la partie de la ligne dupliquée devient "False" change.

valeur de garder	ID	keep='first' (Défaut)	keep='last'	keep=False
0	20	False	True	True
1	16	False	True	True
2		False	False	False
3	NaN	False	True	True
4		False	False	False
5		False	False	False
6		False	False	False
7	NaN	True	False	True
8	16	True	True	True
9		False	False	False
10	16	True	False	True
11	20	True	False	True

Déterminez si une colonne est dupliquée

# df.shape[0]Vous pouvez obtenir tous les cas avec
if df.shape[0] == df.nunique()['ID']:
    print('Les valeurs de la colonne ID sont uniques')
else:
    print('La colonne ID n'est pas unique')

Obtenez des lignes avec des colonnes arbitraires en double

#En incluant NaN
print(df[df.duplicated(subset=['ID'])])
#ID date début fin
# 0   20.0  10/14   9:00  18:00
# 1   16.0  10/15  10:00  19:00
# 3    NaN  10/17  12:00  21:00
# 7    NaN  10/21  16:00  18:00
# 8   16.0  10/22  17:00  19:00
# 10  16.0  10/24  19:00  21:00
# 11  20.0  10/25  20:00  21:00

#Lorsque NaN est exclu
df_dropna = df.dropna(subset=['ID'])
print(df_dropna[df_dropna.duplicated(subset=['ID'], keep=False)])
#ID date début fin
# 0   20.0  10/14   9:00  18:00
# 1   16.0  10/15  10:00  19:00
# 8   16.0  10/22  17:00  19:00
# 10  16.0  10/24  19:00  21:00
# 11  20.0  10/25  20:00  21:00