[Python] Lire un fichier csv avec une grande taille de données à l'aide d'un générateur


import csv


def csv_reader(file, header=False):
    with open(file, "r") as f:
        reader = csv.reader(f)

        if header:
            next(reader)

        yield from reader


def main():
    g = csv_reader("xxx.csv", header=False)
    print(next(g)) # =>Première ligne

if __name__ == '__main__':
    main()




yield from reader

Est


for row in reader:
    yield row

Mais cela peut être mis en œuvre.

Recommended Posts

[Python] Lire un fichier csv avec une grande taille de données à l'aide d'un générateur
Lire le fichier CSV avec python (Télécharger et analyser le fichier CSV)
Lire le fichier de données de caractères avec numpy
Lire le fichier csv Python
Lire les données avec python / netCDF> nc.variables [] / Vérifier la taille des données
[Python] Fractionner un gros fichier Flask en utilisant Blueprint
Lire les données csv Python avec Pandas ⇒ Graphique avec Matplotlib
Lire les données de la table dans un fichier PDF avec Python
Lire ligne par ligne à partir d'un fichier avec Python
Lire et formater des fichiers csv mélangés avec des tabulations de virgule avec des pandas Python
Lire csv avec des pandas python
Enregistrez collectivement des données dans Firestore à l'aide d'un fichier csv en Python
Traiter les données csv avec python (traitement du comptage à l'aide de pandas)
Télécharger le fichier csv avec python
Lire des données json avec python
Consolider un grand nombre de fichiers CSV dans des dossiers avec python (données sans en-tête)
[Python] Lisez le fichier csv et affichez la figure avec matplotlib
Sortie vers un fichier csv avec Python
Lisez le fichier en Python avec un chemin relatif depuis le programme
Créer un fichier power simple avec Python
Créer un gros fichier texte avec shellscript
[Automation] Lire des documents Word avec Python
J'ai créé un fichier de configuration avec Python
[Automation] Lire le courrier (fichier msg) avec Python
Lire le fichier Python # .txt pour Python super débutant super débutant avec travail .py
[Python] Comment lire le fichier csv (méthode read_csv du module pandas)
Lisez le fichier CSV avec Python et convertissez-le en DataFrame tel quel
Python / numpy> Lire le fichier de données avec la ligne de nom d'élément> Utiliser genfromtxt ()
[python] Lecture de données
Créer un fichier GIF en utilisant Pillow en Python
Lire un fichier contenant des lignes brouillées en Python
Lire JSON avec Python et générer un CSV
Créer un fichier PDF avec une taille de page aléatoire
Une histoire sur la gestion des données binaires en Python
Folium: Visualisez les données sur une carte avec Python
Écrire des données CSV sur AWS-S3 avec AWS-Lambda + Python
Exécutez des fichiers Python à partir de HTML en utilisant Django
Créer un fichier au format Photoshop (.psd) avec python
Créez un fichier MIDI en Python en utilisant pretty_midi
Je veux écrire dans un fichier avec Python
Ouvrir la boîte de dialogue de fichier avec l'interface graphique Python (tkinter.filedialog)
Extraire des données d'une page Web avec Python
Différentes façons de lire la dernière ligne d'un fichier csv en Python
Résumé de la lecture des données numériques avec python [CSV, NetCDF, Fortran binary]
Convertir les données csv, tsv en une matrice avec MovieLens en utilisant python comme exemple
Python --Lisez les données d'un fichier de données numériques et recherchez la ligne de régression multiple.
Remplacez la représentation unique du fichier texte lu par une étiquette (en utilisant GiNZA)
Dessinez une ligne de pliage / diagramme de dispersion avec python matplotlib pour fichier CSV (2 colonnes)
Analyse de données avec python 2
Créer un bot de collecte de données en Python à l'aide de Selenium
Obtenez une grande quantité de données Twitter de Starba avec python et essayez l'analyse de données Partie 1
Essayez de créer un fichier compressé en utilisant Python et zlib
Format A4 avec python-pptx
Obtenez des données financières avec python (puis un peu de bricolage)
J'ai essayé de toucher un fichier CSV avec Python
Chaque fois que j'essaye de lire un fichier csv en utilisant des pandas, j'obtiens une erreur numpy.
[Python] Générer ValueObject avec un constructeur complet à l'aide de classes de données
Lire le fichier CSV: pandas