[PYTHON] Messen und vergleichen Sie Temperaturen mit Raspberry Pi und generieren Sie automatisch Diagramme

import RPi.GPIO as GPIO
import dht11
import time
import datetime
import os
import numpy as np
import pandas as pd

def add_data(filepath):
    #Überprüfen Sie, ob die CSV-Datei im angegebenen Pfad vorhanden ist
    if os.path.isfile(filepath):
        #Lesen Sie, ob es existiert
        df = pd.read_csv(filepath, index_col=0)
    else:
        #Neu erstellen, wenn es nicht vorhanden ist
        df = pd.DataFrame([], columns=["year","month","day","hour","sensor_temprature", \
                                       "scraping_temprature","read_try"])
    #Erstellen Sie eine Variable, um die Anzahl der Versuche zu zählen
    count=0
    # is_valid()Lesen Sie die Temperaturdaten bis zu 1029 Mal, bis die Funktion True ist
    while count<=1029:
        result = instance.read()
        count+=1
        if result.is_valid():
           #Speichern Sie Jahr, Monat und Tag in DataFrame für das Web-Scraping
            year = datetime.datetime.now().year
            month = datetime.datetime.now().month
            day = datetime.datetime.now().day
            hour = datetime.datetime.now().hour
            temp = result.temperature
            hum = result.humidity
            data=[year,month,day,hour,temp,hum,"",count]
            s = pd.Series(data, index=df.columns)
            df = df.append(s, ignore_index=True)
            break
    return df

# initialize GPIO
GPIO.setwarnings(True)
GPIO.setmode(GPIO.BCM)

instance = dht11.DHT11(pin=14)

filepath = '/home/pi/Desktop/DHT11_Python/data.csv'
df=add_data(filepath)
df.to_csv(filepath)
print(df)

from bs4 import BeautifulSoup
import pandas as pd
import numpy as np
import requests
import datetime
import os
import sys

#Durch Ändern der Vor- und Blockcodes wird die Region geändert.
# m_prec=44 repräsentiert Tokio, m_block=1133 repräsentiert Fuchu.
def scraping_weather(m_year,m_month,m_day,m_prec=44,m_block=1133):
    url ="https://www.data.jma.go.jp/obd/stats/etrn/view/hourly_a1.php?prec_no={prec}&block_no={block}&year={year}&month={month}&day={day}&view="
    url = url.format(prec=m_prec,block=m_block,year=m_year,month=m_month,day=m_day)
    html=requests.get(url)
    soup = BeautifulSoup(html.content, "html.parser")

    # id='tablefix2'von<table>Extrakt
    table = soup.find('table', id='tablefix1')  

    #Extrahieren Sie alles in Tabelle 2
    th_all = table.find_all('th')  
    #Spaltenüberschriften manuell speichern
    table_column = ["Zeit", "Niederschlag","Temperatur", "Windgeschwindigkeit / Windrichtung(m/s)","日照Zeit間","Schnee(cm)","Windgeschwindigkeit","Windrichtung","降Schnee","積Schnee"]

    # <table>Extrahieren Sie alle trs in.
    tr_all = table.find_all('tr')  

    #Das erste tr ist bereits extrahiert, überspringen Sie es also
    tr_all = tr_all[1:]  

    #Berechnen Sie die Anzahl der Zeilen und Spalten und erstellen Sie ein ndarray
    number_of_cols = len(table_column)  
    number_of_rows = len(tr_all)  
    table_data = np.zeros((number_of_rows, number_of_cols), dtype=np.float32)  

    #Speichern Sie die Daten jeder Zeile in ndarray
    for r, tr in enumerate(tr_all):  
        td_all = tr.find_all('td')  
        for c, td in enumerate(td_all):  
            try:  
                table_data[r,c] = td.string  
            except ValueError:  
                table_data[r,c] = np.nan  

    #Generieren Sie einen DataFrame der extrahierten Daten
    df = pd.DataFrame(data=table_data, columns=table_column)  
    return df

def combine_scraping_data(df):
    date_before=str(0)
    #Erkunde alle Daten
    for i in range(len(df)):
        #Überprüfen Sie, ob in der Vergangenheit Web Scraping durchgeführt wurde
        if np.isnan(df.loc[i,"scraping_temprature"]):
            year = df.loc[i,"year"]
            month = df.loc[i,"month"]
            day = df.loc[i,"day"]
            
            #Für heute gibt es keine Scraping-Daten. Überspringen Sie diese, wenn sie mit denen von heute identisch sind
            if ((day == datetime.date.today().day)&(month == datetime.date.today().month)):
                continue
            
            #Ersatzdatum als Str-Typ
            date_now = str(year)+str(month)+str(day)
            
            #Überprüfen Sie, ob sich die vorherige Zeile und das Datum geändert haben
            if date_now != date_before:
                #Wenn es sich geändert hat, kratzen Sie es und speichern Sie es im DataFrame.
                t_df =  scraping_weather(year,month,day)
                # date_Aktualisieren Sie das Datum der Vorher-Variablen
                date_before=date_now
            for j in range(len(t_df)):
                #Ordnen Sie die Kratzdaten den Sensordaten zu und ersetzen Sie die Kratztemperatur
                if df.loc[i,"hour"] == t_df.loc[j,"Zeit"]:
                    df.loc[i,"scraping_temprature"] = t_df.loc[j,"Temperatur"]
    return df


filepath = '/home/pi/Desktop/DHT11_Python/data.csv'

if os.path.isfile(filepath):
    df = pd.read_csv(filepath, index_col=0)
else:
    print("No data. This python wll be stopped.")
    sys.exit()


for i in range(len(df)):
    if df.loc[i,'hour']==0:
        df.loc[i,'hour'] =24
        df.loc[i,'day'] -=1

df = combine_scraping_data(df)

df.to_csv(filepath)
print(df['scraping_temprature'])

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import os


filepath = '/home/pi/Desktop/DHT11_Python/data.csv'

#Lesen Sie die CSV-Datei mit DataFrame
if os.path.isfile(filepath):
    df = pd.read_csv(filepath, index_col=0)
else:
    print("No data. This python wll be stopped.")
    sys.exit()

#Da ein Tagesdiagramm erstellt wird, listen Sie die Monats- / Tagesdaten auf und führen Sie eine Schleife aus.
for g_month in df["month"].unique():
    for g_day in df["day"].unique():
        #Zieldaten t_Laden Sie in df
        t_df = df[(df['day']==g_day)&(df['month']==g_month)]
        #Überspringen, wenn keine Scraping-Daten vorhanden sind
        if t_df["scraping_temprature"].isnull().any():
            continue
        
        #Einen neuen Ordner erstellen
        result_filepath = '/home/pi/Desktop/DHT11_Python/dht11_creating_graph/result/{month}_{day}'
        result_filepath = result_filepath.format(month=g_month, day=g_day)
        os.makedirs(result_filepath, exist_ok=True)
        
        #Erstellen und speichern Sie den Pfad zum Speichern der CSV-Datei
        result_filename = '/{month}_{day}.csv'
        result_filename = result_filename.format(month=g_month, day=g_day)
        t_df.to_csv(result_filepath+result_filename)
        
        #Erstellen Sie einen Pfad zum Speichern des Diagramms
        result_graphname = '/{month}_{day}.png'
        result_graphname = result_graphname.format(month=g_month, day=g_day)
        
        #Erstellen Sie ein Diagramm
        x=t_df['hour']
        y1=t_df['sensor_temprature']
        y2=t_df['scraping_temprature']
        
        fig = plt.figure()
        p1 = plt.plot(x, y1, linewidth=2)
        p2 = plt.plot(x, y2, linewidth=2, linestyle="dashed")
        plt.legend((p1[0], p2[0]), ('sensor_temprature', 'scraping_temprature'), loc=2)
        plt.xlabel("hour")
        plt.ylabel("temprature")
        
        #Speichern Sie das Diagramm
        fig.savefig(result_filepath+result_graphname)
        
        #Löschen Sie die grafischen Daten aus den Originaldaten
        df = df[(df['day']!=g_day)|(df['month']!=g_month)]
        #Indizieren Sie die Originaldaten neu
        df.reset_index(inplace=True, drop=True)

#Speichern Sie die Originaldaten
df.to_csv(filepath)