[PYTHON] Versuchen Sie, Daten zu erfassen, während Sie mit anaconda eine Portweiterleitung an RDS durchführen.

Einführung

Wenn Sie Daten analysieren, stellen Sie möglicherweise fest, dass sich die Daten überhaupt in der Datenbank befinden. In diesem Fall wäre es gut, wenn es lokal wäre, aber wenn es in RDS von AWS ist, ist es notwendig, eine Remoteverbindung herzustellen und die Daten zu erfassen. In diesem Fall besteht eine Möglichkeit darin, die Portweiterleitung lokal und remote zu erhalten. Diesmal möchte ich dies mit Anaconda machen.

Vorbereitung

Installieren Sie das Folgende mit Conda oder Pip.

* Wird für die Portweiterleitung verwendet.
sshtunnel
* Wird verwendet, um eine Verbindung zu MySQL herzustellen.
mysql.connector
pandas

Port-Weiterleitung

Importieren Sie sshtunnel und port vorwärts.

* Importieren Sie, was Sie brauchen
from sshtunnel import SSHTunnelForwarder
* Einstellungen für die Portweiterleitung
host = 'Remote-Host'
localhost = '127.0.0.1'
ssh_username = 'Nutzername'
ssh_private_key = 'Speicherort des privaten Schlüssels'
server = SSHTunnelForwarder(
          (host, 22),
          ssh_private_key_password="Passwort für den privaten Schlüssel",
          ssh_username=ssh_username,
          ssh_private_key=ssh_private_key,
          local_bind_address=('0.0.0.0',Lokaler zu bindender Port),
          remote_bind_address=(localhost,Remote-Port zum Binden))

server.start()
* Stoppen Sie, wenn Sie den Port vorwärts beenden möchten.
server.stop()

Portweiterleitung zum Abrufen von Daten aus der Datenbank

Mit Portweiterleitung mit der oben genannten Quelle Es stellt eine Verbindung zur Datenbank her, ruft Daten ab und zeigt die Daten in einem Datenrahmen an.

import mysql.connector
import pandas as pd

#Informationen zur Datenbankverbindung
connect = mysql.connector.connect(user='DB-Benutzername', password='DB-Passwort', host='127.0.0.1',port='Portweiterleitungsziel', database='DB-Name', charset='utf8')
cursor = connect.cursor()

cursor.execute("select * from table WHERE id = 1")
result = cursor.fetchall()
dataframe = pd.DataFrame(result)
dataframe

Am Ende

Sie können jetzt Daten direkt mit anaconda abrufen. Sie können jetzt einfach Daten abrufen.

Recommended Posts

Versuchen Sie, Daten zu erfassen, während Sie mit anaconda eine Portweiterleitung an RDS durchführen.
Versuchen Sie, CloudWatch-Metriken mit der Python-Datenquelle re: dash abzurufen
Versuchen Sie, mit Pandas in ordentliche Daten umzuwandeln
Versuchen Sie, Doujin-Musikdaten mit Pandas zu aggregieren
Ich habe versucht, CloudWatch-Daten mit Python abzurufen
Holen Sie sich Amazon RDS (PostgreSQL) -Daten mithilfe von SQL mit Pandas
So erhalten Sie mit SQLAlchemy + MySQLdb mehr als 1000 Daten
Versuchen Sie, die Datentabelle von Azure SQL Server mit pyodbc zu extrahieren
Versuchen Sie, Titanic-Daten mit der Vorverarbeitungsbibliothek DataLiner (Anhängen) zu verarbeiten.
Versuchen Sie, Titanic-Daten mit der Vorverarbeitungsbibliothek DataLiner (Encoding) zu verarbeiten.
Holen Sie sich zusätzliche Daten zu LDAP mit Python (Writer und Reader)
Versuchen Sie es mit Folium mit Anakonda
[Einführung in Python] So erhalten Sie Daten mit der Funktion listdir
Versuchen Sie, Titanic-Daten mit der Vorverarbeitungsbibliothek DataLiner zu verarbeiten (Konvertierung).
Versuchen Sie, Merkmale von Sensordaten mit CNN zu extrahieren
Versuchen Sie, den kürzesten Weg mit Python + NetworkX + Social Data zu lösen
Versuchen Sie, Titanic-Daten mit der Vorverarbeitungsbibliothek DataLiner (Drop) zu verarbeiten.
Link, um mit Python zu beginnen
Versuchen Sie, Facebook mit Python zu betreiben
Umgang mit unausgeglichenen Daten
[Python] Mit DataReader Wirtschaftsdaten abrufen
Versuchen Sie, sich mit ONNX Runtime zu profilieren
Versuchen Sie, Daten in MongoDB abzulegen
Wie fange ich mit Scrapy an?
Erste Schritte mit Python
Wie fange ich mit Django an?
Aufblasen von Daten (Datenerweiterung) mit PyTorch
Versuchen Sie, Statistiken mit e-Stat abzurufen
Versuchen Sie, iptablse zu lernen, portieren Sie vorwärts
Versuchen Sie, Audio mit M5 STACK auszugeben
Verwalten Sie Ihre Daten mit AWS RDS
Versuchen Sie Daten parallel zu Distributed TensorFlow
So installieren Sie Anaconda mit pyenv
Versuchen Sie, die Höhendaten des National Land Research Institute mit Python abzubilden
Versuchen Sie, den Zustand der Straßenoberfläche mithilfe von Big Data des Straßenoberflächenmanagements zu ermitteln
Holen Sie sich mit Python zusätzliche Daten zu LDAP
Schritt Notizen, um mit Django zu beginnen
Versuchen Sie, Farbfilme mit Python zu reproduzieren
Versuchen Sie, sich mit Python bei qiita anzumelden
Ändern Sie die Python 64-Bit-Umgebung mit Anaconda in eine 32-Bit-Umgebung
[Hinweis] Mit Python Daten von PostgreSQL abrufen
So erhalten Sie die Eltern-ID mit sqlalchemy
Versuchen Sie, mit Binärdaten in Python zu arbeiten
Ich habe versucht, mit Hy anzufangen
Holen Sie sich Daten von Cloudant mit Bluemix-Kolben
Konvertieren Sie Excel-Daten mit Python in JSON
Erhalten Sie Antworten auf bestimmte Tweets mit tweepy
Senden Sie Daten mit Vue.js an die DRF-API
Versuchen Sie schnell, Ihren Datensatz mit Pandas zu visualisieren
Erster Versuch von YDK mit Cisco IOS-XE
Daten in RDS mit AWS Glue überschreiben
Holen Sie sich mit pyVISA Daten von einem Oszilloskop
Versuchen Sie, ein Bild mit Entfremdung zu erzeugen
Wie man Problemdaten mit Paiza liest
[Einführung in Python] So erhalten Sie den Datenindex mit der for-Anweisung