Nachricht vom ersten Offset mit Kafka Consumer in Python abrufen

Hintergrund

Ich habe Echtzeitdaten in Kafka, aber ich möchte die Daten vom Beginn des Offsets abrufen. Die Methode ist nicht in das Dokument geschrieben, schreiben Sie es also als Memorandum

Bibliothek

Es scheint einige Kafka-Bibliotheken zu geben kafka-python 1.3.2 wird verwendet

Code
from kafka import KafkaConsumer, TopicPartition
consumer = KafkaConsumer(bootstrap_servers='hoge')

tp = TopicPartition('topic_name', 0)
consumer.assign([tp])
consumer.seek(tp, 0)

for msg in consumer:
    // do something
Erläuterung

Geben Sie den Themennamen mit TopicPartition an, ohne das Thema im Konstruktor von KafkaConsumer anzugeben. Danach können Sie die Themenpartition und den Versatz bei der Suche angeben.

Recommended Posts

Nachricht vom ersten Offset mit Kafka Consumer in Python abrufen
Beginnen Sie mit Python mit Blender
Holen Sie sich mit Python zusätzliche Daten zu LDAP
Holen Sie sich HTML von Element mit Python-Selen
Erhalten Sie Wechselkurse von offenen Wechselkursen in Python
[Hinweis] Mit Python Daten von PostgreSQL abrufen
Holen Sie sich den Batteriestand von SwitchBot mit Python
Abrufen des Metrikverlaufs von MLflow in Python
Holen Sie sich mit Python Zeitreihendaten von k-db.com
[Python] Holen Sie sich die Dateien mit Python in den Ordner
[Python] Holen Sie sich einen einjährigen Nachrichtenverlauf von Slack
Holen Sie sich nur Artikel von Webseiten in Python
[Cloud102] # 1 Erste Schritte mit Python (Teil 1 Python Erste Schritte)
Ausnahmemeldung in Python
Holen Sie sich Datum in Python
Holen Sie sich ein Date mit Python
[Python] Holen Sie sich die Zahlen im Diagramm mit OCR
Holen Sie sich mit Python + Zeep einen Zeitplan von der Garoon SOAP API
Holen Sie sich mit Python Daten vom GPS-Modul mit 10 Hz
Mit Python psycopg2 erhalten Sie Ergebnisse im Diktatformat
Python-Anfänger bleiben beim ersten Web-Scraping stecken
Erhalten Sie E-Mails von Google Mail und beschriften Sie sie mit Python3
Abrufen von Daten aus der Datenbank über ODBC mit Python (Access)
Holen Sie sich den Ländercode mit Python
Schaben mit Selen in Python
Holen Sie sich letzten Monat in Python
Betreiben Sie LibreOffice mit Python
Holen Sie sich Ihre Herzfrequenz von der Fitbit-API in Python!
Holen Sie sich Twitter-Timeline mit Python
Schaben mit Chromedriver in Python
Debuggen mit pdb in Python
OCR aus PDF in Python
Umgang mit Sounds in Python
Scraping mit Selen in Python
Erste Nervenzellsimulation mit NEURON + Python
Datei im Dialog mit Python auswählen → Dateinamen im Meldungsfeld anzeigen
Tweet mit Bild in Python
Holen Sie sich die Terminalgröße in Python
Holen Sie sich explizit EOF in Python
Kombiniert mit Ordnungszahl in Python
Drücken Sie in Python auf REST, um Daten von New Relic abzurufen
Ruft Makrokonstanten aus der C (++) - Headerdatei (.h) in Python ab
Abrufen von Daten aus der Analyse-API mit Google API Client für Python
Beginnen Sie mit Python! ~ ② Grammatik ~
Holen Sie sich Lager mit Python
Holen Sie sich Evernote-Notizen in Python
Holen Sie sich das Home-Verzeichnis mit Python
Holen Sie sich Tastaturereignis mit Python
Mit Skype benachrichtigen Sie mit Skype von Python!
Holen Sie sich Alembic-Informationen mit Python
Holen Sie sich japanische Synonyme mit Python
Wie ist der Fortschritt? Lassen Sie uns mit dem Boom in Python weitermachen
Rufen Sie mit BeautifulSoup + Python PowerShell-Befehle von einer Website für dynamische Malware-Analysen ab
Senden Sie eine Nachricht von IBM Cloud Functions an Slack in Python
So erhalten Sie eine Zeichenfolge aus einem Befehlszeilenargument in Python
Holen Sie sich Daten von VPS MySQL mit Python 3 und SQL Alchemy
Ruft eine Liste der Dateien in einem Ordner mit Python ohne Pfad ab