Obtenir le message du premier offset avec le consommateur kafka en python

Contexte

J'ai des données en temps réel dans kafka, mais je veux obtenir les données du début du décalage. La méthode n'est pas écrite dans le document, alors écrivez-la sous forme de mémorandum

Bibliothèque

Il semble y avoir des bibliothèques kafka kafka-python 1.3.2 sera utilisé

code
from kafka import KafkaConsumer, TopicPartition
consumer = KafkaConsumer(bootstrap_servers='hoge')

tp = TopicPartition('topic_name', 0)
consumer.assign([tp])
consumer.seek(tp, 0)

for msg in consumer:
    // do something
La description

Spécifiez le nom de la rubrique à l'aide de TopicPartition sans spécifier la rubrique dans le constructeur de KafkaConsumer. Après cela, vous pouvez spécifier la partition de rubrique et le décalage dans la recherche.

Recommended Posts

Obtenir le message du premier offset avec le consommateur kafka en python
Obtenir des données de Quandl en Python
Démarrez avec Python avec Blender
Obtenez des données supplémentaires vers LDAP avec python
Obtenir le code HTML de l'élément avec du sélénium Python
Obtenez des taux de change à partir des taux de change ouverts en Python
[Note] Obtenir des données de PostgreSQL avec Python
Obtenez le niveau de la batterie de SwitchBot avec Python
Obtenir l'historique des métriques de MLflow en Python
Obtenez des données de séries chronologiques de k-db.com avec Python
[Python] Récupérez les fichiers dans le dossier avec Python
[Python] Obtenez un an d'historique des messages de Slack
Obtenez uniquement des articles de pages Web en Python
[Cloud102] # 1 Premiers pas avec Python (première partie des premiers pas de Python)
Message d'exception en Python
Obtenir la date en Python
Obtenez date avec python
[Python] Obtenez les nombres dans l'image graphique avec OCR
Obtenir le calendrier de l'API Garoon SOAP avec Python + Zeep
Obtenez des données du module GPS à 10 Hz avec Python
Obtenez des résultats au format dict avec Python psycopg2
Les débutants en Python sont bloqués dans leur premier scraping Web
Recevoir des e-mails de Gmail et étiqueter avec Python3
Obtenir des données de la base de données via ODBC avec Python (Access)
Obtenez le code du pays avec python
Grattage au sélénium en Python
Obtenez le mois dernier en Python
Exploitez LibreOffice avec Python
Obtenez votre fréquence cardiaque à partir de l'API fitbit en Python!
Obtenez la chronologie Twitter avec Python
Grattage avec chromedriver en python
Débogage avec pdb en Python
OCR à partir de PDF en Python
Gérer les sons en Python
Grattage avec du sélénium en Python
Première simulation de cellule nerveuse avec NEURON + Python
Sélectionnez le fichier dans la boîte de dialogue avec python → Afficher le nom du fichier dans la boîte de message
Tweet avec image en Python
Obtenir la taille du terminal en Python
Obtenir explicitement EOF en python
Combiné avec ordinal en Python
Appuyez sur REST en Python pour obtenir des données de New Relic
Obtenir des constantes de macro à partir du fichier d'en-tête C (++) (.h) en Python
Obtenez des données de l'API d'analyse avec le client API Google pour python
Commencez avec Python! ~ ② Grammaire ~
Obtenez des stocks avec Python
Obtenez des notes Evernote en Python
Obtenir le répertoire personnel avec python
Obtenir un événement de clavier avec python
Avec skype, notifiez avec skype de python!
Obtenez des informations sur l'alambic avec Python
Obtenez des synonymes japonais avec Python
Comment est le progrès? Continuons le boom ?? en Python
Obtenez des commandes PowerShell à partir d'un site d'analyse dynamique de logiciels malveillants avec BeautifulSoup + Python
Publier un message d'IBM Cloud Functions sur Slack en Python
Comment obtenir une chaîne à partir d'un argument de ligne de commande en python
Obtenez des données de VPS MySQL avec Python 3 et SQL Alchemy
Obtenez une liste de fichiers dans un dossier avec python sans chemin