css3
V2EX  ›  Kafka

Python 消费 kafka 时无限挂起,如何定位原因

By css3 at 2021 年 6 月 18 日 · 1693 次点击

直接通过 kafka 命令行是可以消费的,但通过 python 消费时,一直消费不到,进程也不超时


import time
from kafka import KafkaConsumer

topic1 = 'additional_order'
host = '192.168.14.55:9092'


consume = KafkaConsumer(topic, group_id="group1", 
                              bootstrap_servers=host, auto_offset_reset='latest',
                              security_protocol='SASL_PLAINTEXT',
                              sasl_mechanism='PLAIN',
                              sasl_plain_username='admin',
                              sasl_plain_password='$%foper!@#$',
                              api_version=(0, 10)
                              )


while True:
    count += 1
    if time.time() - start_time > 1 * 60:
        print('超时,退出')
        break
    msg = consume.poll(1000, 1)  # 看上去,进程是一直等候在这里
    print(count)


2 条回复  •  2021-06-18 21:12:06 +08:00
tcpdump
   1
tcpdump  
   2021 年 6 月 18 日
换消费组啊,你都消费了,偏移肯定是最后的
或者 auto_offset_reset 设置为最早吧
跟 Python 没关系
css3
   2
css3  
OP
   2021 年 6 月 18 日 via iPhone
@tcpdump 换了也不行,试过了
© 2026 V2EX · 33ms · 3.9.8.5