jenlors
V2EX  ›  Python

rearq, 一个 asyncio 分布式任务队列

By jenlors at 2021 年 3 月 26 日 · 3689 次点击

项目地址: https://github.com/long2ice/rearq

项目介绍

项目起因是想寻找一个 asyncio 下的 celery 替代品,最后找到了arq,但是用下来后发现其 api 使用不是很友好,并且是基于 zset 实现的任务队列,没有 ack 支持,对于任务结果的持久化也是基于 redis,搜索不友好等,也没有像 celery 的 flower 那样的 web 界面,于是基于 arq 二次开发,诞生了 rearq 。

项目功能

  • 基于 redis5.0 后的 stream 实现任务队列,带有 ack 支持。
  • 增加 web 操作界面。
  • 使用数据库存储任务结果。
  • 类似于 celery 的友好的 api 。
  • 支持异步任务,延时任务,定时任务。

项目规划

  • 提升项目稳定性,bug 维护。
  • 项目文档编写。
  • web 界面改进与优化。

希望各位不吝 star,感谢!

4 条回复  •  2021-03-29 19:02:10 +08:00
sylvos
   1
sylvos  
   2021 年 3 月 27 日 via iPhone
👍赞
ErwinCheung
   2
ErwinCheung  
   2021 年 3 月 27 日
很赞👍
ykb8121
   3
ykb8121  
   2021 年 3 月 29 日
大佬们有知道 db 是基于 etcd 的 asyncio 任务队列的库吗,求推荐
jenlors
   4
jenlors  
OP
   2021 年 3 月 29 日
@ykb8121 不是很清楚
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
© 2026 V2EX · 50ms · 3.9.8.5