python celery 并发数和cpu有关系吗

python celery 并发数和cpu有关系吗

1. 生产者(Celery client): 生产者发送消息，在Flask上工作时，生产者在Flask应用内运行
2. 消费者(Celert worker): 消费者用于处理后台任务。消费者可以是本地的也可以是远程的。我们可以在运行Flask的server上运行一个单一的消费者，当业务量上涨之后再去添加更多的消费者
3. 消息传递着(Celery broker): 生产者和消费者的信息交互使用的是消息队列，Celery支持若干方式的消息队列，其中最长用的是RabbitMQ和Redis, 我们在使用过程中使用的Redis！

celery是一个专注于实时处理和任务调度的分布式任务队列。所谓任务就是消息，消息中的有效载荷中包含要执行任务需要的全部数据。 使用celery的常见场景如下： 1. web应用。当用户触发的一个操作需要较长时间才能执行完成时，可以把它作为任务交给celery去异步执行，执行完再返回给用户。这段时间用户不需要等待，提高了网站的整体吞吐量和响应时间。 2. 定时任务。生产环境经常会跑一些定时任务。假如你有上千台的服务器、上千种任务，定时任务的管理很困难，celery可以帮助我们快速在不同的机器设定不同种任务。 3. 同步完成的附加工作都可以异步完成。比如发送短信/邮件、推送消息、清理/设置缓存等。 celery还提供了如下的特性： 1. 方便地查看定时任务的执行情况，比如执行是否成功、当前状态、执行任务花费的时间等。 2. 可以使用功能齐备的管理后台或者命令行添加、更新、删除任务。 3. 方便把任务和配置管理相关联。 4. 可选多进程、eventlet和gevent三种模式并发执行。 5. 提供错误处理机制。 - 提供多种任务原语，方便实现任务分组、拆分和调用链。 - 支持多种消息代理和存储后端。