zmq broker 并发问题

zmq broker 并发问题 概述 zmq是一个异步消息队列库，使用方便，我们用了broker pattern，用于异步任务系统，但是由于zmq的socket不能线程共享，单线程reactor模式响应frontend和backend，导致当并发量大或者单词请求耗时长时，broker节点会成为瓶颈。 ZeroMQ broker pattern 当前框架 客户端所以请求经过broker节点，broker节点负责代理请求到后端worker worker节点发送heartbeat到broker，broker负责识别worker状态和管理worker worker进程异步调度任务，worker可互相调用（需通过broker） 任务行为分为create,query,result,stop 结构和流程： 如上图所示，merge需要发起多个stat统计任务，并且poll该任务完成之后做合并，我们遇到的场景是这个统计返回的数据量会比较大，比如30-100M，这种情况下，当任务完成，client请求获取result数据的时候，io耗时比较长，比如30M耗时1.x秒，多个这样的请求，就会堵塞。 另外还有一个问题是并发问题，如果并发很大，client请求在队列中，长时间不响应也会超时（比如10s超时)。 改进 使用connection per thread pattern进行改进，由于我们的场景是result请求io耗时太长导致的，所以只把这个模式应用于result请求，其他的create,query请求依然用reactor模式。 结构和流程： 如上图所示 client 需要将result请求分发到result_router router负责处理create,query请求，worker heartbeat，并且把worker状态通过pub/sub模式publish到result_router result_router只代理result请求，使用connection per thread模式 高并发改进 如果真的是并发问题，可以考虑使用多个broker来处理create和query等，对于非耗时长的操作，reactor的性能应该是比connection per thread模式高。...

03 May 2020

uwsgi load balance

uwsgi load balance 概述 Django web服务在处理高频率的请求时发现，uwsgi起了8进程，数据请求延时严重，并且只有2进程cpu占用超过80%，其他进程很闲。于是使用uwsgitop工具查看请求分发情况，发现请求分发非常集中，导致虽然uwsgi配了8进程，但是实际只有2进程在处理请求，再加上python的GIL，多线程的情况下，同时只有一个线程占用cpu，对于cpu密集型任务，其他线程都在等待，导致请求处理延时，甚至在nginx排队积压，严重影响前端响应时间。 uwsgi multiple processes not banlanced 首先uwsgi配置如下： [secstats] socket = 127.0.0.1:23081 pythonpath = . module = wsgi processes = 8 threads = 20 enable-threads = true log-format = %(addr) [%(ltime)]...

01 Nov 2019

nginx-uwsgi-supervisord

nginx-uwsgi-supervisord 因为每次新建Python web project都需要搭建这些东西，也很难记住，所以每次都搜索，索性在这里记录一下，web端使用Django。 安装 nginx 使用操作系统包管理器安装，比如:apt-get,yum uwsgi和supervisord 使用pip安装就可以 uwsgi配置与运行 配置uwsgi 配置实例 [uwsgi] # ln -s $project /etc/project chdir = /etc/megas/web # uwsgi.py的目录 wsgi-file = /etc/megas/web/web/wsgi.py master = true # 进程数 workers = 1 #...

23 Apr 2018

DHT协议

DHT协议 前言 DHT协议是BT网络协议，DHT协议英文原文很简短，搬了一份感觉不错的翻译，文末有原帖链接。 *** BitTorrent 使用”分布式哈希表”(DHT)来为无 tracker 的种子(torrents)存储 peer 之间的联系信息。这样每个 peer 都成了 tracker。这个协议基于 Kademila[1] 网络并且在 UDP 上实现。 请注意本文档中使用的术语，以免混乱。 "peer" 是在一个 TCP 端口上监听的客户端/服务器，它实现了 BitTorrent 协议。 "节点" 是在一个 UDP 端口上监听的客户端/服务器，它实现了 DHT(分布式哈希表) 协议。 DHT 由节点组成，它存储了 peer 的位置。BitTorrent 客户端包含一个...

16 Mar 2018

Mongo复制集和集群

Mongo复制集和集群 概述 Mongo集群官方介绍 什么时候考虑用Shard Cluster? 当你考虑使用 Sharded cluster 时，通常是要解决如下2个问题 存储容量受单机限制，即磁盘资源遭遇瓶颈。 读写能力受单机限制（读能力也可以在复制集里加 secondary 节点来扩展），可能是 CPU、内存或者网卡等资源遭遇瓶颈，导致读写能力无法扩展。 如果你没有遇到上述问题，使用 MongoDB 复制集就足够了，管理维护上比 Sharded cluster 要简单很多。 Mongo集群框架图 集群之后通过mongos读写数据，整个分片读写过程对client端来说是透明的。非集群情况mongo client直接访问mongod读写数据。 replica set是复制集，比如Shard replica set就是由多个mongod组成的分片服务器集合，除了mongos之外，configs server和shard都可以配成复制集（HA） 也可以不配使用复制集，直接把一个mongod添加到集群分片合集中(sh.addShard(‘host:port’)) Mongos，Config Server和Shard都是mongod进程，Mongos负责Router和load balance，Config Servers负责保存集群配置信息。Shard负责存储数据。 关于Shard Key...

29 Sep 2017

linux shell date

linux shell date 概述 用shell命令获取给定时区的今天凌晨的时间戳 # 取得纽约时区的日期（年-月-日） today='TZ="America/New_York" date +%Y-%m-%d' # "${today} 00:00" 的格式是 年-月-日 时：分 # +%s 参数是取时间戳 tsToday=$(TZ="America/New_York" date -d "${today} 00:00" +%s) echo ${tsToday}

19 Sep 2017

Chrome查找Javascript内存泄露

Chrome查找Javascript内存泄露 javascript 内存回收 javascript内存大概也是周期性找到没有被使用的内存,然后将其回收.每个内存都会有引用计数来标示该对象,如果引用计数清零,说明内存可以被回收, 然后通过标记清除告诉内存回收器适时回收内存. 调试内存泄露 调试内存泄露一般要到解析器/VM里调,对于js来说就是browser. chrome的devtools提供了调试工具,主要由三种,Take Heap Snapshot,Record Allocation Profile和Record Allocation Timeline. 调试工具默认可能没有functioin call stack,需要在devtools的settings里勾选Record heap allocation stack traces 调试过程 使用Record Allocation Timeline可以记录整个时间段内存泄露情况, 如下图蓝色的柱子代表内存没有被回收,灰色的柱子是被回收调的内存. 选择某个时间段,可以看到这个时间段的内存使用情况,并且在Allocation Stack页签下看到function call stack. 在function call stack中inspect就可以看到那段代码引起的内存泄露. 修复后 修复后再使用Record...

24 Jul 2017

Python线程安全的对象

Python线程安全的对象 概述 多线程安全的对象。 threading.local import threading # 线程安全 l = threading.local() def func(*args): l.x = args[0] # id(l) 所有线程是相等的，是用一个对象。 print id(l) # id(l.x) 这个对象的地址都是不同的。 print id(l.x) ts = [] for x in xrange(4): ts.append(threading.Thread(target=func, args=(x,)))...

19 Jul 2017

python metaclass

python metaclass 概述 metaclass在很多语言里都有，能够动态改变类的行为。 例子：简单模拟了一下Django ORM Model Model 可以以下面的形式定义Field: from django.db import models class Resource(models.Model): name = models.CharField(max_length=128, unique=True) host = models.GenericIPAddressField() description = models.TextField(blank=True) 在Resource Model对象使用： resource_obj = Resource(name='guset', host='127.0.0.1') print Resource.name # Output:...

27 Jun 2017

Python实现指标运算

Python实现指标运算 概述 指标运算,包含嵌套的运算,实现了diff,sum,limit,sort. 流程: 函数表达式解析 -> 运行解析后的表达式 -> 出运算结果 包括组件: 基于pyparsing的nested function call grammar.支持表达式和python的args和kwargs,参数类型只支持string和float 运算函数,所有运算函数接收iterator进行迭代运算,kwargs作为辅助参数. 运行函数,负责根据pyparsing解析出来的词法结构来调度运行具体的运算函数(递归调度),还有负责准备参数 sample code # -*- utf-8 -*- from pyparsing import ( Group, Literal, Word, ZeroOrMore, alphas, alphanums, Combine, nums, Forward,...

21 Jun 2017
Next