基于动态负载监测的流连接系统负载均衡方法及装置制造方法及图纸

本发明专利技术公开了一种基于动态负载监测的流连接系统负载均衡方法及装置，属于计算机实时大数据流式处理领域，包括：并行的数据分发步骤以及负载监测步骤；数据分发步骤包括：对于任意一个元组t，根据键值与处理节点的映射关系分别将其分发到两部分节点中，以分别对元组t进行存储和连接匹配；负载监测步骤包括：(S1)估计各处理节点的计算负载；(S2)基于计算负载分别计算两部分节点的负载不均程度；(S3)对于任意一部分节点的负载不均程度，若大于均衡阈值，则按照键值进行负载迁移，以减小该负载不均程度，然后转入步骤(S4)；否则，直接转入步骤(S4)；(S4)经过预设的时间间隔后，转入步骤(S1)。本发明专利技术能够满足高吞吐低延时的系统需求。

Load Balancing Method and Device for Flow Connection System Based on Dynamic Load Monitoring

【技术实现步骤摘要】
基于动态负载监测的流连接系统负载均衡方法及装置
本专利技术属于计算机实时大数据流式处理领域，更具体地，涉及一种基于动态负载监测的流连接系统负载均衡方法及装置。
技术介绍
现在，越来越多的应用，如广告推荐，实时订单匹配，电信欺诈检测等，需要高时效地处理大规模高速产生的实时流数据，其中，每条数据流由随时序实时到来的无限数据项(即元组)组成，每个元组包含可与其他数据流中元组产生关联的属性(即键值)。在这些应用中，对不同数据流进行流连接是最基础以及最重要的操作之一，特别是等值连接。流连接即对两条不同的数据流根据一定条件将其进行关联，连接成一条新的数据流的操作；等值连接则是对两条不同的数据流根据两个元组的键值是否相同而进行匹配，将匹配成功的元组进行关联并作为新的数据流的元组进行输出。例如，网约车软件做“网约车智能派单”应用时，可将实时产生的乘客的请求流与专车的位置流进行快速的连接匹配，将两条流中相同区域内的乘客和网约车匹配在一起，以将乘客的约车请求推送给最近的专车，这一过程就是一个等值连接的过程。流连接既要面对源源不断的无限数据项的同时，还要实时响应请求，因此，流连接处理比传统的连接处理面临更本文档来自技高网...

【技术保护点】
1.一种基于动态负载监测的流连接系统负载均衡方法，所述流连接系统为基于二部图模型的分布式流连接系统，其特征在于，包括：并行的数据分发步骤以及负载监测步骤；所述数据分发步骤包括：对于随时序到达的任意一个元组t，根据键值与处理节点的映射关系分别将其分发给第一处理节点和第二处理节点，以使得所述第一节点对所述元组t进行存储，且所述第二节点对所述元组t进行连接匹配；所述负载监测步骤包括：(S1)估计各处理节点进行连接匹配的计算负载；(S2)根据所估计的计算负载，分别计算所述流连接系统的两部分节点的负载不均程度；(S3)对于任意一部分节点的负载不均程度，若大于预设的均衡阈值，则使该部分节点按照键值进行负载...

【技术特征摘要】
1.一种基于动态负载监测的流连接系统负载均衡方法，所述流连接系统为基于二部图模型的分布式流连接系统，其特征在于，包括：并行的数据分发步骤以及负载监测步骤；所述数据分发步骤包括：对于随时序到达的任意一个元组t，根据键值与处理节点的映射关系分别将其分发给第一处理节点和第二处理节点，以使得所述第一节点对所述元组t进行存储，且所述第二节点对所述元组t进行连接匹配；所述负载监测步骤包括：(S1)估计各处理节点进行连接匹配的计算负载；(S2)根据所估计的计算负载，分别计算所述流连接系统的两部分节点的负载不均程度；(S3)对于任意一部分节点的负载不均程度，若大于预设的均衡阈值，则使该部分节点按照键值进行负载迁移，以减小该负载不均程度，负载迁移均结束后，转入步骤(S4)；否则，直接转入步骤(S4)；(S4)经过预设的时间间隔后，转入步骤(S1)，以实现对所述流连接系统的动态负载监测和负载均衡；其中，所述流连接系统的两部分节点分别用于存储待连接的两个数据流，所述第一处理节点为用于存储所述元组t所属数据流的其中一个处理节点，所述第二处理节点为用于存储另一条数据流的其中一个处理节点；在两部分节点中，根据所述映射关系，键值相同的元组被映射到相同的处理节点。2.如权利要求1所述的基于动态负载监测的流连接系统负载均衡方法，其特征在于，根据键值与处理节点的映射关系分别将所述元组t分发给第一处理节点和第二处理节点，包括：根据所述元组t的键值kt查询映射表，若获取到相应的映射表项E，则根据所述映射表项E记录的映射关系获得所述第一处理节点和所述第二处理节点的节点标识；否则，以所述键值kt为输入，利用预设的映射函数计算所述第一处理节点和所述第二处理节点的节点标识；根据所获取的节点标识将所述元组t分别分发给所述第一处理节点和所述第二处理节点；其中，所述映射表用于记录在负载迁移结束后，被迁移元组的键值与处理节点的映射关系，所述映射关系为键值与节点标识的对应关系，所述节点标识用于唯一标识处理节点。3.如权利要求2所述的基于动态负载监测的流连接系统负载均衡方法，其特征在于，还包括：在负载迁移结束后，根据被迁移元组的键值以及元组所迁移至的处理节点的节点标识构造新的映射表项，并利用新的映射表项更新所述映射表。4.如权利要求1或2所述的基于动态负载监测的流连接系统负载均衡方法，其特征在于，处理节点的计算负载为流连接处理过程中，该处理节点所要进行的元组匹配次数。5.如权利要求4所述的基于动态负载监测的流连接系统负载均衡方法，其特征在于，所述步骤(S1)包括：对于每一个处理节点，分别获得其中属于两个数据流的元组数量并相乘，从而得到该处理节点的计算负载。6.如权利要求5所述的基于动态负载监测的流连接系统负载均衡方法，其特征在于，对于任意一部分处理节点，其负载不均程度的计算方式为：分别获得该部分处理节点内的最大计算负载Lmax和最小计算负载Lmin，以计算该部分处理节点的负载不均程度为：7.如权利要求6所述的基于动态负载监测的流连接系统负载均衡方法，其特征在于，任意一部分节点按照键值进行负载迁移的方法包括：分别获得该部分节点内具有最大计算负载的处理节点IR-i和具有最小计算负载的处理节点IR-j；根据所述处理节点I...

【专利技术属性】
技术研发人员：陈汉华，金海，周舜杰，张凡，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42