基于订阅划分的发布-订阅系统并行集成匹配方法和系统技术方案

本发明专利技术提供了一种基于订阅划分的发布

【技术实现步骤摘要】
基于订阅划分的发布
‑
订阅系统并行集成匹配方法和系统


[0001]本专利技术涉及数据分发
，具体地，涉及一种基于订阅划分的发布
‑
订阅系统并行集成匹配方法和系统。

技术介绍

[0002]面对数据爆炸，很多领域都需要按需提供数据分发服务。比如股市每天都会产生海量数据，投资者需要订阅和接收感兴趣的事件的信息。另一个例子是部署大量数据采集设备的智能交通场景，驾驶员需要一种机制来及时获取特定于其驾驶路线的前方道路的拥堵和事故信息。这些应用程序激发了对数据从发布者(来源)传播到订阅者(目的地)的有效方式的需求。
[0003]基于内容的发布
‑
订阅系统是实现按需事件分发的有效范例。为了表达他们对数据的兴趣，订阅者首先定义通常包含多个谓词的订阅，然后将它们发布给代理(服务器)。发布者生成由多个属性值对组成的事件并将它们发送给代理。对于每个事件，代理需要将其与订阅进行匹配，以识别应将事件信息转发到的目标订阅者。通过这种方式，发布者和订阅者松散耦合，这是基于内容的发布/订阅系统最吸引人的特点。
[0004]显然，事件匹配是基于内容的发布/订阅系统中的关键组件。给定一个高维空间，一个事件代表一个点，一个订阅代表一个矩形。事件匹配本质上是一个点包围搜索问题，其时间成本在高维空间中是昂贵的。更糟糕的是，当订阅数量很大时，匹配性能下降，成为基于内容的发布/订阅系统的潜在性能瓶颈。
[0005]专利文献CN109547529A(申请号：CN201811203990.3)公开了一种基于DDS的分布式工业数据分发方法，包括以下步骤：S1：为每个抽象设备创建设备接口文件；S2：创建订阅发布关系映射表，建立数据订阅者与数据发布者、数据订阅者与DDS主题之间的映射关系；S3：创建实时数据库；S4：采集数据发布者的接口数据并以DDS主题的形式发布到网络中；S5：对DDS主题数据进行解码并将解码后的数据写入实时数据库；S6：根据订阅发布关系映射表反向查找DDS主题对应的数据订阅者，调用数据订阅者的设备接口通知数据订阅者读取DDS主题数据。
[0006]为了提高匹配性能，研究人员已经提出了许多用于存储订阅的数据结构，例如使用树，表，布隆过滤器等，这些新颖的数据结构支持高效的事件匹配。但是，大多数现有数据结构都以相同的方式索引谓词，而不管它们的匹配概率如何。研究者曾经得出结论，谓词匹配概率影响大多数匹配算法的性能。增加或减少匹配概率都会导致性能下降。性能波动的匹配算法的一个问题是它不能保证快速稳定的数据分发服务。而且匹配时间与订阅的谓词个数息息相关。每个订阅包含多个区间谓词，通常当区间谓词的个数很多时，称为高维空间。高维空间下的订阅
‑
事件的匹配速度受到很大的影响，匹配性能会随着谓词数量增多而波动。

技术实现思路

[0007]针对现有技术中的缺陷，本专利技术的目的是提供一种基于订阅划分的发布
‑
订阅系统并行集成匹配方法和系统。
[0008]根据本专利技术提供的基于订阅划分的发布
‑
订阅系统并行集成匹配方法，包括：
[0009]步骤1：基于区间谓词的匹配概率，将包含多个区间谓词的单个订阅划分为多个子订阅；
[0010]步骤2：在算法库的对应算法中插入划分好的各个子订阅；
[0011]步骤3：触发事件后，并行处理算法库中的所有算法，将所有算法的输出进行聚合，得到最终的匹配结果。
[0012]优选的，基于TAMA算法和REIN算法实现集成匹配框架，所述TAMA算法在匹配时使用计数器来记录每个订阅的谓词满足次数，所述REIN算法使用一个位集合来标记所有不匹配的订阅，如果事件值满足一个订阅中的某个谓词，则在TAMA算法中该订阅对应的计数器将加一；相反，如果事件值不满足一个订阅中的某个谓词，则REIN算法位集合中该订阅对应的位将被标记为不匹配。
[0013]优选的，通过一个区间谓词的宽度和基数估算该谓词的匹配概率，表达式为：
[0014][0015]其中，事件是均匀分布的，每个谓词的基数为C，w
i
是第i个区间谓词的宽度，p
i
是其匹配概率。
[0016]优选的，定义一个分割点SP，作为TAMA算法和REIN算法的匹配概率的分界线，进行归一化后，谓词的匹配概率是一个介于0到1之间的数值，将SP的初始值设置为0.5，当一个新的订阅到来，需要分别处理订阅中的每一个区间谓词，计算其匹配概率，重新构建一个插入到REIN算法数据结构的空子订阅和一个TAMA算法的空子订阅，当区间谓词的匹配概率大于SP时，将其插入进REIN算法的子订阅中；当区间谓词的匹配概率小于SP时，将其插入进TAMA算法的子订阅中，在处理完此订阅中的所有区间谓词之后，得到两个新的子订阅，分别位于REIN算法和TAMA算法的数据结构中，在事件到来后，与REIN算法和TAMA算法中的订阅集合进行并行匹配，并分别得到部分匹配结果。
[0017]优选的，将一个订阅拆分成两个子订阅，并分别得到与事件的部分匹配结果，将结果用0或1的比特位来表示，如果TAMA算法和REIN算法的匹配结果都为1，则该订阅和事件匹配，否则不匹配；
[0018]设置预设大小的订阅数量窗口，记录在此窗口内TAMA算法和REIN算法的各自平均匹配时间，在每个窗口结束后，更新分界线SP的值：
[0019][0020]其中，R
max
和R
min
分别为分界线SP值波动的上下限，t
TAMA
和T分别为窗口内TAMA算法运行的时间和总时间，如果TAMA算法的运行时间偏长，则降低分界线SP的大小；如果REIN算法的运行时间偏长，则提高分界线SP的大小。
[0021]根据本专利技术提供的基于订阅划分的发布
‑
订阅系统并行集成匹配系统，包括：
[0022]模块M1：基于区间谓词的匹配概率，将包含多个区间谓词的单个订阅划分为多个
子订阅；
[0023]模块M2：在算法库的对应算法中插入划分好的各个子订阅；
[0024]模块M3：触发事件后，并行处理算法库中的所有算法，将所有算法的输出进行聚合，得到最终的匹配结果。
[0025]优选的，基于TAMA算法和REIN算法实现集成匹配框架，所述TAMA算法在匹配时使用计数器来记录每个订阅的谓词满足次数，所述REIN算法使用一个位集合来标记所有不匹配的订阅，如果事件值满足一个订阅中的某个谓词，则在TAMA算法中该订阅对应的计数器将加一；相反，如果事件值不满足一个订阅中的某个谓词，则REIN算法位集合中该订阅对应的位将被标记为不匹配。
[0026]优选的，通过一个区间谓词的宽度和基数估算该谓词的匹配概率，表达式为：
[0027][0028]其中，事件是均匀分布的，每个谓词的基数为C，w
i
是第i个区间谓词的宽度，p
i
是其匹配概率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于订阅划分的发布
‑
订阅系统并行集成匹配方法，其特征在于，包括：步骤1：基于区间谓词的匹配概率，将包含多个区间谓词的单个订阅划分为多个子订阅；步骤2：在算法库的对应算法中插入划分好的各个子订阅；步骤3：触发事件后，并行处理算法库中的所有算法，将所有算法的输出进行聚合，得到最终的匹配结果。2.根据权利要求1所述的基于订阅划分的发布
‑
订阅系统并行集成匹配方法，其特征在于，基于TAMA算法和REIN算法实现集成匹配框架，所述TAMA算法在匹配时使用计数器来记录每个订阅的谓词满足次数，所述REIN算法使用一个位集合来标记所有不匹配的订阅，如果事件值满足一个订阅中的某个谓词，则在TAMA算法中该订阅对应的计数器将加一；相反，如果事件值不满足一个订阅中的某个谓词，则REIN算法位集合中该订阅对应的位将被标记为不匹配。3.根据权利要求1所述的基于订阅划分的发布
‑
订阅系统并行集成匹配方法，其特征在于，通过一个区间谓词的宽度和基数估算该谓词的匹配概率，表达式为：其中，事件是均匀分布的，每个谓词的基数为C，w
i
是第i个区间谓词的宽度，p
i
是其匹配概率。4.根据权利要求1所述的基于订阅划分的发布
‑
订阅系统并行集成匹配方法，其特征在于，定义一个分割点SP，作为TAMA算法和REIN算法的匹配概率的分界线，进行归一化后，谓词的匹配概率是一个介于0到1之间的数值，将SP的初始值设置为0.5，当一个新的订阅到来，需要分别处理订阅中的每一个区间谓词，计算其匹配概率，重新构建一个插入到REIN算法数据结构的空子订阅和一个TAMA算法的空子订阅，当区间谓词的匹配概率大于SP时，将其插入进REIN算法的子订阅中；当区间谓词的匹配概率小于SP时，将其插入进TAMA算法的子订阅中，在处理完此订阅中的所有区间谓词之后，得到两个新的子订阅，分别位于REIN算法和TAMA算法的数据结构中，在事件到来后，与REIN算法和TAMA算法中的订阅集合进行并行匹配，并分别得到部分匹配结果。5.根据权利要求4所述的基于订阅划分的发布
‑
订阅系统并行集成匹配方法，其特征在于，将一个订阅拆分成两个子订阅，并分别得到与事件的部分匹配结果，将结果用0或1的比特位来表示，如果TAMA算法和REIN算法的匹配结果都为1，则该订阅和事件匹配，否则不匹配；设置预设大小的订阅数量窗口，记录在此窗口内TAMA算法和REIN算法的各自平均匹配时间，在每个窗口结束后，更新分界线SP的值：其中，R
max
和R
min
分别为分界线SP值波动的上下限，t
TAMA
和T分别为窗口内TAMA算法运行的时间和总时间，如果TAMA算法的运行时间偏长，则降低分界线SP的大小；如果REIN算法的运行时间偏长，则提高分界线SP的大小。6.一种基于订阅划...

【专利技术属性】
技术研发人员：李俊珅，钱诗友，邓喻丰，崔欣，薛广涛，曹健，孙志明，陆喜喜，
申请(专利权)人：国家税务总局上海市税务局，
类型：发明
国别省市：