一种基于分布式画面的数据订阅注册和注销系统及方法技术方案

本发明专利技术公开了一种基于分布式画面的数据订阅注册和注销系统及方法，画面订阅采用分布式注册和注销订阅方案，提升了画面的订阅性能和效率，以应对高并发场景，然后针对相同的查询条件进行过滤，降低重复BI分析计算资源，避免了数据重复推送，提升了作业信息的推送效率。依赖消息队列机制进行数据交互及同步，包括注册消息，作业分派消息，作业推送数据；通过弱中心化的调度器集群，使得主节点宕机后不影响其他调度器的调度工作；作业数据采用去中心化分布式存储于各节点JVM内存中，以避免数据库访问性能瓶颈。库访问性能瓶颈。库访问性能瓶颈。

【技术实现步骤摘要】
一种基于分布式画面的数据订阅注册和注销系统及方法


[0001]本专利技术涉及数据云存储
，尤其涉及一种基于分布式画面的数据订阅注册和注销系统及方法。

技术介绍

[0002]基于现有可视化系统改进而来，现有可视化系统的主要缺陷是现有技术只支持大屏客户端，不支持多端，并且数据集没有过滤装置，使得可视化的效率和性能低下。

技术实现思路

[0003]本专利技术的目的在于提供一种基于分布式画面的数据订阅注册和注销系统及方法，从而解决现有技术中存在的前述问题。
[0004]为了实现上述目的，本专利技术采用的技术方案如下：
[0005]一种基于分布式画面的数据订阅注册和注销系统及方法，包括若干个数据可视化客户端和/或三维可视化客户端、任务调度集群、分布式消息队列和数据集成服务端，
[0006]所述数据可视化客户端和所述三维可视化客户端可发起画面订阅注册或注销信息后传给所述任务调度集群；
[0007]所述任务调度集群包括若干个调度器和执行器，定时向分布式消息队列发送信息，告知其状态；获取作业信息，并将其获取的作业信息发送给所述数据集成服务端；
[0008]所述数据集成服务端接收任务调度集群传输的作业信息，并将作业信息进行初始化处理和条件过滤后通过所述分布式消息队列传输给所述数据可视化服务端和/三维可视化客户端；
[0009]所述数据可视化客户端用于接收分布式消息队列传输来的作业信息，并设计和显示作业信息的画面订阅注册和注销功能；
[0010]所述三维可视化客户端用于接收分布式消息队列传输来的作业信息并显示画面注册订阅内容。
[0011]优选的，所述系统还包括内存缓存和数据库，所述内存缓存是一款key
‑
value的开源存储系统，大多用作缓存使用，可布署集群模式；所述数据库用于存储若干个可视化客户端的逻辑关系。
[0012]优选的，所述数据可视化客户端包括DVP微前端、DVP微服务层和存储层，所述DVP微前端通过逻辑层将画面设计器和显示器与所述DVP微服务层中的API接口进行对应连接，所述API接口层通过数据画面的对象处理过程后将数据进行存储至所述存储层中。
[0013]优选的，所述数据集成服务端包括数据查询映射模块、数据推送模块和数据初始化模块，数据查询映射模块分别与所述数据初始化模块和所述数据推送模块相连，所述数据查询映射模块包括条件过滤器，查询获取到的数据信息内容，采用所述条件过滤器将多余的数据信息条件进行过滤，然后传给所述数据推送模块以及所述数据初始化模块，所述数据初始化模块对查询到的数据进行初始化过程后存入缓存，所述数据推送模块可以将来
自所述数据查询映射模块和缓存中的数据推送至分布式消息队列。
[0014]本专利技术的另一个目的在于提供了一种基于分布式画面的数据订阅注册和注销的方法，包括以下步骤：
[0015]S1，基于若干个数据可视化客户端和/或三维可视化客户端上的订阅器转发中心将订阅器的作业信息通过订阅器数据推送中心发送到分布式消息队列中；
[0016]S2，所述分布式消息队列将接收到的作业信息分别自主分配给任务调度集群中的可调度执行器；
[0017]S3，所述可调度执行器接收到已分配的作业信息后，立即通过分布式消息队列告知其他调度执行器自身状态，同时要将该作业信息发送给所述数据集成服务端，并将画面数据推送给对应的画面。
[0018]优选的，所述作业信息包括注册信息和注销信息，注册信息和注销信息中包括数据画面信息、控件信息、模型信息，数据集合信息以及订阅频率信息；
[0019]步骤S1还包括条件过滤：根据作业信息中的数据画面信息、控件信息、模型信息，数据集合信息以及订阅频率信息，对作业信息进行去重过滤。
[0020]优选的，步骤S1和S2之间还包括：所有调度器、执行器，在加入任务调度集群时，需要第一时间发送其注册消息到指定队列，告知其他节点自己的存在；具体为：调度器注册成功后，会由主调度器分派调度任务，同步作业；执行器注册成功后，主调度器同步全量作业，所有调度器添加可调度的执行器信息。
[0021]优选的，由于调度器集群中，存在一主多从，主节点的选举方式为抢占式，需定期重置Redis的Leader锁标识，Leader锁标识在10秒内过期，其值为调度器节点的唯一Hash标识符，调度器谁先抢占该资源锁，谁就是主调度器。
[0022]优选的，当作业存在增删改查时，调度器会发送消息到指定消息队列，所有节点消费并同步增量作业，实现作业的一致性。
[0023]优选的，所述调度器决定消息发送给哪个消息队列，触发决定发消息的时机；所述所有节点指的是相互配合完成整个调度执行过程的执行器节点和调度器。
[0024]优选的，所述数据推送器对数据可视化客户端提供的查询条件进行编号，把重复的查询条件进行同一编号，同时根据画面实例id进行区分；然后根据查询条件查询到结果后，将所述查询结果推送到对应的画面实例id对应的数据可视化客户端画面上。
[0025]本专利技术的有益效果是：
[0026]本专利技术公开了一种基于分布式画面的数据订阅注册和注销系统及方法，针对多客户端的画面订阅，采用分布式注册和注销订阅方案，提升了可视化客户端画面的订阅性能和效率，以应对多客户端的高并发场景，然后针对相同的查询条件进行过滤，避免了数据重复推送，提升了作业信息的推送效率。
附图说明
[0027]图1是实施例1中提供的系统架构图；
[0028]图2是实施例1中提供的DVP组成架构图；
[0029]图3是数据订阅与发布架构设计示意图；
[0030]图4是条件过滤器原理示意图；
[0031]图5是实施例2提供的数据订阅装置进行画面订阅注册和注销方法原理图。
具体实施方式
[0032]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。
[0033]术语解释：
[0034]画面：需要数据的控件；
[0035]查询条件：画面上可以设置的一系列数据过滤参数；
[0036]转发中心：接收数据推送器的数据然后转发到需要的画面上；
[0037]推送器：根据查询器提供的查询条件去数据中心查询数据，并且把结果推送给转发中心；
[0038]查询器：主要缓存查询条件和调度计划，然后通过调度器触发推送器工作；
[0039]调度器(Scheduler)：负责控制作业分派及定时执行的系统；
[0040]执行器(executor)：负责执行作业的系统，包括多个作业处理器，对应于推送器；
[0041]增删改查(CRUD)：作业任务的添加删除查询修改四大基本功能；
[0042]IO：输入/输出(Input/Output)
[0043]JVM：Java Virtual Ma本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式画面的数据订阅注册和注销系统，其特征在于，包括若干个数据可视化客户端和/或三维可视化客户端、任务调度集群、分布式消息队列和数据集成服务端，所述数据可视化客户端和所述三维可视化客户端可发起画面订阅注册或注销信息后传给所述任务调度集群；所述任务调度集群包括若干个调度器和执行器，定时向所述分布式消息队列发送信息，告知其状态；获取作业信息，并将其获取的作业信息发送给所述数据集成服务端；所述数据集成服务端接收任务调度集群传输的作业信息，并将作业信息进行初始化处理和条件过滤后通过所述分布式消息队列传输给所述数据可视化服务端和/或三维可视化客户端；所述数据可视化客户端用于接收分布式消息队列传输来的作业信息，并设计和显示作业信息的画面订阅注册和注销功能；所述三维可视化客户端用于接收分布式消息队列传输来的作业信息并显示画面注册订阅内容。2.根据权利要求1所述的基于分布式画面的数据订阅注册和注销系统，其特征在于，所述系统还包括内存缓存和数据库，所述内存缓存是一款key
‑
value的开源存储系统，大多用作缓存使用，可布署集群模式；所述数据库用于存储若干个可视化客户端的逻辑关系。3.根据权利要求1所述的基于分布式画面的数据订阅注册和注销系统，其特征在于，所述数据可视化客户端包括微前端、DVP微服务层和存储层，所述DVP微前端通过逻辑层将画面设计器和显示器与所述DVP微服务层中的API接口进行对应连接，所述API接口层通过数据画面的对象处理过程后将数据进行存储至所述存储层中。4.根据权利要求1所述的基于分布式画面的数据订阅注册和注销系统，其特征在于，所述数据集成服务端包括数据查询映射模块、数据推送模块和数据初始化模块，数据查询映射模块分别与所述数据初始化模块和所述数据推送模块相连，所述数据查询映射模块包括条件过滤器，查询获取到的数据信息内容，采用所述条件过滤器将多余的数据信息条件进行过滤，然后传给所述数据推送模块以及所述数据初始化模块，所述数据初始化模块对查询到的数据进行初始化过程后存入缓存，所述数据推送模块可以将来自所述数据查询映射模块和缓存中的数据推送至分布式消息队列。5.一种基于分布式画面的数据订阅注册和注销方法，基于权利要求1
‑<...

【专利技术属性】
技术研发人员：钱苏晋，熊江舟，吴志勇，陈伟，
申请(专利权)人：北京恒泰实达科技股份有限公司，
类型：发明
国别省市：