WEB端控制的消息中间件系统及其数据传送方法技术方案

本发明专利技术公开一种WEB端控制的消息中间件系统及其数据传送方法，数据传送方法包括如下步骤：S1、初始化WEB端控制的消息中间件系统；S2、根据发送客户端的设置，利用WEB端控制的消息中间件系统采用推送或拉取的方式从发送客户端接收数据并将该数据转换为JSON格式的消息；S3、根据接收客户端的设置，利用WEB端控制的消息中间件系统将对应的接收客户端所需消息转换为对应的接收客户端指定的格式并采用推送或拉取的方式向对应的接收客户端发送数据。本发明专利技术所述技术方案可实现企业内或企业间各个异构系统、不同的数据存储格式之间进行数据相互交换。

【技术实现步骤摘要】

本专利技术涉及数据交换领域。更具体地，涉及一种WEB端控制的消息中间件系统及其数据传送方法。
技术介绍
随着企业信息化不断完善，解决系统与系统之间的数据共享与数据及时性、避免信息孤岛越来越为企业所重视。现有的中间件技术大部分以java语言作为编程平台，基于消息队列或消息传送的方式，主要功能是在应用程序之间提供可靠的消息传送，这些消息可以在不同的网络协议、不同的计算机系统和不同的应用软件之间传递。具体设计如下：1)发送端开发：按照不同数据来源编写不同的客户端程序，通过把不同数据转换成为统一的传输内容，通过消息队列或者消息发送给服务端。但是因为客户端往往涉及大量的逻辑处理，修改数据来源内容对应就要修改客户端内容。2)服务端开发：服务端接收到数据以后，对应寻找订阅者也就是接收端，如果接收端状态是可以连接，将数据推送给订阅的接收端，否则将数据缓存在服务端。3)接收端开发：接收端程序接收到服务端推送来的消息数据，按照指定规则进行解析，按照不同的业务逻辑进行处理。同样如果发送端数据内容或者协议修改了，接收端数据处理的环节对应需要修改。但现有的中间件技术存在如下问题：1)需要客户端程序部署，运行维护复杂。2)功能扩展能力不足，不能实现功能插拔。3)大多没有断点续传功能，信息的完整性无法保障因此，需要提供一种WEB端控制的消息中间件系统及其数据传送方法。
技术实现思路
本专利技术的目的在于提供一种WEB端控制的消息中间件系统及其数据传送方法，在通过消息中间件进行数据交换的过程中实现数据断点续传；不需要部署客户端程序，在WEB端进行发布订阅从而方便维护与管理；采用可插拔的功能单元，在最大程度上实现中间件的扩展性与可伸缩性；采用推拉结合的数据传送方式以确保数据的及时有效性；最终实现企业内或企业间各个异构系统、不同的数据存储格式之间进行数据相互交换，从而实现实时同步。为达到上述目的，本专利技术采用下述技术方案：一种WEB端控制的消息中间件系统，该系统通过发布/订阅架构方式，在WEB端实现发布/订阅控制，实现数据发布端和数据订阅端在空间、时间、数据处理过程三个维度实现解耦，该系统包括：至少一个与发送客户端一一对应的发布模块，根据对应的发送客户端的设置，采用推送或拉取的方式从对应的发送客户端接收数据并将该数据转换为JSON格式的消息；至少一个与接收客户端一一对应的订阅模块，根据对应的接收客户端的设置，将对应的接收客户端所需消息转换为对应的接收客户端指定的格式并采用推送或拉取的方式向对应的接收客户端发送数据；消息队列模块，生成数据传送两端的一组发送客户端与接收客户端的消息队列，消息队列模块缺省集成ActiveMQ一个第三方消息队列工具，在整体设计上为保证系统的可伸缩性，也可以搭载其它消息队列产品，实现消息队列工具解耦；线程池管理器，对发布模块、订阅模块、消息队列模块产生的多个线程进行池化管理，对由这些线程实现调度和回收，提高系统性能；消息中间件容器，调度与管理各发布模块和订阅模块；客户端程序开发模块，实现发布模块和订阅模块以推送的方式进行数据传送，并将订阅模块未发送成功的数据转换为消息保存到内存的消息队列中。优选地，发布模块包括：初始化器，在发布模块初始构建时提供发布模块的全局配置信息作为其它功能单元的全局变量，实现系统启动时，配置参数一次性初始化，实现全局参数唯一性；任务调度器，触发执行采用推送或拉取的方式从对应的发送客户端接收数据任务的调度指令，实现触发执行采用推送或拉取的方式从对应的发送客户端接收数据任务的调度指令，用户亦可通过修改配置文件，实现任务调度器功能单元的切换；数据访问器，按照调度指令采用推送或拉取的方式从发布模块对应的发送客户端接收数据并将该数据转换为JSON格式的消息；注销器，在发布模块停止工作或关闭服务时释发相应外部资源，实现对应模块停止工作或停止服务时，一次性释放相应的外部资源。优选地，数据访问器为以下数据访问器的一种或任意组合：本地文件数据访问器、远程文件数据访问器、FTP数据访问器、webservice数据访问器、数据库最后更新时间数据访问器、快照表数据库访问器。优选地，订阅模块包括：初始化器，在订阅模块初始构建时提供订阅模块的全局配置信息作为其它功能单元的全局变量，实现系统启动时，配置参数一次性初始化，实现全局参数唯一性；数据分发器，将订阅模块对应的接收客户端所需消息转换为对应的接收客户端指定的格式并采用推送或拉取的方式向对应的接收客户端发送数据；注销器，在订阅模块停止工作或关闭服务时释发相应外部资源，实现对应模块停止工作或停止服务时，一次性释放相应的外部资源。优选地，数据分发器为以下分发器的一种或任意组合：控制台分发器、数据库表分发器、web服务分发器、webservice分发器。优选地，该系统还包括：集群管理器，将各发布模块和订阅模块作为独立节点从而实现集群管理，将订阅模块和发布模块实现单独部署，在集群中的每个节点都是一个单独的服务器，运行自己的服务，节点之间可以相互通信。一种上述WEB端控制的消息中间件系统的数据传送方法，该方法包括如下步骤：S1、初始化WEB端控制的消息中间件系统；S2、根据发送客户端的设置，利用WEB端控制的消息中间件系统采用推送或拉取的方式从发送客户端接收数据并将该数据转换为JSON格式的消息；S3、根据接收客户端的设置，利用WEB端控制的消息中间件系统将对应的接收客户端所需消息转换为对应的接收客户端指定的格式并采用推送或拉取的方式向对应的接收客户端发送数据。优选地，步骤S2进一步包括如下子步骤：S2.1、利用发布模块中的任务调度器通过线程池管理器已经开启相应线程，发布任务调度指命；S2.2、利用数据访问器访问相应的发送客户端，并采用推送或拉取的方式从相应的发送客户端接收数据；S2.3、利用数据访问器将该数据统一转换为消息队列中的JSON格式的消息，并将此消息发送至消息队列。优选地，步骤S3进一步包括如下子步骤：S3.1、利用订阅模块通过线程池管理器以阻塞的方式，从消息队列中获取其对应的接收客户端需要的消息；S3.2、利用订阅模块调用其相应的数据分发器，由数据分发器将订阅模块对应的接收客户端所需消息转换为对应的接收客户端指定的格式并采用推送或拉取的方式向对应的本文档来自技高网...

【技术保护点】
一种WEB端控制的消息中间件系统，其特征在于，该系统包括：至少一个与发送客户端一一对应的发布模块，根据对应的发送客户端的设置，采用推送或拉取的方式从对应的发送客户端接收数据并将该数据转换为JSON格式的消息；至少一个与接收客户端一一对应的订阅模块，根据对应的接收客户端的设置，将对应的接收客户端所需消息转换为对应的接收客户端指定的格式并采用推送或拉取的方式向对应的接收客户端发送数据；消息队列模块，生成数据传送两端的一组发送客户端与接收客户端的消息队列；线程池管理器，对发布模块、订阅模块、消息队列模块产生的多个线程进行池化管理；消息中间件容器，调度与管理各发布模块和订阅模块；客户端程序开发模块，实现发布模块和订阅模块以推送的方式进行数据传送，并将订阅模块未发送成功的数据转换为消息保存到内存的消息队列中。

【技术特征摘要】
1.一种WEB端控制的消息中间件系统，其特征在于，该系统包括：
至少一个与发送客户端一一对应的发布模块，根据对应的发送客户端的
设置，采用推送或拉取的方式从对应的发送客户端接收数据并将该数据转换
为JSON格式的消息；
至少一个与接收客户端一一对应的订阅模块，根据对应的接收客户端的
设置，将对应的接收客户端所需消息转换为对应的接收客户端指定的格式并
采用推送或拉取的方式向对应的接收客户端发送数据；
消息队列模块，生成数据传送两端的一组发送客户端与接收客户端的消
息队列；
线程池管理器，对发布模块、订阅模块、消息队列模块产生的多个线程
进行池化管理；
消息中间件容器，调度与管理各发布模块和订阅模块；
客户端程序开发模块，实现发布模块和订阅模块以推送的方式进行数据
传送，并将订阅模块未发送成功的数据转换为消息保存到内存的消息队列中。
2.根据权利要求1所述WEB端控制的消息中间件系统，其特征在于，
所述发布模块包括：
初始化器，在发布模块初始构建时提供发布模块的全局配置信息作为其
它功能单元的全局变量；
任务调度器，触发执行采用推送或拉取的方式从对应的发送客户端接收
数据任务的调度指令；
数据访问器，按照调度指令采用推送或拉取的方式从发布模块对应的发
送客户端接收数据并将该数据转换为JSON格式的消息；
注销器，在发布模块停止工作或关闭服务时释发相应外部资源。
3.根据权利要求2所述WEB端控制的消息中间件系统，其特征在于，
所述数据访问器为以下数据访问器的一种或任意组合：本地文件数据访问器、
远程文件数据访问器、FTP数据访问器、webservice数据访问器、数据库最后
更新时间数据访问器、快照表数据库访问器。
4.根据权利要求1所述WEB端控制的消息中间件系统，其特征在于，
所述订阅模块包括：
初始化器，在订阅模块初始构建时提供订阅模块的全局配置信息作为其
它功能单元的全局变量；
数据分发器，将订阅模块对应的接收客户端所需消息转换为对应的接收
客户端指定的格式并采用推送或拉取的方式向对应的接收客户端发送数据；
注销器，在订阅模块停止工作或关闭服务时释发相应外部资源。
5.根据权利要求1所述WEB端控制的消息中间件系统，其特征在于，
所述数据分发器为以下分发器的一种或任意组合：控制台分发器、数据库表
分发器、web服务分发器、webservice分发器。
...

【专利技术属性】
技术研发人员：张昊，邓珑，杨会龙，王亚智，潘志国，
申请(专利权)人：中煤电气有限公司，
类型：发明
国别省市：北京;11