数据发布、订阅方法、装置、设备、系统及可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据发布、订阅方法、装置、设备、系统及可读存储介质。其中，数据发布方法应用于发布设备中配置的发布代理器，包括：获取所述发布设备生成的待发布的数据；将所述数据存储至存储器中；将所述数据在所述存储器中的存储信息发送至协调服务设备，以供订阅设备中配置的订阅代理器从所述协调服务设备中获取存储信息，并根据所述存储信息，从所述存储器中订阅对应的数据。本发明专利技术实施例减少机器资源的消耗，并降低数据传输延迟。

【技术实现步骤摘要】
数据发布、订阅方法、装置、设备、系统及可读存储介质
本专利技术实施例涉及数据传输技术，尤其涉及一种数据发布、订阅方法、装置、设备、系统及可读存储介质。
技术介绍
目前，越来越多的作业机生成了大量的数据，这些数据的价值越来越受到重视。目前在大数据领域对这些数据主要会进行两个方面的计算：实时流式计算、离线批量计算。无论哪种计算，都需要把数据从作业机传输到下游的计算机进行进一步的处理。在现有的流式传输系统中，数据都是由作业机发布到消息中间件，例如开源的Kafka、Bigpipe等，下游的计算机再从消息中间件中对数据进行订阅。但是，消息中间件的配置需要消耗大量的机器资源；而且，消息中间件会造成数据传输延迟。
技术实现思路
本专利技术实施例提供一种数据发布、订阅方法、装置、设备、系统及可读存储介质，以减少机器资源的消耗，并降低数据传输延迟。第一方面，本专利技术实施例提供了一种数据发布方法，应用于发布设备中配置的发布代理器，包括：获取所述发布设备生成的待发布的数据；将所述数据存储至存储器中；...

【技术保护点】
1.一种数据发布方法，其特征在于，应用于发布设备中配置的发布代理器，/n所述方法包括：/n获取所述发布设备生成的待发布的数据；/n将所述数据存储至存储器中；/n将所述数据在所述存储器中的存储信息发送至协调服务设备，以供订阅设备中配置的订阅代理器从所述协调服务设备中获取存储信息，并根据所述存储信息，从所述存储器中订阅对应的数据。/n

【技术特征摘要】
1.一种数据发布方法，其特征在于，应用于发布设备中配置的发布代理器，
所述方法包括：
获取所述发布设备生成的待发布的数据；
将所述数据存储至存储器中；
将所述数据在所述存储器中的存储信息发送至协调服务设备，以供订阅设备中配置的订阅代理器从所述协调服务设备中获取存储信息，并根据所述存储信息，从所述存储器中订阅对应的数据。


2.根据权利要求1所述的方法，其特征在于，所述获取所述发布设备生成的待发布的数据，包括：
接收管理设备发送的发布任务，并根据所述发布任务获取发布设备生成的待发布的数据；
在所述将所述数据在所述存储器中的存储信息发送至协调服务设备之后，还包括：
向所述管理设备上报数据发布进度。


3.一种数据订阅方法，其特征在于，应用于订阅设备中配置的订阅代理器，所述方法包括：
从协调服务设备中获取待订阅的数据在存储器中的存储信息；
根据所述存储信息，从存储器中订阅对应的数据；
其中，所述待订阅的数据由发布设备中配置的发布代理器获取并存储至所述存储器中；所述存储信息由所述发布代理器发送至所述协调服务设备中。


4.根据权利要求3所述的方法，其特征在于，所述从协调服务设备中获取待订阅的数据在存储器中的存储信息，包括：
接收管理设备发送的订阅任务，并根据所述订阅任务确定待订阅的数据信息和订阅方式，所述订阅方式包括实时订阅方式或者离线批量订阅方式；
根据所述待订阅的数据信息，从协调服务设备中获取待订阅的数据在存储器中的存储信息；
所述根据所述存储信息，从存储器中订阅对应的数据，包括：根据所述存储信息，从存储器中按照所述订阅方式订阅对应的数据；
在所述根据所述存储信息，从存储器中订阅对应的数据之后，还包括：向所述管理设备上报数据订阅进度。


5.一种数据发布装置，其特征在于，应用于发布设备中配置的发布代理器，包括：
获取模块，用于获取所述发布设备生成的待发布的数据；
存储模块，用于将所述数据存储至存储器中；
发送模块，用于将所述数据在所述存储器中的存储信息发送至协调服务设备，以供订阅设备中配置的订阅代理器从所述协调服务设备中获取存储信息，并根据所述存储信息，从所述存储器中订阅对应的数据。


6.一种数据订阅装...

【专利技术属性】
技术研发人员：柳洋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11