边缘采集基于远程过程调用框架的数据传输系统及方法技术方案

一种边缘采集基于远程过程调用框架的数据传输系统及方法，首先，采集服务模块采集测点数据并发送到客户端；然后，采集服务模块利用远程过程调用框架将测点数据发送到实时服务模块；接着，实时服务模块读取和解析处理并利用远程过程调用框架将测点数据发送到历史服务模块；最后历史服务模块对测点数据进行数据清洗处理并保存在实时数据库系统。本发明专利技术利用远程过程调用框架和序列化实现测点数据多通道传输，同时配置压缩与加密算法，增强了海量数据在服务间级联传输的稳定性和安全性。量数据在服务间级联传输的稳定性和安全性。量数据在服务间级联传输的稳定性和安全性。

【技术实现步骤摘要】
边缘采集基于远程过程调用框架的数据传输系统及方法


[0001]本专利技术属于电网数据领域，具体涉及边缘采集基于远程过程调用框架的数据传输系统及方法。

技术介绍

[0002]数据作为各个行业业务发展的核心资产，已成为企业进行科学决策、市场预判、调度协同、智能生产、价值创造的源动力，随之而来的首先就是边缘侧海量数据的有效整合和管控手段问题。近年来随着业务应用场景的增加、准确、高效的数据成为信息化项目建设的掣肘，对边缘侧的数据采集也提出了更高的要求。特别是在多种数据库和数据采集协议被同时应用时，对数据采集之数据稳定传输技术是目前面临的重要问题，数据的高效、稳定、安全传输问题成为数据采集系统的关键技术，本研究集中以边缘采集各关键模块服务之间数据传输为应用场景为目标进行的。
[0003]针对数据传输技术的研究也有很多，但大部分数据传输研究大多聚焦于传统Socket及相应的第三方序列化技术展开，在传输稳定性、高性能、集成压缩与加密技术存在一定的不足，例如，现有技术缺乏对连续性海量数据测点的传输支持，
[0004]现有技术在数据传输过程缺乏对数据量流的压缩与加密环节，不能有效提升数据网络利用效率及数据传输安全性。

技术实现思路

[0005]为解决现有技术中存在的不足，本专利技术提供一种边缘采集基于远程过程调用框架的数据传输系统及方法。
[0006]本专利技术采用如下的技术方案：
[0007]本专利技术一方面提供了一种边缘采集基于远程过程调用框架的数据传输系统，包括预设调用框架模块，用于根据客户端与服务端的接口协议，预设远程过程调用框架，其中，远程过程调用框架包括各类接口文件，客户端与服务端之间的数据传输通过远程过程调用框架实现，
[0008]采集服务模块，对测点数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送；
[0009]实时服务模块，调用服务端接受第一序列化数据并反序列化处理，得到还原数据，以及对还原数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送；
[0010]历史服务模块，调用服务端接受第二序列化数据并反序列化处理，得到测点数据并进行数据清洗。
[0011]优先地，还包括本地数据对象队列，供远程过程调用框架服务端使用，用于实时服务及历史服务将接收数据对象进行缓存的队列数据结构；
[0012]优先地，还包括实时数据库系统，与历史服务模块通讯连接，用于存储测点数据的数据库系统。
[0013]优先地，客户端与服务端之间的数据传输设置有多个数据传输通道。
[0014]另一方面提供了一种边缘采集基于远程过程调用框架的数据传输方法，包括以下步骤：
[0015]根据客户端与服务端的接口协议，预设远程过程调用框架，
[0016]其中，所述远程过程调用框架包括各类接口文件，每个接口文件内分别配置有远程过程调用对象，
[0017]采集服务模块调用客户端对测点数据进行序列化处理，并进行压缩与加密，得到第一序列化数据，同时设置客户端参数以及数据传输通道的连接线程数量，调用客户端利用远程过程调用框架向服务端发送；
[0018]服务端接受第一序列化数据并对其进行反序列化处理、解压缩处理和解密处理，得到还原数据，同时服务端将还原数据插入本地数据对象队列，得到数据传送队列，发送到实时服务模块；
[0019]实时服务模块接受数据传送队列并对数据传送队列进行读取和解析处理，得到测点数据，同时对测点数据进行缓存；
[0020]实时服务模块调用客户端对测点数据进行第二次序列化处理，并进行压缩与加密，得到第二序列化数据，设置客户端参数以及数据传输通道的连接线程数量，实时服务模块调用客户端利用远程过程调用框架向服务端发送；
[0021]服务端接受第二序列化数据并对其进行第二次反序列化处理、解压缩处理和解密处理，得到测点数据并传送给历史服务模块；
[0022]历史服务模块对测点数据进行数据清洗处理，得到清洗后的数据并保存在实时数据库系统。
[0023]优选地，序列化是对测点数据进行序列化接口定义与注册，指定服务端IP及端口，再将测点数据分域划分，组装为各域数组，并将各域数组进行逻辑与拼接成数据对象进行发送。
[0024]优先地，第二次序列化处理是利用第一次序列化进行注册的序列化接口再次对测点数据进行序列化并发送。
[0025]优先地，压缩可选用snappy或zip压缩方式进行压缩，
[0026]其中，zip压缩方式可利用远程过程调用框架内置的压缩技术进行配置完成；
[0027]加密可选用DES或MD5加密方式进行加密。
[0028]优先地，snappy压缩方式是测点数据在远程过程调用框架传送之前，可以采用自定义压缩方法对数据对象的各数据域数组进行snappy压缩，将压缩后的字节流数组进行逻辑与序列化并发送。
[0029]优先地，数据清洗处理包括存储策略分流、测点质量戳判断和坏数据过滤。
[0030]优先地，客户端参数包括远程调用超时阈值，一次可处理最大数据包阈值和数据包压缩参数。
[0031]优先地，设置数据传输通道的连接数量后，第一序列化数据可以随机选择其中任一数据传输通道传送到服务端。
[0032]优先地，当客户端与服务端建立数据传输通道后，可进行不大于5次连接尝试，若连接尝试成功后，连接状态设置为“已连接”，之后的连接状态通过远程过程调用框架进行
判断。
[0033]优先地，服务端包括线程池，用于接收和处理客户端多个数据传输通道的数据传输。
[0034]优先地，步骤3中服务端完成数据传输后，可对数据传输通道进行初始化，包括设置线程池参数，设置单次最大处理数据包大小和绑定客户端注册的序列化接口。
[0035]本专利技术的有益效果在于，与现有技术相比，本专利技术可根据边缘采集基于远程过程调用框架的数据传输方法在边缘采集系统采集数据入库过程中，解决了以往基于Socket的海量数据传输不稳定，数据通道自检困难，难于嵌入压缩与加密算法的问题。
[0036]本专利技术为海量电力数据稳定可靠传输提供了新思路，通过引入远程过程调用框架机制，增强了海量数据在服务间级联传输的稳定性，实现了压缩与加密算法的可配置，数据通道通信模式可选性，解决了电力数据测点数量大，稳定性与安全性要求高等特点。
[0037]本专利技术具有良好的可扩展性，当部署拓扑图增加不同服务模块如报警，计算时，仅需将该远程过程调用框架API模块在不同服务模块进行简单注册后即可启用。
[0038]本专利技术大大减少了不同服务间使用传统Socket的通信开销及延时，可以满足大批量数据的实时传输与处理，从而显著增强采集系统的可获得性及传输性能。
附图说明
[0039]图1是边缘采集基于远程过程调用框架的数据传输系统结构示意图；
[0040]图2是边缘采集基于远程过程调用框架的数据传输方法流程示意图；
[0041]图3是远程过程调用框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘采集基于远程过程调用框架的数据传输系统，其特征在于：包括预设调用框架模块，用于根据客户端与服务端的接口协议，预设远程过程调用框架，其中，远程过程调用框架包括各类接口文件，客户端与服务端之间的数据传输通过远程过程调用框架实现，采集服务模块，用于对测点数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送；实时服务模块，用于调用服务端接受第一序列化数据并反序列化处理，得到还原数据，以及对还原数据进行序列化处理并调用客户端利用远程过程调用框架向服务端发送；历史服务模块，用于调用服务端接受第二序列化数据并反序列化处理，得到测点数据并进行数据清洗。2.根据权利要求1所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：还包括本地数据对象队列，供远程过程调用框架服务端使用，用于实时服务及历史服务将接收数据对象进行缓存的队列数据结构。3.根据权利要求2所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：还包括实时数据库系统，与历史服务模块通讯连接，用于存储测点数据的数据库系统。4.根据权利要求3所述的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：客户端与服务端之间的数据传输设置有多个数据传输通道。5.一种使用权利要求4所述边缘采集基于远程过程调用框架的数据传输系统的边缘采集基于远程过程调用框架的数据传输方法，其特征在于：包括以下步骤：根据客户端与服务端的接口协议，预设远程过程调用框架，其中，所述远程过程调用框架包括各类接口文件，每个接口文件内分别配置有远程过程调用对象，采集服务模块调用客户端对测点数据进行序列化处理，并进行压缩与加密，得到第一序列化数据，同时设置客户端参数以及数据传输通道的连接线程数量，调用客户端利用远程过程调用框架向服务端发送；服务端接受第一序列化数据并对其进行反序列化处理、解压缩处理和解密处理，得到还原数据，同时服务端将还原数据插入本地数据对象队列，得到数据传送队列，发送到实时服务模块；实时服务模块接受数据传送队列并对数据传送队列进行读取和解析处理，得到测点数据，同时对测点数据进行缓存；实时服务模块调用客户端对测点数据进行第二次序列化处理，并进行压缩与加密，得到第二序列化数据，设置客户端参数以及数据传输通道的连接线程数量，实时服务模块调用客户端利用远程过程调用框架向服务端发送；服务端接受第二序列化数据并对其进行第二次反序列化处理、解压缩处理和解密处理，得到测点数据并传送给历史服务模块；

【专利技术属性】
技术研发人员：王小光，吉云，吴菲，吴长东，
申请(专利权)人：国能信控互联技术有限公司，
类型：发明
国别省市：