本发明专利技术公开了一种基于RSA非对称加密的数据采集方法、系统、电子设备及计算机存储介质,该采集方法包括:获取原始数据源的数据,对原始数据源的数据进行分析找出原始数据源中存在的问题数据;建立数据清洗加工模型的策略和规则,将原始数据源中的问题数据导入数据清洗加工模型得出干净的目标数据;对目标数据进行格式转换,把目标数据的键值格式转换成设定的数据格式输出;目标数据进行RSA数据加密转发至云端服务器。本发明专利技术能够减少清洗加工的工作量,提高清洗加工的速度和效率;目标数据经过RSA加密转发至云端服务器,可降低边缘计算与云端服务器之间的带宽;同时,数据经过RSA加密后输出,保存数据传输过程不被泄露和篡改。保存数据传输过程不被泄露和篡改。保存数据传输过程不被泄露和篡改。
【技术实现步骤摘要】
基于RSA非对称加密的数据采集方法、系统
[0001]本专利技术涉及数据采集
,尤其涉及一种基于RSA非对称加密的数据采集方法、系统。
技术介绍
[0002]智能表计是智慧城市的典型应用,水、气、电表广泛应用于城市居民生活和工业生产中,智能表计不但具备基本的测量功能外,还可以对漏水,偷电,管道异常等进行监测上报,关联低功耗广域网等技术的逐步应用,智能表计行业将会不断增加应用领域。智能表计涉及设备的信息及控制指令,如果数据采集及指令下发过程一旦被攻击会更直接地影响到数据的准确性及自动化控制过程,安全威胁存在于数据采集和传输的过程,在现有的数据采集方案存在以下缺陷和不足:(1)工业数据涉及到大量重要工业数据和用户隐私信息,数据在传输过程容易被截取和被篡改,数据传输过程不安全;(2)生产设备上报的是原始数据,信息系统无法直接对原始数据进行利用;(3)工业数据采集实时性要求难以保证;有鉴于此,需要提出一种新的技术方案来解决上述技术问题。
技术实现思路
[0003]本专利技术的主要目的在于提供一种基于RSA非对称加密的数据采集方法、系统,旨在解决由于智能表计的工业数据采集不及时、数据传输不安全的技术问题。
[0004]为实现上述目的,本专利技术采用以下技术手段:第一方面,本专利技术提供一种基于RSA非对称加密的数据采集方法,其包括:S101,获取原始数据源的数据,对所述原始数据源的数据进行分析找出原始数据源中存在的问题数据;S201,建立数据清洗加工模型的策略和规则,将原始数据源中的问题数据导入数据清洗加工模型得出干净的目标数据;S301,对所述目标数据进行格式转换,把目标数据的键值格式转换成设定的数据格式输出;S401,目标数据进行RSA数据加密转发至云端服务器。
[0005]可选地,所述S201之前还包括:S601,在模拟的原始数据源中采集问题数据样本集;S602,定义数据清洗加工模型的策略和规则的算法,将问题数据样本集导入数据清洗加工模型的算法中进行训练,搜寻并确定错误实例;S603,根据拟合的算法以及算法允许的误差纠正发现的错误实例,得出清洗加工模型的数据格式仓库。
[0006]可选地,所述S602步骤中搜寻并确定错误实例包括自动检测属性错误和检测重复
记录的算法;所述自动检测属性错误算法包括基于统计的方法、聚类方法以及关联规则方法中的至少一种;所述检测重复记录算法对两个数据集或者一个合并后的数据集进行检测,从而确定同一个现实实体的重复记录;所述检测重复记录算法包括字段匹配算法、递归字段匹配算法中的至少一种。
[0007]可选地,所述S603步骤中纠正发现的错误实例包括:S604,通过智能表计数据的格式训练得到正则表达式的模型并存于数据库中;S605,接收从获取模块的传过来的原始数据,原始数据与数据库的模式进行比对;S606,若相似度超过90%直接用模型中的字符替换原始数据部分。
[0008]可选地,所述S301包括:S302,从原始数据源的属性字段中抽取值;所述原始数据源包括至少一个属性,各属性字段包含各自的数据信息;S303,确定并改正输入和拼写的错误;S304,记录错误实例各属性字段的匹配和合并,将各原始数据源的属性值转换成统一格式。
[0009]可选地,所述S201包括:S202,将原始数据源中的问题数据导入清洗加工模型的数据格式仓库,找出错误实例;S203,根据数据格式仓库的数据解析,纠正错误实例的错误数据得出干净的原始数据;S204,返回过滤的干净原始数据,得到目标数据。
[0010]可选地,所述S204包括:干净的原始数据代替原始数据源中的问题数据,得到目标数据。
[0011]可选地,所述S201中建立数据清洗加工模型的策略和规则包括:根据原始数据中存在的问题数据个数、数据源中的问题数据程度定义数据清洗策略和规则,并选择合适的数据清洗算法。
[0012]可选地,所述S401包括:采用Euclid扩展算法计算公钥和私钥,进行RSA数据加密成密钥对;边缘设备与服务器建立连接,把经过加密的目标数据通过Https协议发送至云端服务器。
[0013]第二方面,本专利技术还提供一种基于RSA非对称加密的数据采集系统,用于实现上述的采集方法,所述采集系统包括智能表计与所述智能表计互联互通的边缘设备,其中,所述边缘设备包括:获取模块,用于获取原始数据源的数据,对所述原始数据源的数据进行分析找出原始数据源中存在的问题数据;数据清洗加工模块,用于建立数据清洗加工模型的策略和规则,将原始数据源中的问题数据导入数据清洗加工模型得出干净的目标数据;格式转换模块,用于对所述目标数据进行格式转换,把目标数据的键值格式转换
成设定的数据格式输出;加密模块,用于目标数据进行RSA数据加密转发至云端服务器。
[0014]第三方面,本专利技术还提供一种电子设备,所述电子设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述采集方法的步骤。
[0015]第四方面,本专利技术还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述采集方法的步骤。
[0016]相比于现有技术,本专利技术带来以下技术效果:本专利技术技术方案中的基于RSA非对称加密的数据采集方法、系统,该采集方法通过步骤:在采集数据的边缘进行数据处理,保障数据的实时性;建立数据清洗加工模型的策略和规则,相比于传统的数据清洗,不用对原始数据逐条解析和纠正,减少清洗加工的工作量,提高清洗加工的速度和效率;目标数据的格式转换在边缘处理,服务器接收数据可直接存储,减轻服务器压力;目标数据经过清洗加工以及RSA加密转发至云端服务器,可降低边缘计算与云端服务器之间的带宽,节约成本;同时,数据经过RSA加密后输出,保存数据传输过程不被泄露和篡改。
[0017]该数据采集系统用于实现上述的数据采集方法,具备与该采集方法相似的技术效果。
附图说明
[0018]图1为本专利技术实施例方案涉及的数据采集方法示意图;图2为本专利技术实施例方案的数据采集系统示意图。
[0019]本专利技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
[0020]应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。
[0021]参照图1,本专利技术实施例提出一种基于RSA非对称加密的数据采集方法,包括:S101,获取原始数据源的数据,对原始数据源的数据进行分析找出原始数据源中存在的问题数据;自定义数据源中的“脏”数据为问题数据,与之相对的为干净数据。
[0022]本实施例中,在智能表计实时或周期性的获取原始数据源的数据。获取数据源的单元将问题数据实时发送至边缘设备的数据清洗加工模型;或者,周期性的采集数据源样本集,可以自定义数据源样本集存储的空间。
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于RSA非对称加密的数据采集方法,其特征在于,包括:S101,获取原始数据源的数据,对所述原始数据源的数据进行分析找出原始数据源中存在的问题数据;S201,建立数据清洗加工模型的策略和规则,将原始数据源中的问题数据导入数据清洗加工模型得出干净的目标数据;S301,对所述目标数据进行格式转换,把目标数据的键值格式转换成设定的数据格式输出;S401,目标数据进行RSA数据加密转发至云端服务器。2.根据权利要求1所述的采集方法,其特征在于,所述S201之前还包括:S601,在模拟的原始数据源中采集问题数据样本集;S602,定义数据清洗加工模型的策略和规则的算法,将问题数据样本集导入数据清洗加工模型的算法中进行训练,搜寻并确定错误实例;S603,根据拟合的算法以及算法允许的误差纠正发现的错误实例,得出清洗加工模型的数据格式仓库。3.根据权利要求2所述的采集方法,其特征在于,所述S602步骤中搜寻并确定错误实例包括自动检测属性错误算法和检测重复记录算法;所述自动检测属性错误算法包括基于统计的方法、聚类方法以及关联规则方法中的至少一种;所述检测重复记录算法对两个数据集或者一个合并后的数据集进行检测,从而确定同一个现实实体的重复记录;所述检测重复记录算法包括字段匹配算法、递归字段匹配算法中的至少一种。4.根据权利要求2所述的采集方法,其特征在于,所述S603步骤中纠正发现的错误实例包括:S604,通过智能表计数据的格式训练得到正则表达式的模型并存于数据库中;S605,接收从获取模块的传过来的原始数据,原始数据与数据库的模式进行比对;S606,若相似度超过90%直接用模型中的字符替换原始数据部分。5.根据权利要求1所述的采集方法,其特征在于,所述S301包括:S302,从原始数据源的属性字段中抽取值;所述原始数据源包括至少一个属性,各属性字段包含各自的数据信息;S303,确定并改正输入和拼写的错误;S304,记录错误实例各属性字段的匹配和合并,将各原始数据源的属性值转换成统一格式。6.根据权利要求1至5任一项所述的采集方法,...
【专利技术属性】
技术研发人员:杨小剑,陈文忠,欧志勇,
申请(专利权)人:广东长盈科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。