当前位置: 首页 > 专利查询>浙江大学专利>正文

基于自定义Groovy脚本配置文件的数据预处理方法技术

技术编号:20044985 阅读:35 留言:0更新日期:2019-01-09 04:11
本发明专利技术公开了一种基于自定义Groovy脚本配置文件的数据预处理方法,实现了个性化定制评判的标准来评判设备上传的数据是否异常,若出现异常信息并对异常信息进行记录,最后对异常信息历史记录进行分析来评判出这个设备是否还能继续使用。本发明专利技术能够及时并且自动化地发现异常状态的设备,根据异常状态的编码对设备上传的数据进行评估,考虑是否舍弃对应的数据包;另外,自动化有助于缩减运维成本,使得运维的工作效率更高。

【技术实现步骤摘要】
基于自定义Groovy脚本配置文件的数据预处理方法
本专利技术属于数据预处理
,具体涉及一种基于自定义Groovy脚本配置文件的数据预处理方法。
技术介绍
随着计算机、互联网和物联网等技术的发展,一些传统的行业正在用这些技术对自己的业务进行升级改造,如传统的电力、燃气以及水力行业,免费给用户安装仪表,每月固定时间安排抄表人员上门抄表,这种方式不但造成人力资源的浪费,而且非常低效。通过对仪表添加网络通信模块,能够上传自身的一些数据到一个管理后台,抄表结算以及查询报表功能都可以在管理平台实现,节省人力,提升效率。但带来便利的同时,还有一些问题需要考虑,比如如何评判设备上传的数据是可靠的、评判设备上传的数据是可靠的标准是什么、如何评判出设备是否还能继续使用等。目前的一些数据预处理方案主要是设定一个固定的统一标准在流程中,由固化的标准来分析上传的数据中的异常点信息,比如一些电网数据统计器等,数据预处理要经过数据采集,数据清洗,数据校验,数据修正,数据修补,数据滤波,数据更新步骤完成整个流程。其中,数据清洗包括数据异常过滤和阈值过滤,数据校验包括数据关键标志为的确认。另外,因为是固定的流程,所以数据异常的判断的灵活性比较低,比如,一开始固定的流程中只有温度异常值判断,假设现在要加入压力异常值判断,需要更改以前的流程,这样的方案效率就不如动态配置的效率高。但是,这些数据与处理方式一般是针对单一的传感器来源,所以对于数据预处理的标准要求比较单一,形式比较固定,缺少灵活性。而对于抄表系统来讲,系统里面的传感器涉及的种类多样,不同的传感器数据如果使用同一种数据与处理标准是难以满足要求的,往往需要对于不同的传感器有不同的数据与处理流程,因此需要一种能够灵活自定义配置的数据预处理方法。
技术实现思路
鉴于上述,本专利技术提供了一种基于自定义Groovy脚本配置文件的数据预处理方法,实现了个性化定制评判的标准来评判设备上传的数据是否异常,若出现异常信息并对异常信息进行记录,最后对异常信息历史记录进行分析来评判出这个设备是否还能继续使用。一种基于自定义Groovy脚本配置文件的数据预处理方法,包括如下步骤:(1)捕获设备发送的网络数据包;(2)对捕获到的网络数据包进行协议解码,分离出数据报文并将其映射为模型数据对象;(3)根据模型数据对象中每一待处理数据的类型,寻找与这些数据相匹配的自定义Groovy脚本配置文件;(4)执行自定义Groovy脚本配置文件以对模型数据对象中的待处理数据进行预处理,并对异常信息进行记录并生成报警信息;(5)调用设备可信度分析模块对设备异常信息的历史记录进行分析,以判断设备是否还能继续使用。进一步地,所述步骤(1)中的网络数据包来自于不同类型的设备,不同类型的设备使用不同的协议上传数据。进一步地,所述步骤(2)中对应不同类型的设备,则映射得到不同的模型数据对象,其用于保存设备上传的数据。进一步地,所述步骤(3)中的自定义Groovy脚本配置文件是用户基于具体业务进行个性化定制形成预处理的一套逻辑。进一步地,所述步骤(3)中不同类型的数据对应不同的自定义Groovy脚本配置文件,在找到相应的自定义Groovy脚本配置文件后,根据模型数据对象的类型对这些自定义Groovy脚本配置文件进行微调。进一步地,所述步骤(4)中对待处理数据进行预处理即通过执行自定义Groovy脚本配置文件中对应的逻辑实现对待处理数据的异常判断:当待处理数据中的某些数值超出自定义Groovy脚本配置文件中对应逻辑的取值范围,则通过描述为浅显易懂的警示语言,方便用户查看。进一步地,所述步骤(5)中的设备可信度分析模块通过设备异常信息的历史记录进行分析,统计异常次数占总上传次数的比例,若该比例大于设定的阈值,则判定该设备记录不可信,并发出无法继续使用的警告。本专利技术的有益技术效果在于:能够及时并且自动化地发现异常状态的设备,根据异常状态的编码对设备上传的数据进行评估,考虑是否舍弃对应的数据包;另外,自动化有助于缩减运维成本,使得运维的工作效率更高。附图说明图1为本专利技术方法的执行流程示意图。具体实施方式为了更为具体的描述本专利技术,下面结合附图以及具体实施方式对本专利技术的技术方案进行详细说明。本专利技术提供一种基于自定义Groovy脚本配置文件的数据预处理方法,通过该方法能够实现个性化定制数据异常评判的标准,以及通过对设备异常信息历史记录进行分析来评判这个设备能否继续使用的问题。为了达到上述目的,本专利技术方法采用的技术方案如图1所示:(1)捕获设备发送的网络数据包,获取待处理数据,不同的设备使用不同的协议上传数据。(2)对捕获的网络数据包进行协议解码,分离出数据报文,将其映射为模型数据对象(即模板),不同类型的设备对应不同的数据对象,用于保存上传的数据。(3)根据上一步得到的模型数据对象,对里面的数据按类型寻找匹配的自定义Groovy脚本配置文件;其中,数据类型是由系统内部来定义数据代表的含义,比如温度、压力等等,自定义Groovy脚本配置文件是用户基于具体的业务进行个性化定制形成预处理的一套逻辑。不同的数据类型对应不同的脚本(用于判别数据是否正常的判别程序),找出模板中每一数据类型对应的脚本后,需根据模板类型对脚本进行微调。(4)执行数据预处理逻辑,实现对待处理数据的预处理,并对异常信息进行记录并生成报警信;执行数据预处理逻辑就是执行自定义脚本配置文件对应的逻辑,实现对所述待处理数据的异常判断;异常信息指的是设备上传数据中的某些类型超出自定义脚本配置文件中的取值范围,通过描述为浅显易懂的警示语言,方便用户查看。(5)调用设备可信度分析单元,利用设备对应的异常信息的历史记录来分析设备是否还可以继续使用;设备可信度分析单元对设备对应的异常信息的历史记录进行分析,统计异常次数占总上传次数比,如果比例大于设定的阈值,对这个设备记录不可信,发出不能继续使用的警告。本实施方式采用的是Groovy脚本引擎,所以需要用户懂一些Groovy的基本语法if-else以及对业务的逻辑理解。在以下实例中,假设设备采取HTTP协议,并且和服务器程序之间已经建立连接;用户自定义Groovy脚本配置文件,这里我们给出配置文件的样例,并对其进行说明。以上代码是我们提供的一个脚本样例,具体的业务需求是设备的温度数据不能比前一条温度数据高300℃,如果比前一条数据高出300℃,我们就判断当前温度数据是异常的;如果不比前一条数据高出300℃,我们就判断出当前温度数据是正常的。为了和前一条温度数据相比较,我们要把前一条温度数据以<key-value>的形式传递给Groovy脚本。设备上传数据到服务端程序,服务端程序捕获网络数据包,选择HTTP协议程序对其进行解析,生成系统内部定义的模型数据对象,这些数据中有温度,压力以及其他标识设备身份的信息,根据数据类型选择对应的异常判断脚本文件。对温度调用温度异常判断,根据脚本的执行信息,如果脚本返回true,表明数据是正常的,直接将数据存入对应的数据库表中即可;如果脚本返回false,表明数据是异常的,生成异常描述信息存入对应的数据库表。对压力调用压力异常判断,根据脚本的执行信息,如果脚本返回true,表明数据是本文档来自技高网
...

【技术保护点】
1.一种基于自定义Groovy脚本配置文件的数据预处理方法,包括如下步骤:(1)捕获设备发送的网络数据包;(2)对捕获到的网络数据包进行协议解码,分离出数据报文并将其映射为模型数据对象;(3)根据模型数据对象中每一待处理数据的类型,寻找与这些数据相匹配的自定义Groovy脚本配置文件;(4)执行自定义Groovy脚本配置文件以对模型数据对象中的待处理数据进行预处理,并对异常信息进行记录并生成报警信息;(5)调用设备可信度分析模块对设备异常信息的历史记录进行分析,以判断设备是否还能继续使用。

【技术特征摘要】
1.一种基于自定义Groovy脚本配置文件的数据预处理方法,包括如下步骤:(1)捕获设备发送的网络数据包;(2)对捕获到的网络数据包进行协议解码,分离出数据报文并将其映射为模型数据对象;(3)根据模型数据对象中每一待处理数据的类型,寻找与这些数据相匹配的自定义Groovy脚本配置文件;(4)执行自定义Groovy脚本配置文件以对模型数据对象中的待处理数据进行预处理,并对异常信息进行记录并生成报警信息;(5)调用设备可信度分析模块对设备异常信息的历史记录进行分析,以判断设备是否还能继续使用。2.根据权利要求1所述的数据预处理方法,其特征在于:所述步骤(1)中的网络数据包来自于不同类型的设备,不同类型的设备使用不同的协议上传数据。3.根据权利要求1所述的数据预处理方法,其特征在于:所述步骤(2)中对应不同类型的设备,则映射得到不同的模型数据对象,其用于保存设备上传的数据。4.根据权利要求1所述的数据预处理方法,其特征在于:所述步骤(3)中的...

【专利技术属性】
技术研发人员:杨国青姜旭锋苏君君周游吕攀吴朝晖
申请(专利权)人:浙江大学
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1