规则引擎构建方法、电子设备及存储介质技术

本发明专利技术公开了一种规则引擎构建方法、电子设备及存储介质，该方法包括获取水文资料，对水文资料进行整理，将整理后的水文资料添加至规则引擎表单中，并在规则引擎表单中形成规则条件；根据监测数据表与规则引擎表单中的要素名称，将监测数据表与规则引擎表单中的规则条件进行关联；根据监测数据表与规则引擎表单中规则条件之间的关联关系得到关联的规则条件、要素名称和监测数据表，并生成规则引擎脚本；设定监测数据表的检测任务和检测参数；根据检测参数从监测数据表中抽取数据，并利用规则引擎脚本对抽取出的数据进行检测和处理；在检测和处理结束后生成数据检测处理报告。本发明专利技术保障正确数据不被误删。障正确数据不被误删。障正确数据不被误删。

【技术实现步骤摘要】
规则引擎构建方法、电子设备及存储介质


[0001]本专利技术属于水文监测数据处理技术，尤其涉及一种发现水文监测数据奇异值的规则引擎构建方法、电子设备及存储介质。

技术介绍

[0002]水文监测数据主要来源于水文部门对江、河、湖泊、水库、渠道和地下水等的实时监测，具体监测数据包括实时降雨量、水位、水温、流量、蒸发等。
[0003]受设备受损、通信异常及外部环境干扰等影响，监测数据普遍存在着数据不完整、奇异数据多等异常情况，具体表现为：监测数据缺失、监测数据不在检出范围、监测数据大幅突变。
[0004]异常清楚的现有处理方式主要为：
[0005]方式一、定期删除奇异值：
[0006](a)管理员按月或年等定期对数据进行筛查，并根据当地实际水文情况删除奇异值；
[0007](b)管理员在进行资料整编时对数据进行筛查，并根据水文趋势删除奇异值；
[0008]方式二、利用软件工具筛查奇异值：
[0009](a)通过传统的ETL工具配置奇异值删除规则，包括最大值、最小值；
[0010](b)通过业务系统筛选条件查询出奇异值，并删除。
[0011]现有处理方式存在以下问题：
[0012](a)按年或月等方式删除奇异值实时性不高；
[0013](b)没有及时处理异常数据，导致业务系统已把异常数据加入到计算队列，造成错误决策；
[0014](c)需要对水文专业非常熟悉，否则操作不当容易误删正确数据；
[0015](d)使用传统的ETL工具没有充分考虑季节性、地理环境、设备损耗、网络延迟等干扰因素，导致数据处理效果不佳，容易删除正确数据。
[0016]规则引擎技术由推理引擎发展而来，是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。规则引擎技术具有多输入支持、广泛的动态表达式、极快等优势，用户以JSON、XML形式自定义一系列的规则条件，如：数值匹配、数值对比、数据筛选等规则，通过解析和执行规则条件，为大量而又快速变化的数据提供统一的验证逻辑。
[0017]由于水文资料必须要保证可靠性、一致性和代表性，因此在使用常规规则引擎技术处理监测数据时遇到重重困难，最终无法满足水文分析与计算，主要体现在以下方面：
[0018](a)常规规则引擎中的规则条件缺少水文各级测站的资料，如水库资料、河道资料、水位资料、流量资料等，无基础资料支撑所设定的规则条件反而容易把正确数据剔除掉，存在误删现象，无法满足水文资料中的可靠性要求；
[0019](b)受到季节性、地理环境等因素影响，存在曲线波动，为了确保数据一致性，需要
动态的将当前时段与上一时段的数据进行对比计算，包括变幅量计算、变幅率计算，但常规规则引擎只能与固定的数值进行对比计算，无法满足此类计算需求，无法保证数据一致性；
[0020](c)水文监测数据是连续时序数据，但由于设备损耗、网络延迟等因素造成监测数据缺少测量、延迟等问题，使用常规规则引擎时没有把缺失的数据计算在内，导致计算的结果差异很大，最终造成正确的数据被剔除。

技术实现思路

[0021]本专利技术的目的在于提供一种发现水文监测数据奇异值的规则引擎构建方法、电子设备及存储介质，以解决现有技术易造成正确数据误删除问题，以及无法满足数据的可靠性和一致性要求的问题。
[0022]本专利技术是通过如下的技术方案来解决上述技术问题的：一种发现水文监测数据奇异值的规则引擎构建方法，包括以下步骤：
[0023]获取水文资料，所述水文资料包括监测传感器参数信息、水文规约要素信息和测站基本信息；
[0024]对所述水文资料进行整理，将整理后的水文资料添加至规则引擎表单中，并在所述规则引擎表单中形成规则条件；
[0025]根据待检测的监测数据表与所述规则引擎表单中的要素名称，将所述监测数据表与所述规则引擎表单中的规则条件进行关联；
[0026]根据所述监测数据表与所述规则引擎表单中规则条件之间的关联关系得到关联的规则条件、要素名称和监测数据表，并生成规则引擎脚本；
[0027]设定所述监测数据表的检测任务和检测参数；
[0028]根据设定的检测参数从所述监测数据表中抽取数据，并利用所述规则引擎脚本对抽取出的数据进行检测和处理；
[0029]在检测和处理结束后生成数据检测处理报告。
[0030]进一步地，所述监测传感器参数信息包括监测传感器名称、采样周期、量程最大值、量程最小值、数据变幅；
[0031]所述水文规约要素信息包括要素名称、标识符、数据定义及单位；
[0032]所述测站基本信息包括站名、测站编号和水文特性值。
[0033]进一步地，将整理后的水文资料添加至规则引擎表单中时，如果监测传感器参数信息中的量程与水文规约要素信息中的数据定义存在重叠，则以测站建设时规划的水文特性值为准。
[0034]进一步地，所述规则引擎脚本的具体生成过程为：以要素名称为引擎执行前置条件，以量程最大值、量程最小值、数据变幅、可否为空、可否为零为引擎约束条件，生成所述规则引擎脚本。
[0035]进一步地，所述检测和处理的具体过程为：
[0036]如果抽取出的数据符合对应的规则条件，则数据为正常值，否则为奇异值；
[0037]对所述奇异值进行标注、剔除和告警通知处理；其中告警通知包括测站编码、要素名称、数据监测时间、数据具体值、告警原因和检测时间。
[0038]进一步地，所述数据检测处理报告包括表名、处理总数、正常率和错误率。
[0039]基于同一专利技术构思，本专利技术还提供一种电子设备，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行如上所述发现水文监测数据奇异值的规则引擎构建方法的步骤。
[0040]基于同一专利技术构思，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述发现水文监测数据奇异值的规则引擎构建方法的步骤。
[0041]有益效果
[0042]与现有技术相比，本专利技术的优点在于：
[0043]本专利技术所提供的一种发现水文监测数据奇异值的规则引擎构建方法、电子设备及存储介质，该方法以水文传感器参数、水文规约要素、测站基本信息等资料为支撑，并结合水文资料“三性”要求和时序数据特征，同时充分考虑季节性、地理环境、设备损耗、网络延迟等因素，综合计算后动态生成规则引擎脚本，从而高效实时地对水文监测数据进行合理性检验，最终发现水文监测数据中奇异值；
[0044]本专利技术以水文传感器参数、水文规约要素、测站基本信息等资料为规则引擎条件处理基准，保障了水文资料的可靠性；根据监测时段前后数据动态生成规则条件，更适应水文计算与分析，解决了由季节性、地理环境等因素对规则条件的影本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种发现水文监测数据奇异值的规则引擎构建方法，其特征在于，包括以下步骤：获取水文资料，所述水文资料包括监测传感器参数信息、水文规约要素信息和测站基本信息；对所述水文资料进行整理，将整理后的水文资料添加至规则引擎表单中，并在所述规则引擎表单中形成规则条件；根据待检测的监测数据表与所述规则引擎表单中的要素名称，将所述监测数据表与所述规则引擎表单中的规则条件进行关联；根据所述监测数据表与所述规则引擎表单中规则条件之间的关联关系得到关联的规则条件、要素名称和监测数据表，并生成规则引擎脚本；设定所述监测数据表的检测任务和检测参数；根据设定的检测参数从所述监测数据表中抽取数据，并利用所述规则引擎脚本对抽取出的数据进行检测和处理；在检测和处理结束后生成数据检测处理报告。2.根据权利要求1所述的规则引擎构建方法，其特征在于，所述监测传感器参数信息包括监测传感器名称、采样周期、量程最大值、量程最小值、数据变幅；所述水文规约要素信息包括要素名称、标识符、数据定义及单位；所述测站基本信息包括站名、测站编号和水文特性值。3.根据权利要求1所述的规则引擎构建方法，其特征在于，将整理后的水文资料添加至规则引擎表单中时，如果监测传感器参数信息中的量程与水文规约要素信息中的数据定义存在重叠，则以测...

【专利技术属性】
技术研发人员：王柏顺，张侃侃，石瑞格，曾佑聪，邓思滨，张晋福，
申请(专利权)人：中国电建集团中南勘测设计研究院有限公司，
类型：发明
国别省市：