一种数据处理方法、装置、电子设备以及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、电子设备以及存储介质，属于数据处理技术领域。该方法包括：基于预设的数据检测规则，对目标数据进行检测，确定所述目标数据是否异常；若是，则根据所述目标数据所属的异常类型关联的异常处理方式，对所述目标数据进行处理。上述技术方案，可以快速的发现污染源在线监测系统中的异常数据，并灵活对异常数据进行处理，节省了人力资源，同时为污染源在线监测系统中异常数据的发现与处理提供了一种新思路。常数据的发现与处理提供了一种新思路。常数据的发现与处理提供了一种新思路。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备以及存储介质


[0001]本专利技术实施例涉及数据处理
，尤其涉及一种数据处理方法、装置、电子设备以及存储介质。

技术介绍

[0002]污染源在线监测系统作为环境监管的重要手段，对提升环境监管水平有着重要作用。污染源在线监测数据的有效性直接关系到污染源在线监测系统作用的发挥。在线监测系统通过各种分析仪器、传感器等产生的数据上传至环保执法部门。由于监控设备受环境，设备损耗，人为干预等不确定因素的影响，环保部门获取的在线监测数据经常会出现数据错误、重复、异常等情况。异常的监测数据不能真实反应企业实际排污情况，同时对环保部门监控报警、行政执法、处罚判断会造成错误的影响。因此，亟需一种有效的数据治理方法，来发现异常的在线监测数据并进行处理。

技术实现思路

[0003]本专利技术提供一种数据处理方法、装置、电子设备以及存储介质，以实现异常数据的自动识别并及时处理。
[0004]第一方面，本专利技术实施例提供了一种数据处理方法，应用于污染源监测系统，所述方法包括：
[0005]基于预设的数据检测规则，对目标数据进行检测，确定所述目标数据是否异常；
[0006]若是，则根据所述目标数据所属的异常类型关联的异常处理方式，对所述目标数据进行处理。
[0007]第二方面，本专利技术实施例还提供了一种数据处理装置，配置于污染源监测系统，所述装置包括：
[0008]异常确定模块，用于基于预设的数据检测规则，对目标数据进行检测，确定所述目标数据是否异常；
[0009]数据处理模块，用于若是，则根据所述目标数据所属的异常类型关联的异常处理方式，对所述目标数据进行处理。
[0010]第三方面，本专利技术实施例还提供了一种电子设备，包括：
[0011]一个或多个处理器；
[0012]存储器，用于存储一个或多个程序；
[0013]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任一实施例所提供的数据处理方法。
[0014]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任一实施例所提供的数据处理方法。
[0015]本专利技术实施例的技术方案，通过基于预设的数据检测规则，对目标数据进行检测，确定目标数据是否异常，若是，则根据目标数据所属的异常类型关联的异常处理方式，对目
标数据进行处理。上述技术方案，可以快速的发现污染源在线监测系统中的异常数据，并灵活对异常数据进行处理，节省了人力资源，同时为污染源在线监测系统中异常数据的发现与处理提供了一种新思路。
附图说明
[0016]图1是本专利技术实施例一提供的一种数据处理方法的流程图；
[0017]图2是本专利技术实施例二提供的一种数据处理方法的流程图；
[0018]图3是本专利技术实施例三提供的一种数据处理装置的结构示意图；
[0019]图4是本专利技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0020]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0021]实施例一
[0022]图1是本专利技术实施例一提供的一种数据处理方法的流程图，本实施例可适用于对污染源在线监测系统中异常数据检测并处理的情况，该方法可以由数据处理装置来执行，该装置可由软件和/或硬件的方式实现，并入集成于承载数据处理功能的电子设备中，例如服务器中。
[0023]如图1所示，该方法具体可以包括：
[0024]S110、基于预设的数据检测规则，对目标数据进行检测，确定目标数据是否异常。
[0025]本实施例中，目标数据是指污染源在线监测系统中的需要进行异常检测的数据。所谓预设的数据检测规则可以包括数据公共检测规则和数据业务检测规则，其中数据公共检测规则用于对数据本身进行检测，数据业务检测规则用于对数据所属业务属性进行检测。
[0026]所谓数据公共检测规则可以包括空值检查、唯一检查、代码检查、值域范围检查、数据类型检查、重复性检查、规范性检查、引用完整性检查和离群值检查等；其中空值检查是对特定表和列的值进行检查，例如企业地址，法人，经纬度等是否是空值；唯一检查是对提供的字段的唯一性检查，例如污染源唯一号；代码检查是检查字段取值是否在代码表(由系统中预先进行定义)中，会对源数据中有代码应用的字段默认进行检查；值域范围检查是指判断所要检测的数据是否满足指标元数据的定义值域；数据类型检查是指所要检测的数据是否满足元数据的定义类型；重复性检查是指对特定表和列或者列的组合构成一个集合，发现是否存在重复的值，或者重复的集合；规范性检查是指对特定表以及列，进行特定规范性的检查，例如身份证、手机号码、邮箱、邮政编码、固定电话、IP地址、MAC地址、日期等规则的约束检查；引用完整性检查是指对数据主外键之间的引用完整进行检查，发现外键对主键的空引用；离群值检查是指对数值型字段的内容进行分布分析，根据拉依达法或者格鲁布斯法对数据的分布进行核验，发现离群的数值反馈给对应业务部门。
[0027]所谓数据业务检测规则是指针对数据所属业务领域指定相应的检测规则，例如对于环境质量类的指标数据，主要从环境质量的相关监测标准、评价标准出发，对环境质量的
评价结果按照国标、行标的业务属性规则进行制定。如大气环境的相关业务指标可参照环境空气质量指数(Air Quality Index，AQI)技术规定，对空气质量分指数、空气质量指数、污染物项目浓度等进行业务限值的规则制定。对于环境监管类数据的异常检测，可根据行政许可、行政管理规范，对污染源的行业属性、地区属性、名称属性、管理类型属性等进行业务规则制定。
[0028]可选的，可以确定目标数据的目标类型；基于目标类型关联的数据检测规则，对目标数据进行检测，确定目标数据是否异常。其中，一个目标类型可以关联多种数据检测规则。
[0029]具体的，根据预先定义的数据标准，确定目标数据的目标类型，进而基于目标类型关联的数据检测规则，对目标数据进行检测，确定目标数据是否异常。例如目标数据是表格数据，则可以采用空值检查来检测表格中各字段是否存在空值，还可以采用值域范围检查来检测表格中各字段数据的取值是否满足指标元数据的定义值域；还可以采用重复性检查来检测表格数据中的特性列或者列的组合构成的集合的数据中，是否存在重复的值或者重合的集合，等等。
[0030]需要说明的是，在对目标数据进行检测前，需要制定数据标准，例如按照企业在线监测的业务域和数据类型进行数据资产的梳理，并制定数据资产的生产、管理、应用的相关标准。首先，定义统一的标识，具体包括数据标识，设备标识，组织标识，类型标识等，参照国家、地方标准，形成在线监测数据的标准中心。其次，通过对于在线监测业务，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于污染源监测系统，所述方法包括：基于预设的数据检测规则，对目标数据进行检测，确定所述目标数据是否异常；若是，则根据所述目标数据所属的异常类型关联的异常处理方式，对所述目标数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述基于预设的数据检测规则，对目标数据进行检测，确定所述目标数据是否异常之前，还包括：基于目标数据所属业务场景和/或预设的标准化规则，对所述目标数据进行标准化处理。3.根据权利要求1所述的方法，其特征在于，所述基于预设的数据检测规则，对目标数据进行检测，确定所述目标数据是否异常，包括：确定目标数据的目标类型；基于目标类型关联的数据检测规则，对所述目标数据进行检测，确定所述目标数据是否异常。4.根据权利要求1所述的方法，其特征在于，所述基于预设的数据检测规则，对目标数据进行检测包括下述至少一项：识别所述目标数据中是否包括离群数据；识别所述目标数据的实际接收时间点和所述目标数据对应的理想接收时间点是否存在偏差；对所述目标数据的完整性进行检测；识别所述目标数据是否在设定数值范围内；将所述目标数据与所述目标数据对应的上报数据进行一致性比较；对所述目标数据的重复性进行检测。5.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据所属的异常类型关联的异常处理方式，对所述目标数据进行处理，包括：若所述目标数据的异常类型为噪声数据类型，则对所述目标数据进行去噪处理；若所述目标数据的异类型为抖动数据类型，则...

【专利技术属性】
技术研发人员：祖启航，许义军，毛佳茗，秦小钟，
申请(专利权)人：神彩科技股份有限公司，
类型：发明
国别省市：