应用于大气环境监测的数据清洗方法、装置、存储介质制造方法及图纸

本发明专利技术公开了一种应用于大气环境的数据清洗方法、装置、存储介质及终端，所述方法包括：根据指定区域的地理因素和气象条件，自动配置用于对环境监测数据进行数据清洗的数据清洗规则；根据数据清洗规则，对环境监测数据进行数据清洗，得到数据清洗结果，并将数据清洗结果上传至服务器端，由于本申请实施例提供的数据清洗方法，能够根据指定区域的地理因素和气象条件自动配置数据清洗规则，这样，本申请实施例提供的数据清洗方法自动配置出的数据清洗规则，能够考虑到不同地区之间地理因素和气象条件之间的差异，使得根据该数据清洗规则对环境监测数据进行数据清洗，最终得到的数据清洗结果更加精准。

【技术实现步骤摘要】
应用于大气环境监测的数据清洗方法、装置、存储介质
本专利技术涉及计算机
，特别涉及应用于大气环境监测的数据清洗方法、装置、存储介质及终端。
技术介绍
环境问题成为社会各界关注的重点，为进行大气污染防治工作，全国多地开展空气质量自动监测，环境监测数据呈爆发式的增长。由于仪器故障、错误操作、网络问题等内外界因素，出现大量重复、错误的垃圾数据，这类数据严重影响到了整体数据的可用性，进而会直接影响环境监测的大数据分析结果。现有的数据清洗方法，无法正确标记出能够影响空气质量评价和分析的数据。因此，如何设计一种数据清洗方法，该数据清洗方法能够正确标记出能够影响空气质量评价和分析的数据，是待解决的技术问题。
技术实现思路
本申请实施例提供了一种应用于大气环境监测的数据清洗方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。第一方面，本申请实施例提供了一种应用于大气环境的数据清洗方法，所述方法包括：获取指定区域的环境监测数据；根据所述指定区域的地理因素和气象条件，自动配置用于对所述环境监测数据进行数据清洗的数据清洗规则；根据所述数据清洗规则，对所述环境监测数据进行数据清洗，得到数据清洗结果，并将所述数据清洗结果上传至服务器端。在一种实施方式中，所述根据所述数据清洗规则，对所述环境监测数据进行数据清洗包括：根据所述数据清洗规则，判断所述环境监测数据是否出现异常，若根据所述数据清洗规则判断出所述环境监测数据出现异常，则对所述环境监测数据中的异常数据进行识别，并对所述异常数据进行标记；否则，则忽略处理。在一种实施方式中，所述方法还包括：对所述环境监测数据进行监听，并在监听出所述环境监测数据中出现异常数据时，发送监听报警信息。在一种实施方式中，所述方法还包括：对所述环境监测数据进行数据分析，得到以图表形式呈现的数据分析结果，并将以图表形式呈现的所述数据分析结果推送至指定用户，以使得所述指定用户根据所述数据分析结果判断所述环境监测数据是否出现异常，若根据所述数据分析结果判断出所述环境监测数据出现异常时，则对所述环境监测数据中的异常数据进行手动标记，否则，则忽略处理。第二方面，本申请实施例提供了一种应用于大气环境的数据清洗方法，所述方法应用于服务器端，所述方法包括：对环境监测数据进行数据解析，得到解析后的环境监测数据，并将所述解析后的环境监测数据推送至消息队列进行处理，所述消息队列用于根据数据清洗负载量实时动态分配数据清洗任务；根据数据清洗任务的属性，配置对应的数据清洗规则，所述数据清洗规则包括第一数据清洗规则和第二数据清洗规则，在所述数据清洗任务的属性是实时数据清洗任务时，采用的数据清洗规则为所述第一数据清洗规则，所述第一数据清洗规则用于对所述环境监测数据中的实时数据进行数据清洗；在所述数据清洗任务的属性是历史数据清洗任务时，采用的数据清洗规则为所述第二数据清洗规则，所述第二数据清洗规则用于对所述环境监测数据中的历史数据进行数据清洗；根据所述第一数据清洗规则，对所述环境监测数据中的实时数据进行数据清洗，得到第一数据清洗结果，以及根据所述第二数据清洗规则，对所述环境监测数据中的历史数据进行数据清洗，得到第二数据清洗结果；将所述第一数据清洗结果推送至用于对所述实时数据的数据清洗结果进行保存的第一数据库，以及将所述第二数据清洗结果推送至用于对所述历史数据的数据清洗结果进行保存的第二数据库。在一种实施方式中，所述第一数据清洗规则为：根据指定区域的地理因素和气象条件自动配置的、且用于对所述实时数据进行数据清洗的数据清洗规则；所述第二数据清洗规则为：根据指定区域的地理因素、气象条件、预设的污染源上下限阈值、预设的污染源突变值以及预设的污染源连续值自动配置的、且用于对所述历史数据进行数据清洗的数据清洗规则。第三方面，本申请实施例提供了一种应用于大气环境的第一数据清洗装置，所述装置应用于客户端，所述装置包括：获取单元，用于获取指定区域的环境监测数据；规则配置单元，用于根据所述指定区域的地理因素和气象条件，自动配置用于对所述获取单元获取的所述环境监测数据进行数据清洗的数据清洗规则；第一数据清洗单元，用于根据所述规则配置单元配置的所述数据清洗规则，对所述环境监测数据进行数据清洗，得到数据清洗结果；上传单元，用于将所述第一数据清洗单元清洗得到的所述数据清洗结果上传至服务器端。第四方面，本申请实施例提供了一种应用于大气环境的第二数据清洗装置，所述装置应用于服务器端，所述装置包括解析单元、第二推送单元、配置单元和第二数据清洗单元；所述解析单元，用于对环境监测数据进行数据解析，得到解析后的环境监测数据；所述第二推送单元，用于将所述解析单元解析出的所述解析后的环境监测数据推送至消息队列进行处理，所述消息队列用于根据数据清洗负载量实时动态分配数据清洗任务；以及用于将所述第二数据清洗单元清洗出的第一数据清洗结果推送至用于对所述实时数据的所述第一数据清洗结果进行保存的第一数据库，以及将所述第二数据清洗单元清洗出的第二数据清洗结果推送至用于对所述历史数据的所述第二数据清洗结果进行保存的第二数据库；所述配置单元，用于根据数据清洗任务的属性，配置对应的数据清洗规则，所述数据清洗规则包括第一数据清洗规则和第二数据清洗规则，在所述数据清洗任务的属性是实时数据清洗任务时，采用的数据清洗规则为所述第一数据清洗规则，所述第一数据清洗规则用于对所述环境监测数据中的实时数据进行数据清洗；在所述数据清洗任务的属性是历史数据清洗任务时，采用的数据清洗规则为所述第二数据清洗规则，所述第二数据清洗规则用于对所述环境监测数据中的历史数据进行数据清洗；所述第二数据清洗单元，用于根据所述配置单元配置出的所述第一数据清洗规则，对所述环境监测数据中的实时数据进行数据清洗，得到所述第一数据清洗结果，以及根据所述配置单元配置出的所述第二数据清洗规则，对所述环境监测数据中的历史数据进行数据清洗，得到所述第二数据清洗结果。第五方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。第六方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。本申请实施例提供的技术方案可以包括以下有益效果：在本申请实施例中，获取指定区域的环境监测数据；根据指定区域的地理因素和气象条件，自动配置用于对环境监测数据进行数据清洗的数据清洗规则；根据数据清洗规则，对环境监测数据进行数据清洗，得到数据清洗结果，并将数据清洗结果上传至服务器端，因此，由于本文档来自技高网...

【技术保护点】
1.一种应用于大气环境的数据清洗方法，其特征在于，所述方法应用于客户端，所述方法包括：/n获取指定区域的环境监测数据；/n根据所述指定区域的地理因素和气象条件，自动配置用于对所述环境监测数据进行数据清洗的数据清洗规则；/n根据所述数据清洗规则，对所述环境监测数据进行数据清洗，得到数据清洗结果，并将所述数据清洗结果上传至服务器端。/n

【技术特征摘要】
1.一种应用于大气环境的数据清洗方法，其特征在于，所述方法应用于客户端，所述方法包括：
获取指定区域的环境监测数据；
根据所述指定区域的地理因素和气象条件，自动配置用于对所述环境监测数据进行数据清洗的数据清洗规则；
根据所述数据清洗规则，对所述环境监测数据进行数据清洗，得到数据清洗结果，并将所述数据清洗结果上传至服务器端。


2.根据权利要求1所述的方法，其特征在于，所述根据所述数据清洗规则，对所述环境监测数据进行数据清洗包括：
根据所述数据清洗规则，判断所述环境监测数据是否出现异常，若根据所述数据清洗规则判断出所述环境监测数据出现异常，则对所述环境监测数据中的异常数据进行识别，并对所述异常数据进行标记；否则，则忽略处理。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述环境监测数据进行监听，并在监听出所述环境监测数据中出现异常数据时，发送监听报警信息。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述环境监测数据进行数据分析，得到以图表形式呈现的数据分析结果，并将以图表形式呈现的所述数据分析结果推送至指定用户，以使得所述指定用户根据所述数据分析结果判断所述环境监测数据是否出现异常，若根据所述数据分析结果判断出所述环境监测数据出现异常时，则对所述环境监测数据中的异常数据进行手动标记，否则，则忽略处理。


5.一种应用于大气环境的数据清洗方法，其特征在于，所述方法应用于服务器端，所述方法包括：
对环境监测数据进行数据解析，得到解析后的环境监测数据，并将所述解析后的环境监测数据推送至消息队列进行处理，所述消息队列用于根据数据清洗负载量实时动态分配数据清洗任务；
根据数据清洗任务的属性，配置对应的数据清洗规则，所述数据清洗规则包括第一数据清洗规则和第二数据清洗规则，在所述数据清洗任务的属性是实时数据清洗任务时，采用的数据清洗规则为所述第一数据清洗规则，所述第一数据清洗规则用于对所述环境监测数据中的实时数据进行数据清洗；在所述数据清洗任务的属性是历史数据清洗任务时，采用的数据清洗规则为所述第二数据清洗规则，所述第二数据清洗规则用于对所述环境监测数据中的历史数据进行数据清洗；
根据所述第一数据清洗规则，对所述环境监测数据中的实时数据进行数据清洗，得到第一数据清洗结果，以及根据所述第二数据清洗规则，对所述环境监测数据中的历史数据进行数据清洗，得到第二数据清洗结果；
将所述第一数据清洗结果推送至用于对所述实时数据的所述第一数据清洗结果进行保存的第一数据库，以及将所述第二数据清洗结果推送至用于对所述历史数据的所述第二数据清洗结果进行保存的第二数据库。


6.根据权利要求5所述的方法，其特征在于，
所述第一数据清洗规则为：根据指定区域的地理因素和气象...

【专利技术属性】
技术研发人员：刘慧灵，赵明生，张潮，林久人，周政男，秦东明，陆涛，郭方方，
申请(专利权)人：中科三清科技有限公司，
类型：发明
国别省市：北京;11