环保数据质量修正方法技术

本发明专利技术涉及环境数据处理技术领域，具体为一种环保数据质量修正方法，其其采用一编码规则作为数据发生设备的因子编码或唯一编号进行应用；所述编码规则包括设置有至少四层编码层，其中：第一层编码，其包括根据污染排放类型而设置的第一字母编号；第二层编码，其包括根据处理工艺类型而设置的第二字母编号；第三层编码，其包括根据受监测的数据发生设备而设置的第一数字编号；第四层编码，包括处于相同工况环境中多个数据发生设备区分而设置的第三数字编号。通过该四层编码应用情况，可令数据发生设备进行因子编码或唯一编号设置，令应用其的数据传输管控平台，具有获取数据质量可靠且易于运维的特点。且易于运维的特点。

【技术实现步骤摘要】
环保数据质量修正方法


[0001]本专利技术涉及环境数据处理
，具体涉及一种环保数据质量修正方法。

技术介绍

[0002]随着环保部门对企业环境监管力度在逐渐加大，尤其是对典型污染源企业的监管，但是由于环境监管机制不成熟，环境管理信息化水平不高，导致企业在上报环保数据和公开环境信息时存在诸多问题，这些问题是监管部门和环保行业关注的课题，采用大数据分析技术对生态环境监测数据进行质量监控，修正和分析成为污染物监测数据质量控制的有效手段。
[0003]环境在线监测设备在非正常情况下的出现的数据异常没有良好的反馈和处理机制，导致企业上报数据的过程存在很大的可操作空间，且没有合适的系统进行有效的数据质量监管。

技术实现思路

[0004]本专利技术的目的在于为克服现有技术的不足而提供一种环保数据质量修正方法。
[0005]环保数据质量修正方法，其采用一编码规则作为数据发生设备的因子编码或唯一编号进行应用；所述编码规则包括设置有至少四层编码层，其中：第一层编码，其包括根据污染排放类型而设置的第一字母编号；第二层编码，其包括根据处理工艺类型而设置的第二字母编号；第三层编码，其包括根据受监测的数据发生设备而设置的第一数字编号；第四层编码，包括处于相同工况环境中多个数据发生设备区分而设置的第三数字编号。
[0006]进一步地，获取有初步的数据监测结果，根据所述因子编码应用，以该数据监测结果所涉及的数据发生设备进行回溯分析，并以此对所述数据监测结果进行修正更改。
[0007]进一步地，令用于数据接收的网关接收端与所述数据发生设备形成有交互的通讯连接，通过所述网关接收端，对数据发生设备作出有用于数据质量修正的反馈控制处理。
[0008]进一步地，所述反馈控制处理包括数据补足处理、固件升级处理、设备重启处理或时间校正处理中一个或多个的修正指令。
[0009]进一步地，预设有标准协议规范，将数据与对应的标准协议规范进行参照对比，根据所述标准协议规范情况，对数据进行有标签标识处理。
[0010]进一步地，基于因子编码的应用，所述第三层编码包括于所述第一数字编号后根据监测因子设置的第二数字编号；所述第二数字编号包括针对数据发生设备的状态、实时电流、累计用电量、实时电压或实时功率情况而设置的1位的第二数字值，该第二数字值包括数字0
‑
9。
[0011]进一步地，针对所述唯一编号的应用设置，其基于分布式流处理的数据处理方式进行设置，其包括以下步骤：S1、设置有数据发生设备，对从所述数据发生设备接收的数据进行划分处理；S2、对划分后的数据进行清洗处理；S3、对清洗处理后的数据进行合并；S4、对数据进行直接输出处理或归纳计算处理；于步骤S1中，各所述监测设备通过编码规则均
设置有设备的唯一编号，使数据流中的数据能根据该唯一编号进行数据划分。
[0012]进一步地，于步骤S4中，包括以下步骤：对数据进行分流处理，分流处理所得的数据包括：按时间划分标准而划分的实时数据报文及阶段数据报文，该实时数据报文的数据量大于该阶段数据报文的数据量；所得实时数据报文直接输出处理，而作直接展示；所得阶段数据报文进行归纳计算处理，归纳计算处理后以数据图表的形式进行展示。
[0013]进一步地，于步骤S1中，还包括以下步骤：令用于数据接收的网关接收端打上有TCP连接唯一标识；对接收的数据流进行KeyBy算子操作，使数据流中的数据能根据该唯一编号或唯一标识进行数据划分；于步骤S2中，对KeyBy后的数据流进行清洗处理，该清洗处理包括确认相应数据中是否包含有上述的设备唯一编号；当数据不通过校验时，相应的数据报文被标记为脏数据，并发送至脏报文消息队列；于步骤S3中，其合并方式包括对清洗处理后进行window算子操作，算子操作时间为30秒。
[0014]进一步地，于所述第一层编码中，所述第一字母编号包括针对气体污染排放而设定的字母“g”；于所述第二层编码中，所述第二字母编号包括针对产污环节而设定的字母“a”、针对收集环节而设定的字母“b”及针对治理环节而设定的字母“c”；于所述第三层编码中，所述第一数字编号包括针对上述产污环节、收集环节或治理环节中涉及的不同监测设备类别而设置的1位的第一数字值，该第一数字值包括数字0
‑
9；于所述第四层编码中，所述第三数字编号包括2位的第三数字值，该第三数字值包括数字组合00
‑
99。
[0015]本专利技术的有益效果在于：
[0016]1、通过该针对污染排放类型、处理工艺类型、受监测的数据发生设备及处于相同工况环境中多个数据发生设备区分而设置的四层编码应用情况，可令数据发生设备进行因子编码或唯一编号设置，令应用其的数据传输管控平台，具有获取数据质量可靠且易于运维的特点。
[0017]2、基于以编码规则设置的因子编码应用，能领用户便捷判断上传监测数据的真实性和合理性，有效防止数据造假和提高数据质量。
[0018]3、基于以编码规则设置的唯一编号应用，相应的数据划分处理程序可凭设备的唯一编号对上报的监测数据进行的解耦，提高了数据处理的吞吐量和程序架构的内聚性，有效降低了数据划分处理过程中的复杂度和硬件成本。
[0019]4、通过对基础数据量较大的实时数据报文及基础数据量较小进行明确的划分应用，能确保有效的数据展示效果同时，避免数据库的报表计算过程的运算量过大，能减少数据库负担并能有效减少硬件的设置成本。
具体实施方式
[0020]为了使本专利技术的技术方案、目的及其优点更清楚明白，以下实施例，对本专利技术进行进一步的解释说明。
[0021]本专利技术的一种数据传输管控平台基于前后端分离的传统web开发架构设置。该数据传输管控平台中设置有网关接收端、数据处理端及数据终端；基于现有技术的通信传输方式，该网关接收端能有效地对污染源发生设备或污染源处理设备的相关污染源数据进行数据收集。该数据处理端对相应网关收集端的数据进行获取并清洗处理后，将处理所得干净数据作分析统计并于数据终端中进行展示。
[0022]实施例1：
[0023]所述数据处理端中：分布式流处理应用会将消息队列作为数据源，实时拉取经由网关接收端简单处理过的合格报文，按照预定义的数据质量和权限检查规则(例如报文的时间标识、多因子的量程范围，传感器的接入项目信息，归属企业信息和地理位置信息等)，实时过滤和处理污染源上传监测数据原始报文，对问题数据进行多维度，多因子，多层次的清洗，过滤及校正，将原始问题数据分别打上标签并送入异常数据队列(自动剔除无效数据)，将清洗后的数据送入干净数据队列。
[0024]该数据处理端的具体处理步骤为：
[0025]1、使数据发生设备设置有唯一编号，并令用于数据接收的网关接收端打上有TCP连接唯一标识，对接受的数据流进行KeyBy算子操作，使数据流中的数据能根据该唯一编号或唯一标识进行数据的拆包划分。上述唯一编号的设置，包括根据将设备所属排污企业厂商的识别代码进行设置，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.环保数据质量修正方法，其特征在于，其采用一编码规则作为数据发生设备的因子编码或唯一编号进行应用；所述编码规则包括设置有至少四层编码层，其中：第一层编码，其包括根据污染排放类型而设置的第一字母编号；第二层编码，其包括根据处理工艺类型而设置的第二字母编号；第三层编码，其包括根据受监测的数据发生设备而设置的第一数字编号；第四层编码，包括处于相同工况环境中多个数据发生设备区分而设置的第三数字编号。2.如权利要求1所述的环保数据质量修正方法，其特征在于，获取有初步的数据监测结果，根据所述因子编码应用，以该数据监测结果所涉及的数据发生设备进行回溯分析，并以此对所述数据监测结果进行修正更改。3.如权利要求2所述的环保数据质量修正方法，其特征在于，令用于数据接收的网关接收端与所述数据发生设备形成有交互的通讯连接，通过所述网关接收端，对数据发生设备作出有用于数据质量修正的反馈控制处理。4.如权利要求3所述的环保数据质量修正方法，其特征在于，所述反馈控制处理包括数据补足处理、固件升级处理、设备重启处理或时间校正处理中一个或多个的修正指令。5.如权利要求1所述的环保数据质量修正方法，其特征在于，预设有标准协议规范，将数据与对应的标准协议规范进行参照对比，根据所述标准协议规范情况，对数据进行有标签标识处理。6.如权利要求1所述的环保数据质量修正方法，其特征在于，基于因子编码的应用，所述第三层编码包括于所述第一数字编号后根据监测因子设置的第二数字编号；所述第二数字编号包括针对数据发生设备的状态、实时电流、累计用电量、实时电压或实时功率情况而设置的1位的第二数字值，该第二数字值包括数字0
‑
9。7.如权利要求1所述的环保数据质量修正方法，其特征在于，针对所述唯一编号的应用设置，其基于分布式流处理的数据处理方式进行设置，其包括以下步骤：S1、设置有数据发生设备，对从所述数据发生设备接收的数据进行划分处理；S2、对划分后的数据进行...

【专利技术属性】
技术研发人员：黎柏允，暨文俊，陈慧玲，朱斌，陈文辉，黄健辉，谢志淙，
申请(专利权)人：广东柯内特环境科技有限公司，
类型：发明
国别省市：