环境数据监测处理方法技术

本发明专利技术涉及环境数据处理技术领域，具体为一种环境数据监测处理方法，其基于分布式流处理的数据处理方式进行设置，其包括以下步骤：S1、对接收的数据进行划分处理；S2、对划分后的数据进行清洗处理；S3、对清洗处理后的数据进行合并；S4、对数据进行分流处理，分流处理所得的数据包括：按时间划分标准而划分的实时数据报文及阶段数据报文，该实时数据报文的数据量大于该阶段数据报文的数据量；所得实时数据报文直接输出处理，所得阶段数据报文进行归纳计算处理。通过对基础数据量大的实时数据报文及基础数据量小进行划分，能确保有效的数据展示效果同时，避免数据库的报表计算过程的运算量过大，能减少数据库负担并能有效减少硬件的设置成本。置成本。

【技术实现步骤摘要】
环境数据监测处理方法


[0001]本专利技术涉及环境数据处理
，具体涉及一种环境数据监测处理方法。

技术介绍

[0002]污染源的上传监测数据报文具有频次高、密度大，因子多的特点，需要结合国家环保规范对监测设备的上传监测数据报文按照国标HJ212等一系列协议进行高效的接收，实时的解析、灵活的序列化和及时的告警等处理，而且，由于单个污染源监测数据具有相关依赖性(聚合产污、治污、排污)，需要对上传监测数据报文进行严格有效的时序化处理。面对上传频次高，数据量大的污染源数据，如何能更高效的进行处理和利用，成为环保监测领域的一大问题。

技术实现思路

[0003]本专利技术的目的在于为克服现有技术的不足而提供一种环境数据监测处理方法。
[0004]环境数据监测处理方法，基于分布式流处理的数据处理方式进行设置，其包括以下步骤：
[0005]S1、对接收的数据进行划分处理；S2、对划分后的数据进行清洗处理；S3、对清洗处理后的数据进行合并；S4、对数据进行分流处理，分流处理所得的数据包括：按时间划分标准而划分的实时数据报文及阶段数据报文，该实时数据报文的数据量大于该阶段数据报文的数据量；所得实时数据报文直接输出处理，所得阶段数据报文进行归纳计算处理。
[0006]进一步地，于步骤S1中，包括以下步骤：使数据发生设备设置有唯一编号，并令用于数据接收的网关接收端打上有TCP连接唯一标识；对接收的数据流进行KeyBy算子操作，使数据流中的数据能根据该唯一编号或唯一标识进行数据划分。
[0007]进一步地，于步骤S2中，对KeyBy后的数据流进行清洗处理，该清洗处理包括确认相应数据中是否包含有上述的设备唯一编号；当数据不通过校验时，相应的数据报文被标记为脏数据，并发送至脏报文消息队列。
[0008]进一步地，于步骤S3中，其合并方式包括对清洗处理后进行window算子操作，其算子操作时间为30秒。
[0009]进一步地，于步骤S4中，分流处理所得的数据包括设备状态数据报文，所得设备状态数据报文与所述阶段数据报文协同进行归纳计算处理；且还包括以下步骤：S4
‑
1、对设备状态数据报文进行window算子操作和reduce操作，以作设备状态情况的统计，并将统计所得结果发送至设备状态消息队列；上述window算子操作和reduce操作的执行时间为5min。
[0010]进一步地，还包括以下步骤：S4
‑
2、对所得实时数据报文及阶段数据报文进行window算子操作和reduce操作，以作干净报文数量的统计，并将统计所得结果发送至报文数量统计消息队列；上述window算子操作和reduce操作的执行时间为1小时。
[0011]进一步地，还包括以下步骤：S4
‑
3、对所得实时数据报文及阶段数据报文进行keyby和merge算子操作，并将聚合后的数据流发送至组数据消息队列。
[0012]进一步地，于步骤S4中，对直接输出处理的所述实时数据报文进行直接展示，对归纳统计处理的所得阶段数据报文通过归纳计算处理后以数据图表的形式进行展示。
[0013]本专利技术的有益效果在于：
[0014]1、通过对基础数据量较大的实时数据报文及基础数据量较小进行明确的划分应用，能确保有效的数据展示效果同时，避免数据库的报表计算过程的运算量过大，能减少数据库负担并能有效减少硬件的设置成本。
[0015]2、通过对接收的数据先进行划分拆包，并以此进行清洗，可令该环境数据监测处理方法的清洗过程具有针对性，从而提高清洗处理速度，减少后续ETL的压力，同时简化其他应用的开发难度。
[0016]3、通过数据发生设备具有唯一编号及网关接收端上具有唯一标识的设置，相应的数据划分处理程序可凭设备的唯一编号或网关接收端上的唯一标识，对上报的监测数据进行的解耦，提高了数据处理的吞吐量和程序架构的内聚性，有效降低了数据划分处理过程中的复杂度和硬件成本。
具体实施方式
[0017]为了使本专利技术的技术方案、目的及其优点更清楚明白，以下实施例，对本专利技术进行进一步的解释说明。
[0018]本专利技术中的环境数据监测处理方法，其应用设置有网关接收端及数据处理端；基于该网关接收端的设置，基于现有技术的通信传输方式，能有效地对污染源发生设备或污染源处理设备的相关污染源数据进行数据收集。再以该数据处理端对由网关接收端接收的数据进行清洗、过滤、校正后，将处理所得干净数据作进一步的展示或分析统计，满足用户对污染源数据的综合分析应用需求。
[0019]该污染源数据网关接收端中：
[0020]采用基于NIO的非阻塞读写技术，能高效处理和接收高并发的连接请求和污染源上报监测数据，整合报文包头校验，报文长度校验，数据区格式校验，报文包尾校验和报文CRC码校验等一系列校验流程，精确过滤不符合国标HJ212协议的错误报文。
[0021]其过滤步骤和逻辑为：
[0022]1、按照国标协议截取报文前六位，校验包头并获取包长，如此步骤尝试失败，则判定上传数据为错误报文。
[0023]2、根据获取的包长和数据的长度，尝试校验数据长度是否等于包长，包头和包尾之和，并截取包尾4位CRC码，如此步骤尝试失败，则判定上传数据为错误报文。
[0024]3、根据包尾的CRC码，对报文内容进行循环冗余校验，若校验得出的CRC码与包尾截取的CRC码不符，则判定上传数据为错误报文。
[0025]4、按照国标协议规定的分隔标识，将报文分离为数据段和数据区，如此步骤尝试失败，则判定上传数据为错误报文。
[0026]5、分别校验数据段和数据区的不同因子是否正确分隔，如此步骤尝试失败，则判定上传数据为错误报文。
[0027]6、最后，基于预定义的业务流程，可将初步处理完成的合格报文异步发送到多个数据处理端(包括消息队列)。与此同时，网关会实时统计多种参数，包括单位时间内成功请
求数，失败请求数，应答报文数，设备连接时长等，并定时将统计信息发送至多个下游应用端进行数据展示，进一步的数据分析和报表生成，以便数据保障部门对设备进行运维。
[0028]该数据处理端中：
[0029]分布式流处理应用会将消息队列作为数据源，实时拉取经由网关接收端简单处理过的合格报文，按照预定义的数据质量和权限检查规则(例如报文的时间标识、多因子的量程范围，传感器的接入项目信息，归属企业信息和地理位置信息等)，实时过滤和处理污染源上传监测数据原始报文，对问题数据进行多维度，多因子，多层次的清洗，过滤及校正，将原始问题数据分别打上标签并送入异常数据队列(自动剔除无效数据)，将清洗后的数据送入干净数据队列。
[0030]其具体的处理步骤分为：
[0031]1、使数据发生设备设置有唯一编号，并令用于数据接收的网关接收端打上有TCP连接唯一标识，对接受的数据流进行KeyBy算子操作，使数据流中的数据能根据该唯一编号或唯一标识进行数据的拆包划本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.环境数据监测处理方法，其特征在于，其基于分布式流处理的数据处理方式进行设置，其包括以下步骤：S1、对接收的数据进行划分处理；S2、对划分后的数据进行清洗处理；S3、对清洗处理后的数据进行合并；S4、对数据进行分流处理，分流处理所得的数据包括：按时间划分标准而划分的实时数据报文及阶段数据报文，该实时数据报文的数据量大于该阶段数据报文的数据量；所得实时数据报文直接输出处理，所得阶段数据报文进行归纳计算处理。2.如权利要求1所述的环境数据监测处理方法，其特征在于，于步骤S1中，包括以下步骤：使数据发生设备设置有唯一编号，并令用于数据接收的网关接收端打上有TCP连接唯一标识；对接收的数据流进行KeyBy算子操作，使数据流中的数据能根据该唯一编号或唯一标识进行数据划分。3.如权利要求2所述的环境数据监测处理方法，其特征在于，于步骤S2中，对KeyBy后的数据流进行清洗处理，该清洗处理包括确认相应数据中是否包含有上述的设备唯一编号；当数据不通过校验时，相应的数据报文被标记为脏数据，并发送至脏报文消息队列。4.如权利要求1所述的环境数据监测处理方法，其特征在于，于步骤S3中，其合并方式包括对清洗处理后进行window算子操作，其算子操作时间为30秒。5.如权利要求1所述的环境数据监测处理方法，其特征在于，于...

【专利技术属性】
技术研发人员：黎柏允，陈慧玲，林汝汉，暨文俊，梁暖悠，伦应本，谢浪辉，潘毅图，
申请(专利权)人：广东柯内特环境科技有限公司，
类型：发明
国别省市：