一种数据处理方法、设备和介质技术

本发明专利技术提供了一种数据处理方法，该数据处理方法应用于城市综合管廊监控报警和运维管理系统中，该数据处理方法以城市管廊日常监控和运维过程中产生的海量数据为基础，进行大数据深入分析与挖掘，实现了对综合管廊自身的结构、环境、附属设施以及监控设备的可视化运维。

【技术实现步骤摘要】
一种数据处理方法、设备和介质
本申请涉及监控和运维管理
，尤其涉及一种数据处理方法、设备和介质。
技术介绍
综合管廊是在城市地下建造一个市政共用隧道，将电力、通信，燃气、供水等多种市政管线集中于一体，设有专门的检修口、吊装口和监控系统，实行“统一规划、统一建设、统一管理”，以做到地下空间的综合利用和资源的共享，是保障城市运行的重要基础设施和“生命线”，这在新区建设及旧城改造中作用尤为明显。综合管廊监控与运维管理系统用于对管廊内部环境、附属机电设施、入廊专业管线、巡检维护人员进行全方位在线监控，保障管廊内环境、设备、人员安全，同时为管廊日常管理、巡检维护和应急指挥提供稳定、智能、高效的一体化管控平台，实现综合管廊“管、控、营”的自动化和智能化，是城市综合管廊的大脑和灵魂。由于我国综合管廊仍处于在各城市试点建设的阶段，综合管廊信息化水平也欠发达，在开展信息化工作过程中面临诸多问题：(1)综合管廊管理信息化程度低，数据共享难度高；(2)管线问题频发，监管部门应急水平有待提高，由地下管线引发的安全问题也越来越多，对城市居民的生命财产安全构成了重大威胁；(3)数据采集设备采集到的海量数据的传输和存储存在安全隐患；如何对综合管廊中数据采集设备采集到的数据进行有效的处理，确保海量数据的安全性，有效提高现有综合管廊运维管理的信息化水平已经成为了目前市政管理领域中亟需解决的问题。
技术实现思路
本申请提供了一种数据处理方法、设备和介质，该数据处理方法应用于城市综合管廊监控报警和运维管理系统中，该数据处理方法以城市管廊日常监控和运维过程中产生的海量数据为基础，进行大数据深入分析与挖掘，实现了对综合管廊自身的结构、环境、附属设施以及监控设备的可视化运维。本专利技术采用了如下技术方案：一种数据处理方法，该数据处理方法应用于城市综合管廊监控报警和运维管理系统中，所述系统从下至上顺序依次是数据采集层、区域汇聚层以及运维管理层；所述数据采集层位于整个系统体系结构的最下层，所述数据采集层包括至少一个数据采集终端；所述区域汇聚层位于整个系统体系结构的中间层，所述区域汇聚层包括多个汇聚终端以及多个中继设备，所述中继设备通过无线通信连接与所述管理区域内的多个所述数据采集终端相连接，接收来自各个所述数据采集终端的数据信息，并将适配和封装后的数据发送至管理区域内的汇聚终端进行汇总；运维管理层位于整个系统体系结构的最上层，汇聚终端将接收到的采集数据经过加密后发送给运维管理控制中心；所述适配和封装后的数据包括报头字段、有效负载字段、数字证书字段：所述报头字段包含时间戳、数据采集终端标识ID以及位置坐标信息，其中时间戳用于标识所传输消息的采集时间，通过该时间戳来判断传输消息的时效性；数据采集终端标识ID用于识别数据的来源，不同数据采集终端采集的数据对应不同的标识ID；位置坐标信息用于标识数据来源的具体位置，所述位置坐标信息与数据采集终端标识ID相关联；所述有效负载字段中携带的是甲烷浓度传感器、硫化氢传感器、氧气传感器、温湿度传感器采集到的数据；数字证书字段中携带的是数据采集终端的数字证书Certi，其中i为非零正整数，表示所述数据采集终端的编号。进一步，所述汇聚终端将接收到的采集数据经过加密后发送给运维管理控制中心，具体包括：步骤1、当汇聚终端接收到来自数据采集终端的数据信息后,对报头字段进行验证，若验证通过，则执行步骤2，若验证失败，则将接收到的数据信息丢弃，并执行步骤5；步骤2、将在预设的有效时限内获得的S个数据信息中的有效负载字段中携带的数据信息进行消息聚合得到聚合后的数据信息，使用对称加密算法对聚合后的数据信息进行加密后，得到对称加密后的聚合数据信息C＝Enc(m)，C为一个向量C＝(c1,c2,……,cs)τ；步骤3、所述汇聚终端运行SimEnc()算法对向量C＝(c1,c2,……,cs)τ采用如下公式进行加密，生成加密后的密文δ：并对加密后的后的密文δ生成签名Sig；步骤4、将加密后的密文δ和签名Sig绑定，并使用公钥加密后发送至运维管理控制中心；步骤5、结束，并返回步骤1。进一步，所述对报头字段进行验证，具体包括：步骤101、获取所述报头字段中的时间戳，进行时间戳有效性验证，验证Tsec-TS<ΔT是否成立，其中Tsec为数据采集终端的数据信息的接收时间，TS为报头字段中所携带的时间戳，ΔT为预设的可接受网络传输时延，若成立，则验证通过并执行步骤102；若不成立，则验证失败，并生成验证失败响应消息，并执行步骤103；步骤102、获取所述报头字段中的数据采集终端标识ID以及位置坐标信息，对所述数据采集终端标识ID和所述位置坐标信息进行验证，若所述数据采集终端标识ID已经记录在所述汇聚终端中，并且所述位置坐标信息位于所述汇聚终端所对应的管理区域中，则验证通过，生成验证成功响应消息，并执行步骤103；步骤103、返回验证响应消息。进一步，在所述方法应用的系统中所述数据采集终端设置在综合管廊中，所述数据采集终端包括阻燃外壳、功能电路板、内嵌支架以及无刷风机；所述数据采集终端的外壳采用阻燃材料制成，所述数据采集终端的阻燃外壳为长方体空腔结构，在所述阻燃外壳四个侧面的内壁一侧设置有一圈非闭合内嵌支架，内嵌支架的末端向所述阻燃外壳的长方体空腔内部呈45°弯折，并与内嵌支架的始端之间形成出风口，所述功能电路板安装在所述弯折的面向长方体空腔一侧，所述无刷风机的排气口与所述功能电路板相对，所述无刷风机的吸气口通过所述内嵌支架上的通孔与设置在所述阻燃外壳上的进风口相连；所述功能电路板封装在带有胶圈的密闭的阻燃保护套内，并通过可拆卸的连接件固定在所述弯折的面向长方体空腔一侧；所述功能电路包括供电单元、处理器单元、甲烷浓度传感器、硫化氢传感器、氧气传感器、温湿度传感器、适配传输单元、数据存储单元；其中，所述甲烷浓度传感器、所述硫化氢传感器、所述氧气传感器以及所述温湿度传感器均设置在面向长方体空腔一侧，用于对进入所述长方体空腔内的气体进行检测。进一步，在将适配和封装后的数据发送至管理区域内的汇聚终端进行汇总之前，还包括数据采集终端的登记注册过程，具体过程如下：由位于运维管理层的运维管理控制中心分配数据采集终端标识ID、数字证书Certi，所述数据采集终端将分配的数据采集终端标识ID、数字证书Certi保存至数据存储单元中，所述运维管理控制中心将数据采集终端标识ID、数字证书Certi关联保存至运维数据中心服务器上；在登记注册后，管理人员将根据数据采集终端标识ID生成的二维码标识粘贴于数据采集终端的阻燃外壳上；运维人员在将数据采集终端安装到地下综合管廊之后，通过运维手持设备扫描位于所述阻燃外壳上的二维码，获取安装的数据采集终端标识ID，并将由运维手持设备获取的所述安装的数据采集终端的位置坐标信息以及所述安装的数据采集终端标识ID，并携带在安装请本文档来自技高网...

【技术保护点】
1.一种数据处理方法，该数据处理方法应用于城市综合管廊监控报警和运维管理系统中，其特征在于，/n所述系统从下至上顺序依次是数据采集层、区域汇聚层以及运维管理层；所述数据采集层位于整个系统体系结构的最下层，所述数据采集层包括至少一个数据采集终端；所述区域汇聚层位于整个系统体系结构的中间层，所述区域汇聚层包括多个汇聚终端以及多个中继设备，所述中继设备通过无线通信连接与所述管理区域内的多个所述数据采集终端相连接，接收来自各个所述数据采集终端的数据信息，并将适配和封装后的数据发送至管理区域内的汇聚终端进行汇总；运维管理层位于整个系统体系结构的最上层，汇聚终端将接收到的采集数据经过加密后发送给运维管理控制中心；/n所述适配和封装后的数据包括报头字段、有效负载字段、数字证书字段：/n所述报头字段包含时间戳、数据采集终端标识ID以及位置坐标信息，其中时间戳用于标识所传输消息的采集时间，通过该时间戳来判断传输消息的时效性；数据采集终端标识ID用于识别数据的来源，不同数据采集终端采集的数据对应不同的标识ID；位置坐标信息用于标识数据来源的具体位置，所述位置坐标信息与数据采集终端标识ID相关联；/n所述有效负载字段中携带的是甲烷浓度传感器、硫化氢传感器、氧气传感器、温湿度传感器采集到的数据；/n数字证书字段中携带的是数据采集终端的数字证书Cert...

【技术特征摘要】
1.一种数据处理方法，该数据处理方法应用于城市综合管廊监控报警和运维管理系统中，其特征在于，
所述系统从下至上顺序依次是数据采集层、区域汇聚层以及运维管理层；所述数据采集层位于整个系统体系结构的最下层，所述数据采集层包括至少一个数据采集终端；所述区域汇聚层位于整个系统体系结构的中间层，所述区域汇聚层包括多个汇聚终端以及多个中继设备，所述中继设备通过无线通信连接与所述管理区域内的多个所述数据采集终端相连接，接收来自各个所述数据采集终端的数据信息，并将适配和封装后的数据发送至管理区域内的汇聚终端进行汇总；运维管理层位于整个系统体系结构的最上层，汇聚终端将接收到的采集数据经过加密后发送给运维管理控制中心；
所述适配和封装后的数据包括报头字段、有效负载字段、数字证书字段：
所述报头字段包含时间戳、数据采集终端标识ID以及位置坐标信息，其中时间戳用于标识所传输消息的采集时间，通过该时间戳来判断传输消息的时效性；数据采集终端标识ID用于识别数据的来源，不同数据采集终端采集的数据对应不同的标识ID；位置坐标信息用于标识数据来源的具体位置，所述位置坐标信息与数据采集终端标识ID相关联；
所述有效负载字段中携带的是甲烷浓度传感器、硫化氢传感器、氧气传感器、温湿度传感器采集到的数据；
数字证书字段中携带的是数据采集终端的数字证书Certi，其中i为非零正整数，表示所述数据采集终端的编号。


2.根据权利要求1所述的数据处理方法，其特征在于，所述汇聚终端将接收到的采集数据经过加密后发送给运维管理控制中心，具体包括：
步骤1、当汇聚终端接收到来自数据采集终端的数据信息后,对报头字段进行验证，若验证通过，则执行步骤2，若验证失败，则将接收到的数据信息丢弃，并执行步骤5；
步骤2、将在预设的有效时限内获得的S个数据信息中的有效负载字段中携带的数据信息进行消息聚合得到聚合后的数据信息，使用对称加密算法对聚合后的数据信息进行加密后，得到对称加密后的聚合数据信息C＝Enc(m)，C为一个向量C＝(c1,c2,……,cs)τ；
步骤3、所述汇聚终端运行SimEnc()算法对向量C＝(c1,c2,……,cs)τ采用如下公式进行加密，生成加密后的密文δ：



并对加密后的后的密文δ生成签名Sig；
步骤4、将加密后的密文δ和签名Sig绑定，并使用公钥加密后发送至运维管理控制中心；
步骤5、结束，并返回步骤1。


3.根据权利要求2所述的数据处理方法，其特征在于，所述对报头字段进行验证，具体包括：
步骤101、获取所述报头字段中的时间戳，进行时间戳有效性验证，验证Tsec-TS<ΔT是否成立，其中Tsec为数据采集终端的数据信息的接收时间，TS为报头字段中所携带的时间戳，ΔT为预设的可接受网络传输时延，若成立，则验证通过并执行步骤102；若不成立，则验证失败，并生成验证失败响应消息，并执行步骤103；
步骤102、获取所述报头字段中的数据采集终端标识ID以及位置坐标信息，对所述数据采集终端标识ID和所述位置坐标信息进行验证，若所述数据采集终端标识ID已经记录在所述汇聚终端中，并且所述位置坐标信息位于所述汇聚终端所对应的管理区域中，则验证通过，生成验证成功响应消息，并执行步骤103；
步骤103、返回验证响应消息。


4.根据权利要求1至3之一所述的数据处理方法，其特征在于，在所述方法应用的系统中所述数据采集终端设置在综合管廊中，所述数据采集终端包括阻燃外壳、功能电路板、内嵌支架以及无刷风机；
所述数据采集终端的外壳采用阻燃材料制成，所述数据采集终端的阻燃外壳为长方体空腔结构，在所述阻燃外壳四个侧面的内壁一侧设置有一圈非闭合内嵌支架，内嵌支架的末端向所述阻燃外壳的长方体空腔内部呈45°弯折，并与内嵌支架的始端之间形成出风口，所述功能电路板安装在所述弯折的面向长方体空腔一侧，所述无刷风机的排气口与所述功能电路板相对，所述无刷风机的吸气口通过所述内嵌支架上的通孔与设置在所述阻燃外壳上的进风口相连；所述功能电路板封装在带有胶圈的密闭的阻燃保护套内，并通过可拆卸的连接件固定在所述弯折的面向长方体空腔一侧；
所述功能电路包括供电单元、处理器单元、甲烷浓度传感器、硫化氢传感器、氧气传感器、温湿度传感器、适配传输单元、数据存储单元；其中，所述甲烷浓度传感器、所述硫化氢传感器、所述氧气传感器以及所述温湿度传感器均设置在面向长方体空腔一侧，用于对进入所述长方体空腔内的气体进行检测。


5.根据权利要求1所述的数据处理方法，其特征在于，在将适配和封装后的数据发送至管理区域内的汇聚终端进行汇总之前，还包括数据采集终端的登记注册过程，具体过程如下：
由位于运维管理层的运维管理控制中心分配数据采集终端标识ID、数字证书Certi，所述数据采集终端将分配的数据采集终端标识ID、数字证书Cer...

【专利技术属性】
技术研发人员：刘朋，
申请(专利权)人：深圳市安达信通讯设备有限公司，
类型：发明
国别省市：广东;44