基于嵌入式前端处理的管廊视频智能属性检测方法及系统技术方案

本发明专利技术公开了一种基于嵌入式前端处理的管廊视频智能属性检测方法及系统，所述方法包括以下步骤：将从待检测的管廊视频中获取的图像输入检测模型中，通过检测模型获得属性检测结果；其中，所述检测模型运行于嵌入式前端处理服务器；所述检测模型的获取方法包括以下步骤：基于所述训练数据集，训练用于管廊属性分析的深度神经网络模型，获得训练好的深度神经网络模型；所述深度神经网络模型采用SSD

【技术实现步骤摘要】
基于嵌入式前端处理的管廊视频智能属性检测方法及系统


[0001]本专利技术属于计算机数字图像处理与模式识别
，特别涉及一种基于嵌入式前端处理的管廊视频智能属性检测方法及系统。

技术介绍

[0002]综合管廊是将水电气暖信等管线统一接入到管廊内，从而有利于运营、管理、维修和查询。在传统执行过程中，对于管廊内管线属性的管理主要依赖工人在巡检过程中人工判断，并将该管廊内的光缆电缆数量进行统计上报至数据中心进行统一管理，但是这种方法存在以下几点问题：1.效率低下，为了检查一条管廊内的线缆数量，需要工人走遍整条管廊，在管廊的每一个岔路口进行记录；2.准确率低，一般管线的数量不会突变，但是不排除某条管线断掉或者被盗，依照传统只在每个岔口统计的方法无法识别这种情况，会对运维造成极大困扰。
[0003]近几年由于人工智能技术的兴起，在综合管廊的基础上开发出“智慧管廊”，即解放人力，可以由机器自动进行巡逻维护，具体实现手段是在管廊顶部铺设有管道，在管道有一个自动机器人，可以由控制室远程控制，在远程控制下沿着管道进行移动，在移动过程中可以用自带的摄像机将拍到的视频通过AI算法进行管廊的管道异常搭放的识别和管廊位置检测的检测。解决了之前巡检人员检查不仔细，下管廊检查有危险的问题。
[0004]但是现有的算法一般都只适用于云端服务器；近几年的国产智能芯片发展也十分的迅速，如瑞芯微公司的RK3399PRO和华为的海思35系列，都开发了属于自己的神经网络推理框架，能够将原本在云端运行的AI算法转换到嵌入式设备上，嵌入式设备相对云端服务器体积和功耗都会小不少，成本也更低，对于管廊这种复杂的系统，嵌入式设备作为边缘计算设备十分合适。综上，亟需一种新的基于嵌入式前端处理的管廊视频智能属性检测方法及系统。

技术实现思路

[0005]本专利技术的目的在于提供一种基于嵌入式前端处理的管廊视频智能属性检测方法及系统，以解决上述存在的一个或多个技术问题。本专利技术的基于嵌入式前端处理的管廊视频智能属性检测方法，在机器人巡逻过程中，能够对管廊异常情况进行检测记录及报警，以解决现有技术的不足；使用嵌入式前端处理服务器可达到低功耗、低成本，能够实时对管廊异常情况进行分析，可加强地下管廊的管理效率。
[0006]为达到上述目的，本专利技术采用以下技术方案：
[0007]本专利技术的一种基于嵌入式前端处理的管廊视频智能属性检测方法，包括以下步骤：
[0008]将从待检测的管廊视频中获取的图像输入检测模型中，通过检测模型获得属性检测结果；其中，所述检测模型运行于嵌入式前端处理服务器；
[0009]所述检测模型的获取方法包括以下步骤：
[0010]获取管廊视频属性数据集并进行标注，获得训练数据集；
[0011]基于所述训练数据集，训练用于管廊属性分析的深度神经网络模型，获得训练好的深度神经网络模型；所述深度神经网络模型采用SSD
‑
lite模型；
[0012]将训练好的深度神经网络模型转换为ONNX格式再进行量化，得到RKNN模型，将所述RKNN模型作为检测模型。
[0013]本专利技术的进一步改进在于，所述SSD
‑
lite模型的检测特征图为19x19和10x10的特征图。
[0014]本专利技术的进一步改进在于，所述将训练好的深度神经网络模型转换为ONNX格式再进行量化，得到RKNN模型的步骤具体包括：
[0015]设定网络输入输出节点并准备与之匹配的anchor模板；
[0016]将训练好的深度神经网络模型转换为ONNX格式，并将模型参数量化为int8类型，获得量化后的模型；
[0017]将量化后的模型通过RKNNtoolkit转化为RKNN格式，获得RKNN模型。
[0018]本专利技术的进一步改进在于，所述通过检测模型获得属性检测结果的步骤具体包括：
[0019]对管廊图像进行切割，获得分别代表管廊左右情况的两个区域；
[0020]对所述两个区域分别进行分析，得出左右区域的属性检测结果。
[0021]本专利技术的进一步改进在于，还包括：
[0022]采用阈值筛选，包括：将属性检测结果进行softmax归一化处理，对检测置信度大于置信度阈值的属性检测结果进行显示。
[0023]本专利技术的进一步改进在于，还包括：对属性检测结果采用时域因素进行限制，减少摄像头抖动影响。
[0024]本专利技术的进一步改进在于，所述对属性检测结果采用时域因素进行限制，减少摄像头抖动影响的具体步骤包括：
[0025]1)在第一帧检测出正常或异常结果时，计数器开始计数，并保存每个结果而不输出；
[0026]2)后续帧检测到相应类别结果时，对应计数器累加；
[0027]3)出现与之前不同检测结果的帧时，进行计数器分析；其中，当计数大于置信度阈值时，调小异常显示阈值；小于置信度阈值时，调大异常显示阈值。
[0028]本专利技术的一种基于嵌入式前端处理的管廊视频智能属性检测系统，包括：
[0029]属性检测模块，用于将从待检测的管廊视频中获取的图像输入检测模型中，通过检测模型获得属性检测结果；其中，所述检测模型运行于嵌入式前端处理服务器；
[0030]所述检测模型的获取方法包括以下步骤：
[0031]获取管廊视频属性数据集并进行标注，获得训练数据集；
[0032]基于所述训练数据集，训练用于管廊属性分析的深度神经网络模型，获得训练好的深度神经网络模型；所述深度神经网络模型采用SSD
‑
lite模型；
[0033]将训练好的深度神经网络模型转换为ONNX格式再进行量化，得到RKNN模型，将所述RKNN模型作为检测模型。
[0034]与现有技术相比，本专利技术具有以下有益效果：
[0035]本专利技术公开了一种基于嵌入式前端处理的管廊视频智能属性检测方法，基于样本训练学习生成深度学习网络分类器模型，将模型转换成嵌入式设备的深度学习框架的模型，采用深度神经网络分类器对新获取、待识别的图像进行管廊的属性检测。本专利技术使用嵌入式设备达到低功耗，低成本，实时的对城市中的管廊属性情况进行分析，加强了城市地下管廊的管理效率，为了适应嵌入式前端处理服务器本专利技术方法的具体改进步骤包括：本专利技术SSD
‑
lite模型以mobilenetv2为骨架网络，用深度可分离卷积代替普通卷积，计算量减少到了1/k2，其中k代表的是卷积核的大小；本专利技术通过量化等模型压缩的方法，进一步减少模型处理图片的时间，并将其转换成嵌入式设备也能运行的模型。
[0036]本专利技术中通过修改SSD网络结构，检测特征图根据SSD检测网络进行修改保留了19x19和10x10的特征图，减少到了原版SSD四分之一的计算量，有利于减少嵌入式设备模型运行的时间。
[0037]本专利技术中结合属性检测结果和数字图像处理技术消除弱光源干扰，最后通过连续帧检测结果进行时域分析，达到实时精确的识别效果。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于嵌入式前端处理的管廊视频智能属性检测方法，其特征在于，包括以下步骤：将从待检测的管廊视频中获取的图像输入检测模型中，通过检测模型获得属性检测结果；其中，所述检测模型运行于嵌入式前端处理服务器；所述检测模型的获取方法包括以下步骤：获取管廊视频属性数据集并进行标注，获得训练数据集；基于所述训练数据集，训练用于管廊属性分析的深度神经网络模型，获得训练好的深度神经网络模型；所述深度神经网络模型采用SSD
‑
lite模型；将训练好的深度神经网络模型转换为ONNX格式再进行量化，得到RKNN模型，将所述RKNN模型作为检测模型。2.根据权利要求1所述的一种基于嵌入式前端处理的管廊视频智能属性检测方法，其特征在于，所述SSD
‑
lite模型的检测特征图为19x19和10x10的特征图。3.根据权利要求1所述的一种基于嵌入式前端处理的管廊视频智能属性检测方法，其特征在于，所述将训练好的深度神经网络模型转换为ONNX格式再进行量化，得到RKNN模型的步骤具体包括：设定网络输入输出节点并准备与之匹配的anchor模板；将训练好的深度神经网络模型转换为ONNX格式，并将模型参数量化为int8类型，获得量化后的模型；将量化后的模型通过RKNNtoolkit转化为RKNN格式，获得RKNN模型。4.根据权利要求1所述的一种基于嵌入式前端处理的管廊视频智能属性检测方法，其特征在于，所述通过检测模型获得属性检测结果的步骤具体包括：对管廊图像进行切割，获得分别代表管廊左右情况的两个区域；对所述两个区域分别进行分析，得出左右区域的属...

【专利技术属性】
技术研发人员：钱学明，王萱，王泽远，汤培勇，
申请(专利权)人：长兴云尚科技有限公司，
类型：发明
国别省市：