一种基于深度学习目标检测的虚拟现实安防监控平台制造技术

一种基于深度学习目标检测的虚拟现实安防监控平台，属于智能安防检测领域。本发明专利技术的天气分类网络用于对输入图片进行天气分类，根据输出分类结果调用不同图像增强模型，图像增强模型包括暗光增强、去雨模型和去雾模型，对该部分模型进行了改进使其具有更好的处理效果并符合实时性应用需求。图像增强模型的输出将作为YOLOV5网络的输入进行目标检测，改进Yolov5目标检测网络的特征提取网络使其更加轻量化从而满足系统实时性需求。系统终端基于UE4引擎开发，提供三维虚拟界面，将算法模型部署在Web服务器，通过http协议将算法检测结果返回终端显示，直观的界面展示效果可以让安防人员更加快速查看和定位校园实时监控信息。人员更加快速查看和定位校园实时监控信息。人员更加快速查看和定位校园实时监控信息。

【技术实现步骤摘要】
一种基于深度学习目标检测的虚拟现实安防监控平台


[0001]本专利技术属于智能安防检测的
，尤其涉及基于深度学习目标检测的虚拟现实安防监控平台。

技术介绍

[0002]校园安全日益成为社会关注的热点。传统校园安防手段主要分为人防和物防，通过人员巡逻和实体防范进行安防管理。随着科学技术的不断进步，技术防范成为传统安防手段的补充和延申，信息化技术和校园安防的高效结合是提升校园安防力度的重要一环。
[0003]传统校园安防监控管理系统只是将实时监控画面在二维界面进行统一展示。这类系统更适用于监控画面的回看，并不利于安防人员的实时巡检，无法有效提高校园安防管理效率。YOLO系列目标检测算法虽然具有较高的检测精度和检测速度，但无法很好适应于恶劣天气条件下和低光状态下的目标检测任务。基于UE4引擎搭建真实校园的虚拟场景，再利用改进的目标检测算法对实时监控视频进行目标检测，可适应于多种恶劣天气和低光条件下的目标检测任务，将实时视频数据回传至虚拟校园平台，从而可以在虚拟场景中进行实时监控的查看。系统实时性高、界面展示直观且人机交互友好，有利于大规模应用。
[0004]基于BS架构的实时视频监控系统利用网络IP摄像头采集实时视频数据，利用 RTMP/RTSP协议将视频流传输给后台视频服务器，利用CGI、JavaScript技术实现多种智能终端登录浏览器显示监控画面。然而这类系统只是进行简单的视频数据回传，未与深度学习算法进行融合，且界面展示效果单一。RCNN目标检测算法采用选择性搜索算法产生若甘个可能包含物体的区域，利用卷积神经网络进行特征提取，使用支持向量机分类器进行分类，最后采用边界框回归的方式进行准确定位。Ren等人提出的FasterR
‑
CNN 算法在卷积层后添加区域提议网络代替选择性搜索算法，因此在速度上具有较大的提升。然而该系列目标检测算法虽然有较高的检测精度，但是仍存在计算冗余，不利于对实时性有较高要求的系统应用。Yolo系列目标检测算法是单阶段目标检测算法，基于边界框的回归，在产生边界框的同时进行分类和回归，能够满足实时性要求。然而该系列目标检测算法对低分辨率图像检测效果较差，无法适应恶劣天气条件的目标检测需求。典型恶劣天气条件下高铁周界入侵目标检测——基于深度学习的图像处理方法[柳青红.典型恶劣天气条件下高铁周界入侵目标检测[D].北京交通大学,2021.DOI:10.26944/d.cnki.gbfju.2021.000202.]提出先对图像进行去雾、去雨的预处理，然后将处理后的图像作为目标检测网络的输入，可有效提升恶劣天气条件下的目标检测效果。然而该方法会牺牲了对正常天气的目标检测性能且仅适应对单一恶劣天气进行目标检测。

技术实现思路

[0005]本专利技术针对现有技术的缺陷，提供一种基于深度学习目标检测的虚拟现实安防监控平台。利用UE4引擎强大的三维图形渲染能力，结合实际校园场景搭建三维虚拟校园场景，通过网络IP摄像头采集实时监控数据，视频数据通过RTMP协议传输至后台服务器，在后
台调用改进的目标检测算法进行目标检测，将检测结果利用HTTP协议响应给虚拟校园终端。将Yolo目标检测算法与图像分类与图像增强算法结合，可有效适应多种恶劣天气和低光状态的目标检测并具有较强实时性，将web服务技术与虚拟终端结合，通过更加直观的界面展示效果可以让安防人员更加快速查看和定位校园实时监控信息，从而提高校园安防监控平台的使用效率和安防人员工作效率。
[0006]为了解决上述技术问题，本专利技术的技术方案是提供一种基于深度学习目标检测的虚拟现实安防监控平台，其特征在于，包括以下步骤：
[0007]步骤1：基于Nginx搭建后台音视频服务器，利用RTMP协议获取远程实时视频数据，向虚拟终端进行实时视频数据响应；基于Flask框架搭建Web后台服务器，向音视频服务器路由地址拉取视频流数据。
[0008]步骤2：构建不同天气状态图像数据集；采集多幅完好的天气状态图像并进行天气类别标注作为驱动深度神经网络训练的标签；天气状态种类分为雾天、雨天和晴天。
[0009]步骤3：基于轻量级网络模型ShuffleNet训练天气状态分类模型，对步骤1获取的实时视频数据进行分帧处理，将每一帧的图像作为网络的输入，网络将输出三种天气状态分类结果(雨天、雾天、晴天)；搭建轻量化神经网络模型ShuffleNet，并利用步骤 2中构建的天气状态图像数据集进行训练；所述轻量化神经网络模型使用分组卷积提取特征，并对卷积后的通道进行重排，在降低计算量的同时保证模型效率；设计了一个ShuffleNet单元，利用1*1分组逐点卷积提取特征，然后进行通道重排；应用3*3深度卷积和分组逐点卷积匹配与之相连的跳跃连接的通道数。
[0010]步骤4：设计并联三通道连接器，分为通道A、通道B和通道C对图像进行增强操作；将步骤3所得到的三种分类结果分别作为连接器的输入，通道A为除雨通道，该通道将集成除雨模型，输出除雨图像；通道B为除雾通道，该通道将集成除雾模型，输出除雾图像；通道C为空通道，将输出原始图像；三通道均集成暗光增强算法对暗光图像进行预处理。
[0011]步骤5：将步骤4完成的图像增强输出作为YOLOv5检测网络的输入；所述YOLOv5 检测网络在实际应用中广泛应用于图像编辑、人群检测和自动驾驶。与之前版本相比， YOLOv3基于Resnet的思想设计了darknet
‑
53，它由连续的3
×
3和1
×
1卷积核组成。该算法通过对多尺度特征图进行预测来实现多尺度训练，从而进一步提高检测的精度，特别是对小目标的检测。改进YOLOV5的主干网络，使其由Shufflechannel和Shuffleblock组成，同时在特征提取的上层结构中采用了4次slice操作组成了Focus层,将原模型中的普通卷积替换为深度可分离卷积，激活函数使用Swin激活函数,进而减少了网络参数和计算量，提高了目标检测速度。
[0012]步骤6：基于UE4引擎开发虚拟终端；根据校园实景搭建虚拟校园场景，虚拟终端通过http协议分别获取实时视频数据和检测结果数据；开发虚拟场景漫游功能，安防人员登录虚拟终端后可以分别切换至第一人称视角和全局漫游视角对虚拟校园进行浏览；根据校园监控实际位点设置虚拟校园监控位点图标，可根据http响应数据对图表进行不同状态渲染，利用射线检测原理实现用户对虚拟图标控制，弹出实时监控画面。
[0013]本专利技术采用上述技术方案，与现有技术相比具有如下优点：
[0014]1、本专利技术首先对Yolo目标检测算法的输入进行图像预处理，使其与图像分类算法和图像增强算法结合，可有效适应多种恶劣天气和低光状态的目标检测并具有较强实时
性；基于UE4引擎开发三维虚拟终端，将web服务技术与虚拟终端结合，通过更加直观的界面展示效果可以让安防人员更加快速查看和定位校园实时监控信息，从而提高校园安防监控平台的使用效率和安防人员工作效率。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习目标检测的虚拟现实安防监控平台，其特征在于包括如下步骤：步骤1：基于Nginx搭建后台音视频服务器，利用RTMP协议获取远程实时视频数据，向虚拟终端进行实时视频数据响应；基于Flask框架搭建Web后台服务器，向音视频服务器路由地址拉取视频流数据；步骤2：构建不同天气状态图像数据集；采集多幅完好的天气状态图像并进行天气类别标注作为驱动深度神经网络训练的标签；天气状态种类分为雾天、雨天和晴天；步骤3：基于轻量级网络模型ShuffleNet训练天气状态分类模型，对步骤1获取的实时视频数据进行分帧处理，将每一帧的图像作为网络的输入，网络将输出三种天气状态分类结果；搭建轻量化神经网络模型ShuffleNet，并利用步骤2中构建的天气状态图像数据集进行训练；所述轻量化神经网络模型使用分组卷积提取特征，并对卷积后的通道进行重排，在降低计算量的同时保证模型效率；设计了一个ShuffleNet单元，利用1*1分组逐点卷积提取特征，然后进行通道重排；应用3*3深度卷积和分组逐点卷积匹配与之相连的跳跃连接的通道数；步骤4：设计并联三通道连接器，分为通道A、通道B和通道C对图像进行增强操作；将步骤3所得到的三种分类结果分别作为连接器的输入，通道A为除雨通道，该通道将集成除雨模型，输出除雨图像；通道B为除雾通道，该通道将集成除雾模型，输出除雾图像；通道C为空通道，将输出原始图像；三通道均集成暗光增强算法对暗光图像进行预处理；步骤5：将步骤4完成的图像增强输出作为YOLO v5检测网络的输入；所述YOLO v5的主干网络，由Shuffle channel和Shuffle block组成，同时在特征提取的上层结构中采用了4次slice操作组成了Focus层,将原模型中的普通卷积替换为深度可分离卷积，激活函数使用Swin激活函数；步骤6：基于UE4引擎开发虚拟终端；根据校园实景搭建虚拟校园场景，虚拟终端通过http协议分别获取实时视频数据和检测结果数据；开发虚拟场景漫游功能，安防人员登录虚拟终端后可以分别切换至第一人称视角和全局漫游视角对虚拟校园进行浏览；根据校园监控实际位点设置虚拟校园监控位点图标，根据http响应数据对图表进行不同状态渲染，利用射线检测原理实现用户对虚拟图标控制，弹出实时监控画面。2.根据权利要求1所述的虚拟现实安防监控平台，其特征在于上述步骤2的具体过程为：构建不同天气状态图像数据集；通过搜索引擎进行图像获取，数据集包括雾天、雨天、晴天3类天气，共9000幅图片，每类天气各3000幅图片，数据集面向多场景；运用镜像、翻转、裁剪、添加高斯噪声丰富数据集，将3类天气图片分别扩充至10000幅，将每一类天气数据选取20％作为测试集不做数据增强处理，其余80％数据进行数据增强，作为训练、验证集提升样本平衡与多样性。3.根据权利要求2所述的虚拟现实安防监控平台，其特征在于上述步骤3的具体过程为：基于轻量级网络模型ShuffleNet训练天气状态分类模型，对步骤1获取的实时视频数据进行分帧处理，将每一帧的图像作为网络的输入；同时采用通道混合帮助各组之间信息流通从而构建出轻量化ShuffleNet网络架构；此分类模型采用16个ShuffleNet单元和Leaky ReLU激活函数搭建天气状态分类模型。利用ImageNet数据集对该网络进行预训练，首先将训练集数据作为网络的输入，分别进行卷积运算提取图片特征，形成特征图，再通过Softmax特有的逐点分组卷积运算和通道
混合操作向后传播，经过若干卷积层和池化层后，使得softmax逼近网络从而预测出结果；网络的预测值和实际值作为损失函数的输入进行损失计算，利用梯度下降算法更新网络参数，通过不断迭代训练出最佳的天气分类模型。4.根据权利要求3所述的虚拟现实安防监控平台，其特征在于上述步骤4的具体过程为：步骤4.1：当天气状态分类模型判断图像为雨天状态时，图像将作为A通道的输入，通道A为除雨通道，该通道将集成除雨模型，输出除雨图像；对原始雨水图像I利用双边滤波算法将原始图像分解为低频部分ILf，利用I
‑
ILf得到图像的高频部分IHf；双边滤波器原理为：双边滤波器原理为：双边滤波器原理为：双边滤波器原理为：其中(i,j)为中心点坐标，f(i,j)为中心点坐标像素值；点(k,l)为中心点(i,j)邻域S中的任意一点，σ
d
和σ
r
为平滑参数；f(k,l)为((k,l)点的像素值，点(k,l)到点(i,j)的空间距离为d(i,j,k,l)，灰度差域值矩阵为r(i,j,k,l)，ω(i,j,k,l)为双边滤波的权重矩阵，各像素点经过双边滤波输出的像素值为g(i,j)；高频部分IHF中包含了背景信息以及噪音，提取图像HOG特征并且通过稀疏矩阵编码以及字典学习得到高频图像字典；在HOG特征描述子中，定向梯度方向的分布被用作特征；在强度突然变化的区域周围的梯度幅度大，说明物体边缘比平面区域包含了更多的物体形状信息；对IHF进行取块并进行字典学习得到字典D，使用KMeans最近邻算法将字典分为两类分别为雨字典和几何字典；根据雨的先验信息对雨字典再次进行分类，将误分类部分移除得到最终的雨字典DR1；根据雨字典DR1恢复出高频图像的雨成分IHFR，利用IHF
‑
IHFR得到IHFG，并对IHFG再次进行双边滤波并使用BM3D算法进行去噪处理，得到新的几何分量IHFG，将IHFG与ILF相加得到最终的去雨结果；步骤4.2：通道B为除雾通道，该通道将集成除雾模型，输出除雾图像；采用的除雾模型是基于改进的DCP算法，在任何三通道...

【专利技术属性】
技术研发人员：李南希，韩芳，王青云，
申请(专利权)人：东华大学，
类型：发明
国别省市：