监控边缘计算中提升视频目标检测性能的方法及装置制造方法及图纸

本发明专利技术公开了监控边缘计算中提升视频目标检测性能的方法及装置，涉及数字图像处理技术领域。所述方法包括步骤：根据目标检测神经网络算法的输入尺寸和原始输入图像尺寸确定扫描用的多个矩形滑动窗的尺寸，矩形滑动窗能够按照预设的扫描规则按帧在原始输入图像上移动到不同的位置；每帧检测时，将原始输入图像和各矩形滑动窗中的滑动窗子图进行缩放处理，处理后原始输入图像的分辨率低于滑动窗子图的分辨率；将缩放处理后的各图像组合拼接成矩形输入图像并作为检测输入图像；通过对应输入尺度的目标检测神经网络算法对检测输入图像进行检测。本发明专利技术降低了监控边缘计算设备上目标检测算法的算力和带宽需求，优化了目标检测距离。

【技术实现步骤摘要】
监控边缘计算中提升视频目标检测性能的方法及装置
本专利技术涉及数字图像处理
，尤其涉及一种监控边缘计算中提升视频目标检测性能的方法及装置。
技术介绍
随着人工智能和深度学习技术的快速发展，在监控领域，基于卷积神经网络（CNN）算法的目标检测方法得到了广泛应用，常用的目标检测流程是从左到右、从上到下滑动窗口，利用分类识别目标。为了在不同观察距离处检测不同的目标类型，我们可以使用不同大小和宽高比的窗口（滑动窗）。目标检测算法中，常用的比如RCNN、FastRCNN和FasterRCNN等是基于候选区域和深度学习分类的方法，从RCNN到FastRCNN，再到FasterRCNN，不断刷新mAP（meanAveragePrecision）；而YOLO、SSD、DenseBox等方法是基于深度学习的回归方法，将性能提高到一个非常高的帧率。在监控的边缘计算应用场景，如IPC、NVR、DVR等设备上，当前设备的算力和带宽都非常有限。为了满足实时目标检测的帧率要求，在这些设备上往往采用了算力要求较低的SSD、YOLO、MobileNet_SSD、MTCN本文档来自技高网...

【技术保护点】
1.一种监控边缘计算中提升视频目标检测性能的方法，其特征在于包括步骤：/n根据目标检测神经网络算法的输入尺寸和原始输入图像尺寸确定扫描用的多个矩形滑动窗的尺寸，所述矩形滑动窗能够按照预设的扫描规则按帧在原始输入图像上移动到不同的位置；/n每帧检测时，将原始输入图像和各矩形滑动窗中的滑动窗子图分别按不同比例进行缩放处理，处理后的原始输入图像的分辨率低于滑动窗子图的分辨率；/n将缩放处理后的各图像组合拼接成矩形输入图像并作为检测输入图像；/n通过对应输入尺度的目标检测神经网络算法对前述检测输入图像进行检测。/n

【技术特征摘要】
1.一种监控边缘计算中提升视频目标检测性能的方法，其特征在于包括步骤：
根据目标检测神经网络算法的输入尺寸和原始输入图像尺寸确定扫描用的多个矩形滑动窗的尺寸，所述矩形滑动窗能够按照预设的扫描规则按帧在原始输入图像上移动到不同的位置；
每帧检测时，将原始输入图像和各矩形滑动窗中的滑动窗子图分别按不同比例进行缩放处理，处理后的原始输入图像的分辨率低于滑动窗子图的分辨率；
将缩放处理后的各图像组合拼接成矩形输入图像并作为检测输入图像；
通过对应输入尺度的目标检测神经网络算法对前述检测输入图像进行检测。


2.根据权利要求1所述的方法，其特征在于还包括步骤：将各滑动窗子图的检测结果合并映射到原始输入图像上。


3.根据权利要求1或2所述的方法，其特征在于：根据目标检测神经网络算法的输入尺寸和原始输入图像尺寸确定扫描用的多个矩形滑动窗的尺寸的步骤为，
步骤110，根据当前设备算力确定所采用的目标检测神经网络算法的输入尺寸，以及对应输入尺寸下算法能检测到目标的最小检测尺寸和最大检测尺寸；
步骤120，按照前述输入尺寸，将检测神经网络算法输入矩形分割成多个矩形子图区，每个矩形子图区大于等于算法能检测的最小检测尺寸；所述矩形子图区包括全图映射子图区和滑动窗映射子图区，所述全图映射子图区的长宽比与原始输入图像的长宽比相同用于显示缩小到低分辨率的原始输入图像，所述滑动窗映射子图区用于显示对应的滑动窗子图；
其中，各矩形子图区的分割步骤如下，
步骤121，在检测神经网络算法输入矩形上确定所述全图映射子图区的大小：根据最近检测距离L0的目标在原始输入图像上的大小，选择一个初始缩放比例，使得所述原始输入图像上的最近目标缩放后小于等于算法能检测的最大检测尺寸，以便在全图映射子图区上检测到最近距离目标，同时给各滑动窗映射子图区留下足够空间，所述原始输入图像到全图映射子图区的缩放比例确定后，也确定了全图映射子图区上能检测到的最远检测距离L1；
步骤122，在剩下的空间上，选择一个矩形大小区域作为一个滑动窗映射子图区，使得所述原始输入图像上距离L1的目标缩小后能够落在所述滑动窗映射子图区内，并且能够被检测算法检测到；调整缩放比例，使得原始输入图像上最远检测距离L2的目标能被检测到；
步骤123，重复步骤122以确定其他滑动窗映射子图区的大小，将最远检测距离逐步扩大，直到没有合适的空间用来设置为滑动窗映射子图区；
步骤124，重复执行步骤121至步骤123以调整各矩形子图区大小和对应的缩放比例，使得检测距离最远。


4.根据权利要求3所述的方法，其特征在于：步骤122中，原始输入图像上最远检测距离L2的目标在原始图像上停留所用时间长于滑动窗的一轮扫描时间。


5.根据权利要求3所述的方法，其特征在于：所述多个矩形滑动窗的大小和/或长宽比不同；
所述预设的扫描规则为从左往右从上往下顺序匀速扫描全图，或者按照随机移动规则扫描全图，或者按照用户制定的顺序扫描全图。


6.根据权利要求5所述的方法，其特征在于：获取各滑动窗子...

【专利技术属性】
技术研发人员：韦虎，涂治国，
申请(专利权)人：眸芯科技上海有限公司，
类型：发明
国别省市：上海;31