一种双光谱目标检测框坐标同步及掩膜层绘制方法技术

本发明专利技术涉及智能图像处理领域，具体涉及一种双光谱目标检测框坐标同步及掩膜层绘制方法。本发明专利技术针对现有双光谱目标检测技术中存在的对同一视觉场景内相同目标的重复检测问题，提出一种目标检测框坐标同步及掩膜层绘制方法，其提供针对同一时刻双光谱帧内目标检测框主对角线顶点坐标同步和掩膜层绘制技术。对目标检测框同步主要采用顶点坐标缓存后传送至第二视频通道画面的方法实现，对掩膜层绘制主要采用逐像素填充方法实现。本发明专利技术可应用于双光谱视频监控系统，可有效避免对同一视觉场景内相同目标的重复检测。

A method of coordinate synchronization and mask layer drawing for bispectral target detection frame

【技术实现步骤摘要】
一种双光谱目标检测框坐标同步及掩膜层绘制方法
本专利技术涉及智能图像处理领域，具体涉及一种双光谱目标检测框坐标同步及掩膜层绘制方法。
技术介绍
目前，视频流目标检测主要基于可见光通道作为第一视频通道执行目标检测和识别任务，但由于在特殊环境如：强光、沙尘、阴雨、雾霾、无光照环境中，可见光通道的画面无法保证准确反映所监视场景的目标及其细节，因此加入已与第一视频通道画面配准的第二视频通道画面。常见的第二视频通道为主动式红外补光成像，缓解了上述问题。进一步的，第二视频通道可以为被动式红外热成像，在无需红外LED补光的情况下改善了上述环境中的成像质量和成像细节。加入第二视频通道后，与可见光通道同样需要执行目标检测和识别任务，当第一视频通道、第二视频通道画面针对同一场景呈现画面时，在相同通道时延、相同帧速率的情况下，在第一视频通道完成目标检测和识别后检测出的目标在第二视频通道执行二次检测，此步骤造成了对同一视觉场景内相同目标的重复检测。如何有效避免这种重复检测问题成为双光谱目标检测方法中一种迫切的需求。
技术实现思路
本专利技术针对现有双光谱目标检测技术中存在的重复检测问题，提出一种目标检测框坐标同步及掩膜绘制方法，其提供针对同一时刻双光谱帧内目标检测框主对角线顶点坐标同步和掩膜层绘制技术。对目标检测框同步采用主对角线顶点坐标缓存后传送至第二视频通道画面的方法完成目标检测框同步，对掩膜层绘制采用逐像素填充方法实现。本专利技术可有效避免对同一视觉场景内相同目标的重复检测。本专利技术的技术方案如下：一种双光谱目标检测框坐标同步及掩膜层绘制方法，包括以下步骤：获取单帧来自于第一视频通道的画面对所述第一视频通道的单帧画面进行预处理将所述已经过预处理的第一视频通道的单帧画面送入卷积神经网络进行目标检测和识别处理，输出结果包含所有已检出目标的检测框主对角线顶点坐标将所述卷积神经网络输出的所有已检出目标的检测框主对角线顶点坐标添加到顶点缓存列表暂时保存按顺序抽取所述顶点缓存列表内一组目标检测框主对角线顶点坐标，计算出副角线顶点坐标，得到目标检测框矩形区域的完整顶点坐标在同一时刻的第二视频通道画面内，以所述已获得完整顶点坐标的目标检测框矩形区域为填充范围对此范围内所有像素赋值。继续按顺序抽取所述顶点缓存列表内一组目标检测框主对角线顶点坐标并计算副对角线顶点坐标、以计算所得目标检测框矩形区域为填充范围进行像素赋值，直到将所述顶点缓存列表内的所有目标检测框主对角线顶点坐标抽取，完成目标检测框矩形副对角线顶点计算，并在第二视频通道帧内完成此矩形区域内所有像素赋值，至此完成第二视频通道画面内掩膜层叠加绘制。本专利技术基于双光谱视频监控设备中两路不同光谱的摄像头所采集的图像数据进行动态处理，其主要是将单帧第一视频通道的画面经过卷积神经网络处理输出后的所有目标检测框同步至同一时刻的第二视频通道的画面，并基于第二视频通道的画面在所有已同步的目标检测框限定的矩形区域内对所有像素执行填充操作。不同光谱的摄像头因所能成像的光谱范围不同，成像后的图像数据具备不同光谱下的目标特性。动态处理即同步第一视频通道画面内所有已检出目标的检测框至同一时刻的第二视频通道的画面内，并基于第二视频通道的画面在所有检测框限定的矩形区域中执行填充操作。通过执行上述两部操作，可有效规避对第一视频通道画面内已检出目标在第二视频通道画面内的重复检测和标定。在上述技术方案上，本专利技术还可以做如下改进：优选地，所述第一视频通道为可见光通道，所述第二视频通道为主动式红外补光通道或被动式红外热成像通道。第一视频通道亦可采用主动式红外补光成像、被动式红外热成像、紫外光成像中的一种，第二视频通道亦可采用在上述三种光谱通道中与第一视频通道不同的一种，也可选取为可见光通道。优选地，所述预处理步骤可扩展为以下方法的组合，包括但不限定于分区段灰度直方图均衡、图像去噪、图像锐化、边缘抗锯齿、图像开闭运算等数字图像处理方法。优选地，所述卷积神经网络可采用包括但不限于以下单个或几个神经网络模型的组合，包括但不限定于Inception-v4、ResNet、RetinaNet、Faster-RCNN等常见卷积神经网络模型。优选地，所述像素赋值操作之前，可进一步执行连通区域合并计算，即对所有已同步的矩形区域判断是否存在二维平面上的重叠情况，若存在重叠情况，则两两合并矩形区域成为连通域直到不存在二维平面上的重叠区域，然后在这些两两独立的区域所限定范围内执行像素填充操作。优选地，所述对矩形范围内所有像素赋值包括但不限于以下类型，包含纯色、随机噪声图样、随机线段图样、随机多边形图样、随机曲线段图样填充。附图说明图1为本专利技术目标检测框坐标同步流程图。图2为本专利技术掩膜层绘制流程图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所列举实例仅用于解释本专利技术，并非用于限定本专利技术的范围。如图1、图2所示，一种双光谱目标检测框坐标同步及掩膜层绘制方法，主要包括以下步骤：获取单帧来自于第一视频通道的画面对画面进行预处理。送入卷积神经网络进行目标检测和目标识别处理，输出结果包含所有已检出目标的检测框主对角线顶点坐标。将所述卷积神经网络输出的所有已检出目标的检测框主对角线顶点坐标添加到顶点缓存列表暂时保存，定义顶点缓存列表List={}，添加单组顶点后列表为List={Rect1[(x1,y1),(x2,y2)],……,Rectn[(x1,y1),(x2,y2)]}。按顺序抽取所述顶点缓存列表内一组目标检测框主对角线顶点坐标Rect[(x1,y1),(x2,y2)]，计算出副对角线坐标，坐标可表示为左下角（x1,y2）和右上角（x2,y1），综合副对角线坐标得到目标检测框矩形区域的完整顶点坐标，按顺时针顺序排列顶点坐标即Rect[(x1,y1),(x2,y1),(x2,y2),(x1,y2)]在同一时刻的第二视频通道画面内，以所述已获得完整顶点坐标的目标检测框矩形区域Rect[(x1,y1),(x2,y1),(x2,y2),(x1,y2)]为填充范围对此范围内所有像素赋值。继续按顺序抽取所述顶点缓存列表内一组目标检测框主对角线顶点坐标并计算副对角线顶点坐标、以计算所得目标检测框矩形区域为填充范围进行像素赋值，直到将所述顶点缓存列表内所有目标检测框主对角线顶点坐标抽取后完成目标检测框矩形副对角线顶点计算，并在第二视频通道帧内完成此矩形区域内所有像素赋值，至此完成同一时刻单帧第二视频通道画面内掩膜层叠加绘制。在上述技术方案的基础上，本实施样例还可以做如下改进：所述实施样例中预处理可以是包括但不限于灰度直方图均衡、图像去噪、图像锐化、边缘抗锯齿、图像开闭运算等数字图像处理方法单独或联合使用，以提升图像预处理质量。所述实施样例中可设置矩形边界框偏移量offset，可根据实际应用环境调整offset值，以对应不本文档来自技高网...

【技术保护点】
1.一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，包括以下步骤：/n获取单帧来自于第一视频通道的画面/n对所述步骤（1）中画面进行预处理/n将所述步骤（2）处理后画面送入卷积神经网络进行目标检测和识别处理，输出结果包含所有已检出目标的检测框主对角线顶点坐标/n将所述步骤（3）中的所有目标检测框主对角线顶点坐标添加到顶点缓存列表暂时保存/n按顺序抽取所述步骤（4）中顶点缓存列表内一组目标检测框主对角线顶点坐标，计算出副角线顶点坐标，得到目标检测框矩形区域的完整顶点坐标/n在同一时刻的第二视频通道画面内，以所述步骤（5）矩形区域为填充范围对此范围内所有像素赋值。/n

【技术特征摘要】
1.一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，包括以下步骤：
获取单帧来自于第一视频通道的画面
对所述步骤（1）中画面进行预处理
将所述步骤（2）处理后画面送入卷积神经网络进行目标检测和识别处理，输出结果包含所有已检出目标的检测框主对角线顶点坐标
将所述步骤（3）中的所有目标检测框主对角线顶点坐标添加到顶点缓存列表暂时保存
按顺序抽取所述步骤（4）中顶点缓存列表内一组目标检测框主对角线顶点坐标，计算出副角线顶点坐标，得到目标检测框矩形区域的完整顶点坐标
在同一时刻的第二视频通道画面内，以所述步骤（5）矩形区域为填充范围对此范围内所有像素赋值。


2.重复所述步骤（5）、步骤（6），直到将所述步骤（3）内的顶点缓存列表内所有目标检测框主对角线顶点坐标抽取，完成目标检测框矩形副对角线顶点计算，并在第二视频通道帧内完成此矩形区域内所有像素赋值，至此完成第二视频通道画面内掩膜层叠加绘制。


3.基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，所述预处理方法包括但不限于分区段灰度直方图均衡、图像去噪、图像锐化、边缘抗锯齿、图像开闭运算等数字图像处理方法。


4.基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，所述双光谱包括但不限于可见光谱、红外光谱、紫外光谱等光谱的两两组合。


5.基于权利要...

【专利技术属性】
技术研发人员：齐伯阳，崔素娟，李月芳，
申请(专利权)人：齐伯阳，崔素娟，李月芳，
类型：发明
国别省市：浙江;33