基于图像融合的目标检测方法技术

本申请公开一种基于图像融合的目标检测方法

【技术实现步骤摘要】
基于图像融合的目标检测方法、人体安检设备、存储介质


[0001]本申请涉及但不限于毫米波图像处理
，尤其涉及一种基于图像融合的目标检测方法
、
人体安检设备
、
存储介质
。

技术介绍

[0002]由于毫米波人体安检设备生成的毫米波图像分辨率较差，且受到周围环境干扰，以及人体穿着的衣物
、
人体携带的物品具有多样性和复杂性
。
往往需要非常有经验的安检人员根据毫米波图像进行人工判定，从而实现对危险品的检测和识别，此类人工检测方法费时费力，导致安检效率低，不能快速高效地实现对危险品的定位和识别
。
[0003]随着深度学习技术快速发展和应用，当前该技术已经较大程度提高了人体安检产品的客户体验感
。
为了不断提高目标检测的检出率，同时降低虚警率，基于深度学习的目标检测方法得到了广泛应用，例如基于多传感器融合的目标检测，但是这种多传感器融合方案，会出现多传感器物品检测目标无法准确地进行物品坐标对齐的问题，例如，在旅客过安检的时候，会出现多种物品堆叠在人体上的问题，物品可能出现在人体身体部位外部，或出现在人体身体部位内部，不利于毫米波图像中物品检出，进而增高物品检测的虚警率，严重影响了人体安检产品的客户体验感
。

技术实现思路

[0004]本申请实施例提供了一种基于图像融合的目标检测方法
、
人体安检设备
、
存储介质，能够有效降低人体安检产品的物品检测虚警率，从而提升人体安检产品的客户体验感
。
[0005]第一方面，本申请实施例提供了一种基于图像融合的目标检测方法，应用于人体安检设备，所述方法包括：
[0006]获取参考对象对应的可见光图像和毫米波图像；
[0007]根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果，所述可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；
[0008]根据第二目标检测算法对所述毫米波图像进行图像处理，得到所述参考对象对应的毫米波检测结果，所述毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；
[0009]计算所述可见光人体矩形框坐标对应的矩形框中的若干个第一物品特征向量，并计算所述毫米波人体矩形框坐标对应的矩形框中的若干个第二物品特征向量；
[0010]根据余弦相似度算法
、
各个所述第一物品特征向量和各个所述第二物品特征向量计算各个参考对齐置信度值，其中，所述参考对齐置信度值表征所述可见光物品矩形框坐标与所述毫米波物品矩形框坐标之间的对齐置信度值；
[0011]从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫
米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上
。
[0012]在一些实施例中，所述人体安检设备包括毫米波成像装置和可见光摄像头，在所述毫米波图像为毫米波视频流，所述可见光图像为可见光视频流的情况下，在所述获取参考对象对应的可见光图像和毫米波图像之前，所述方法还包括：
[0013]根据所述毫米波成像装置的位置信息调整所述可见光摄像头的拍摄方向信息和安装位置信息，以使所述可见光图像与所述毫米波图像对应的视角相同；
[0014]确定参考帧率，所述参考帧率为所述毫米波视频流的帧率，根据所述参考帧率调整所述可见光摄像头的帧率，以使所述可见光摄像头的帧率与所述参考帧率相同
。
[0015]在一些实施例中，所述可见光物品矩形框坐标的数量为一，所述可见光人体矩形框坐标包括第一中心点坐标
、
第一左上角点坐标
、
第一左下角点坐标
、
第一右上角点坐标和第一右下角点坐标，所述可见光物品矩形框坐标包括第二中心坐标
、
第二左上角点坐标
、
第二左下角点坐标
、
第二右上角点坐标和第二右下角点坐标，所述计算所述可见光人体矩形框坐标对应的人体矩形框中的若干个第一物品特征向量，包括：
[0016]计算所述第一中心点坐标与所述第二中心点坐标之间的第一欧式距离值；
[0017]计算所述第一左上角点坐标与所述第二左上角点坐标之间的第二欧式距离值；
[0018]计算所述第一左下角点坐标与所述第二左下角点坐标之间的第三欧式距离值；
[0019]计算所述第一右上角点坐标与所述第二右上角点坐标之间的第四欧式距离值；
[0020]计算所述第一右下角点坐标与所述第二右下角点坐标之间的第五欧式距离值；
[0021]对所述第一欧式距离值
、
所述第二欧式距离值
、
所述第三欧式距离值
、
所述第四欧式距离值和所述第五欧式距离值进行归一化处理，得到所述第一物品特征向量
。
[0022]在一些实施例中，所述毫米波人体矩形框坐标包括第三中心点坐标
、
第三左上角点坐标
、
第三左下角点坐标
、
第三右上角点坐标和第三右下角点坐标，所述毫米波物品矩形框坐标至少包括第一毫米波物品矩形框坐标和第二毫米波物品矩形框坐标，所述第二物品特征向量包括第一特征向量和第二特征向量，所述第一毫米波物品矩形框坐标包括第四中心点坐标
、
第四左上角点坐标
、
第四左下角点坐标
、
第四右上角点坐标和第四右下角点坐标，所述第二毫米波物品矩形框坐标包括第五中心点坐标
、
第五左上角点坐标
、
第五左下角点坐标
、
第五右上角点坐标和第五右下角点坐标，所述计算所述毫米波人体矩形框坐标对应的人体矩形框中的若干个第二物品特征向量，包括：
[0023]计算所述第三中心点坐标与所述第四中心点坐标之间的第六欧式距离值；
[0024]计算所述第三左上角点坐标与所述第四左上角点坐标之间的第七欧式距离值；
[0025]计算所述第三左下角点坐标与所述第四左下角点坐标之间的第八欧式距离值；
[0026]计算所述第三右上角点坐标与所述第四右上角点坐标之间的第九欧式距离值；
[0027]计算所述第三右下角点坐标与所述第四右下角点坐标之间的第十欧式距离值；
[0028]对所述第六欧式距离值
、
所述第七欧式距离值
、
所述第八欧式距离值
、
所述第九欧式距离值和所述第十欧式距离值进行归一化处理，得到所述第一特征向量；
[0029]计算所述第三中心点坐标与所述第五中心点坐标之间的第十一欧式距离值；
[0030]计算所述第三左上角点坐标与所述第五左上角点坐标之间的第十二欧式距离值；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图像融合的目标检测方法，其特征在于，应用于人体安检设备，所述方法包括：获取参考对象对应的可见光图像和毫米波图像；根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果，所述可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；根据第二目标检测算法对所述毫米波图像进行图像处理，得到所述参考对象对应的毫米波检测结果，所述毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；计算所述可见光人体矩形框坐标对应的矩形框中的若干个第一物品特征向量，并计算所述毫米波人体矩形框坐标对应的矩形框中的若干个第二物品特征向量；根据余弦相似度算法
、
各个所述第一物品特征向量和各个所述第二物品特征向量计算各个参考对齐置信度值，其中，所述参考对齐置信度值表征所述可见光物品矩形框坐标与所述毫米波物品矩形框坐标之间的对齐置信度值；从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上
。2.
根据权利要求1所述的基于图像融合的目标检测方法，其特征在于，所述人体安检设备包括毫米波成像装置和可见光摄像头，在所述毫米波图像为毫米波视频流，所述可见光图像为可见光视频流的情况下，在所述获取参考对象对应的可见光图像和毫米波图像之前，所述方法还包括：根据所述毫米波成像装置的位置信息调整所述可见光摄像头的拍摄方向信息和安装位置信息，以使所述可见光图像与所述毫米波图像对应的视角相同；确定参考帧率，所述参考帧率为所述毫米波视频流的帧率，根据所述参考帧率调整所述可见光摄像头的帧率，以使所述可见光摄像头的帧率与所述参考帧率相同
。3.
根据权利要求1所述的基于图像融合的目标检测方法，其特征在于，所述可见光物品矩形框坐标的数量为一，所述可见光人体矩形框坐标包括第一中心点坐标
、
第一左上角点坐标
、
第一左下角点坐标
、
第一右上角点坐标和第一右下角点坐标，所述可见光物品矩形框坐标包括第二中心坐标
、
第二左上角点坐标
、
第二左下角点坐标
、
第二右上角点坐标和第二右下角点坐标，所述计算所述可见光人体矩形框坐标对应的人体矩形框中的若干个第一物品特征向量，包括：计算所述第一中心点坐标与所述第二中心点坐标之间的第一欧式距离值；计算所述第一左上角点坐标与所述第二左上角点坐标之间的第二欧式距离值；计算所述第一左下角点坐标与所述第二左下角点坐标之间的第三欧式距离值；计算所述第一右上角点坐标与所述第二右上角点坐标之间的第四欧式距离值；计算所述第一右下角点坐标与所述第二右下角点坐标之间的第五欧式距离值；对所述第一欧式距离值
、
所述第二欧式距离值
、
所述第三欧式距离值
、
所述第四欧式距离值和所述第五欧式距离值进行归一化处理，得到所述第一物品特征向量
。4.
根据权利要求3所述的基于图像融合的目标检测方法，其特征在于，所述毫米波人体
矩形框坐标包括第三中心点坐标
、
第三左上角点坐标
、
第三左下角点坐标
、
第三右上角点坐标和第三右下角点坐标，所述毫米波物品矩形框坐标至少包括第一毫米波物品矩形框坐标和第二毫米波物品矩形框坐标，所述第二物品特征向量包括第一特征向量和第二特征向量，所述第一毫米波物品矩形框坐标包括第四中心点坐标
、
第四左上角点坐标
、
第四左下角点坐标
、
第四右上角点坐标和第四右下角点坐标，所述第二毫米波物品矩形框坐标包括第五中心点坐标
、
第五左上角点坐标
、
第五左下角点坐标
、
第五右上角点坐标和第五右下角点坐标，所述计算所述毫米波人体矩形框坐标对应的人体矩形框中的若干个第二物品特征向量，包括：计算所述第三中心点坐标与所述第四中心点坐标之间的第六欧式距离值；计算所述第三左上角点坐标与所述第四左上角点坐标之间的第七欧式距离值；计算所述第三左下角点坐标与所述第四左下角点坐标之间的第八欧式距离值；计算所述第三右上角点坐标与所述第四右上角点坐标之间的第九欧式距离值；计算所述第三右下角点坐标与所述第四右下角点坐标之间的第十欧式距离值；对所述第六欧式距离值
、
所述第七欧式距离值
、
所...

【专利技术属性】
技术研发人员：唐红强，高伟，罗俊，刘文冬，周春元，张慧，
申请(专利权)人：珠海微度芯创科技有限责任公司，
类型：发明
国别省市：