毫米波三维全息图像隐匿物品检测方法及系统技术方案

本发明专利技术提供一种定位精确的毫米波三维全息图像隐匿物品检测方法及系统，包括：对原始三维全息图像高通滤波并体素化；通过稀疏3D卷积及子流形稀疏3D卷积对体素化后的三维图像降采样并提取低层次三维空间几何特征，再使用子流形稀疏3D空洞卷积获取长程上下文信息提取高层次语义特征，输出四维张量；通过合并深度维度及通道维度，将四维张量变换为三维张量，再进行分类任务及边界框回归任务，得到边界框及置信度。本发明专利技术使用三维数据作为输入，提高了小目标的数据量的同时降低其周围噪声，并引入深度维度，完整保留了物体的三维空间几何信息而无失真，提升了小物体的辩认度，从而有效提升了毫米波三维全息图像中的隐匿物体的检出率与定位精度。

【技术实现步骤摘要】
毫米波三维全息图像隐匿物品检测方法及系统
本专利技术涉及三维图像处理
，特别是涉及一种毫米波三维全息图像隐匿物品检测方法及系统。
技术介绍
检测人员衣服下的隐匿物体是确保公共安全的重要手段之一。毫米波可以穿透衣服，且毫米波辐射为非电离辐射，对人体健康无危害，适合隐匿物品检测任务。主动式毫米波(ActiveMillimeterWave，AMMW)全息成像技术使用毫米波雷达扫描被检人员，并重建其三维全息图像，用于查看衣服下的隐匿物体。隐匿物品检测试图从扫描图像中检测具有潜在威胁的物品并定位。在机场、车站等人流量大或人员密集的场所，要求检测快速准确。因此，自动实时检测隐匿物品对安全行业具有重要意义。然而，AMMW全息图像隐匿物品检测任务存在以下挑战：一方面，由于硬件限制，AMMW全息图像空间分辨率一般较低，而隐匿物品种类繁多且大多数尺寸较小，给准确检测与定位带来挑战；另一方面，处理三维数据带来巨大的计算压力，使得实时检测并非易事。为降低计算成本，提高检测速度，大多数方法首先沿深度方向取最大值投影，再针对投影所得的二维正视图进行检测。但是投影过程中丢失了深度信息，且造成图像失真，不利于准确检测与定位。为引入深度信息，现有技术中使用二维正视图每个点对应的深度构成深度图，融合深度图与正视图输入改进的FasterR-CNN(Region-ConvolutionalNeuralNetwork，基于区域的卷积神经网络)进行检测。该方法引入了一定的深度信息，有效提高了检出率。为更大程度上利用三维几何信息，将全息图像沿14个角度投影，使用改进的FasterR-CNN分别对14幅二维视图进行检测，再将结果融合至前后两视图作为最终的检测结果。该方法有效提高了检出率与定位精度，但检测每组数据耗时2.87s，无法满足实时检测要求。自动驾驶的火热促进了三维目标检测的发展，然而，几乎没有针对AMMW全息图像的三维目标检测器。因此，如何针对AMMW全息图像进行三维目标检测已成为本领域技术人员亟待解决的问题之一。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种毫米波三维全息图像隐匿物品检测方法及系统，用于解决现有技术中AMMW全息图像的隐匿物品检测及定位准确性低、计算成本大、检测速度慢等问题。为实现上述目的及其他相关目的，本专利技术提供一种毫米波三维全息图像隐匿物品检测方法，所述毫米波三维全息图像隐匿物品检测方法至少包括：S1)对目标进行毫米波扫描，获得原始三维全息图像；S2)对所述原始三维全息图像进行高通滤波获取前景图像；S3)对所述前景图像进行体素化，使用每个体素格中各点特征的均值作为对应体素格的特征；S4)将体素化后的三维图像馈入三维特征提取器，通过稀疏3D卷积及子流形稀疏3D卷积对三维图像进行降采样并提取低层次三维空间几何特征，再使用子流形稀疏3D空洞卷积获取长程上下文信息提取高层次语义特征，输出四维张量；S5)将所述四维张量变换为三维张量，馈入区域候选网络进行分类任务及边界框回归任务，得到隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框及置信度。可选地，网络训练过程中将所述正视图中的边界框作为监督信息，各边界框真值在深度方向上的参数设为相同的先验值。更可选地，所述分类任务的损失函数满足如下关系式：LFL(p,p*)＝-αp*(1-p)γlog(p)-(1-p*)(1-α)pγlog(1-p)；其中，p为预测置信度；p*为置信度真值；α及γ为损失函数的超参数。更可选地，在边界框回归任务中，对边界框偏移进行编码，满足如下关系式：tx＝(x-xa)/da，ty＝(y-ya)/da，tw＝log(w/wa)，th＝log(h/ha)，其中，为锚框对角线的长度；x和y为边界框中心坐标的预测值，xa和ya为边界框中心坐标的锚框值，x*和y*为边界框中心坐标的真值；w为边界框宽度的预测值，wa为边界框宽度的锚框值，w*为边界框宽度的真值；h为边界框高度的预测值，ha为边界框高度的锚框值，h*为边界框高度的真值；tx和ty为边界框中心坐标的预测值相对于锚框值的偏移，和为边界框中心坐标的真值相对于锚框值的偏移；tw为边界框宽度的预测值相对于锚框值的偏移，为边界框宽度的真值相对于锚框值的偏移；th为边界框高度的预测值相对于锚框值的偏移，为边界框高度的真值相对于锚框值的偏移。更可选地，所述边界框回归任务的损失函数满足如下关系式：更可选地，所述毫米波三维全息图像隐匿物品检测方法的最终损失函数为：Ltotal(t,t*,p*)＝β1LFL(p,p*)+β2Lreg(t,t*,p*)；其中，β1与β2为超参数，用于平衡分类任务与回归任务的权重。可选地，网络训练过程中对数据进行翻转、全局缩放或全局平移，实现数据增强。为实现上述目的及其他相关目的，本专利技术提供一种毫米波三维全息图像隐匿物品检测系统，所述毫米波三维全息图像隐匿物品检测系统至少包括：输入模块，对原始三维全息图像进行滤波得到前景图像，并对所述前景图像进行体素化；三维特征提取器，连接所述输入模块的输出端，通过稀疏3D卷积神经网络提取三维空间几何特征及语义特征；区域候选网络，接收所述三维特征提取器输出的四维张量变换得到的三维张量，并经二维卷积神经网络进行分类任务及边界框回归任务；其中，边界框回归任务输出隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框；分类任务输出所述边界框对应的置信度。可选地，所述三维特征提取器包括降采样模块及连接于所述降采样模块输出端的上下文信息提取模块。可选地，所述降采样模块包括m个子流形稀疏3D卷积层及n个稀疏3D卷积层，各子流形稀疏3D卷积层与各稀疏3D卷积层级联，其中，m、n为大于1的自然数。可选地，所述上下文信息提取模块包括多个带空洞的子流形稀疏3D卷积层及一稀疏3D卷积层，所述稀疏3D卷积层连接于依次级联的带空洞的子流形稀疏3D卷积层的输出端。更可选地，每个卷积层后还包括批标准化和修正线性单元。可选地，所述四维张量包括宽度、高度、深度及通道维度；所述三维张量包括宽度、高度及通道维度；所述变换通过合并深度维度及通道维度实现。如上所述，本专利技术的毫米波三维全息图像隐匿物品检测方法及系统，具有以下有益效果：本专利技术的毫米波三维全息图像隐匿物品检测方法及系统使用高通滤波处理AMMW全息图像，有效降低了数据量，降低了运算压力；滤除了大量噪声，提高了定位精度；同时保留了目标的三维空间几何信息，有利于提高隐匿物品的检出率。通过精心设计的三维特征提取器，采用较低的降采样步长，保留了丰富的空间特征，适合小目标检测；采用多个带空洞的子流形稀疏3D卷积级联构建上下文信息提取模块，提取了长程上下文信息，有效降低了虚警率。本专利技术有效提高了AMMW全息图像中隐匿物品检测与定位性能，本文档来自技高网...

【技术保护点】
1.一种毫米波三维全息图像隐匿物品检测方法，其特征在于，所述毫米波三维全息图像隐匿物品检测方法至少包括：/nS1)对目标进行毫米波扫描，获得原始三维全息图像；/nS2)对所述原始三维全息图像进行高通滤波获取前景图像；/nS3)对所述前景图像进行体素化，使用每个体素格中各点特征的均值作为对应体素格的特征；/nS4)将体素化后的三维图像馈入三维特征提取器，通过稀疏3D卷积及子流形稀疏3D卷积对三维图像进行降采样并提取低层次三维空间几何特征，再使用子流形稀疏3D空洞卷积获取长程上下文信息提取高层次语义特征，输出四维张量；/nS5)将所述四维张量变换为三维张量，馈入区域候选网络进行分类任务及边界框回归任务，得到隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框及置信度。/n

【技术特征摘要】
1.一种毫米波三维全息图像隐匿物品检测方法，其特征在于，所述毫米波三维全息图像隐匿物品检测方法至少包括：
S1)对目标进行毫米波扫描，获得原始三维全息图像；
S2)对所述原始三维全息图像进行高通滤波获取前景图像；
S3)对所述前景图像进行体素化，使用每个体素格中各点特征的均值作为对应体素格的特征；
S4)将体素化后的三维图像馈入三维特征提取器，通过稀疏3D卷积及子流形稀疏3D卷积对三维图像进行降采样并提取低层次三维空间几何特征，再使用子流形稀疏3D空洞卷积获取长程上下文信息提取高层次语义特征，输出四维张量；
S5)将所述四维张量变换为三维张量，馈入区域候选网络进行分类任务及边界框回归任务，得到隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框及置信度。


2.根据权利要求1所述的毫米波三维全息图像隐匿物品检测方法，其特征在于：网络训练过程中将所述正视图中的边界框作为监督信息，各边界框真值在深度方向上的参数设为相同的先验值。


3.根据权利要求2所述的毫米波三维全息图像隐匿物品检测方法，其特征在于：所述分类任务的损失函数满足如下关系式：
LFL(p,p*)＝-αp*(1-p)γlog(p)-(1-p*)(1-α)pγlog(1-p)；
其中，p为预测置信度；p*为置信度真值；α及γ为损失函数的超参数。


4.根据权利要求3所述的毫米波三维全息图像隐匿物品检测方法，其特征在于：在边界框回归任务中，对边界框偏移进行编码，满足如下关系式：
tx＝(x-xa)/da，ty＝(y-ya)/da，
tw＝log(w/wa)，th＝log(h/ha)，






其中，为锚框对角线的长度；x和y为边界框中心坐标的预测值，xa和ya为边界框中心坐标的锚框值，x*和y*为边界框中心坐标的真值；w为边界框宽度的预测值，wa为边界框宽度的锚框值，w*为边界框宽度的真值；h为边界框高度的预测值，ha为边界框高度的锚框值，h*为边界框高度的真值；tx和ty为边界框中心坐标的预测值相对于锚框值的偏移，和为边界框中心坐标的真值相对于锚框值的偏移；tw为边界框宽度的预测值相对于锚框值的偏移，为边界框宽度的真值相对于锚框值的偏移；th为边界框高度的预测值相对于锚框值的偏移，为边界框高度的真值相对于锚框值的偏移。


5.根据权利要求4所述的毫米波三维全息图像隐匿物品检测方法，其特征在于...

【专利技术属性】
技术研发人员：吴亮，李怀乾，杨明辉，钱蓉，孙晓玮，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31