基于深度学习和RPCA的太赫兹图像目标识别方法技术

一种基于深度学习和RPCA太赫兹图像的目标识别方法。其步骤为：(1)使用稳健主成分分析RPCA方法去除背景噪声；(2)使用形状先验知识缩小兴趣目标区域；(3)生成太赫兹图像数据集；(4)训练深度学习网络Faster‑RCNN；(5)使用深度学习网络Faster‑RCNN进行目标识别。本发明专利技术使用稳健主成分分析RPCA方法去除太赫兹图像背景噪声干扰，利用形状先验知识缩小兴趣区域，使用深度学习网络Faster‑RCNN对兴趣区域进行目标识别。本发明专利技术使用了稳健主成分分析RPCA和形状先验知识，克服了背景噪声的影响，能极快的准确的检测到太赫兹图像中的目标。

【技术实现步骤摘要】
基于深度学习和RPCA的太赫兹图像目标识别方法
本专利技术属于图像处理
，更进一步涉及图像识别
中的一种基于深度学习和稳健主成分分析RPCA(RobustPrincipleComponentAnalysis)的太赫兹图像目标识别方法。本专利技术可用于公共安全领域中的对太赫兹安检图像进行目标检测和识别。
技术介绍
太赫兹波(THz波)包含了频率为0.1到10THz的电磁波。该术语适用于从电磁辐射的毫米波波段的高频边缘(300GHz)和低频率的远红外光谱带边缘(3000GHz)之间的频率，对应的波长的辐射在该频带范围从0.03mm到3mm。简单的说，太赫兹波是一种非接触的、非破坏性的检测手段，而且能穿透许多成像技术(如超声波和热成像技术)穿透不了的高密度分子结构。在公共安全领域中，太赫兹波作为一种有效的检测手段已经开始进入大众视野，太赫兹安检仪也已经开始大规模商用。由于太赫兹安检仪设备的图像采集技术尚未成熟，太赫兹图像的像素比较低。太赫兹图像角度仅限于几个固定角度，因此同一角度获得的太赫兹图像具有相似的背景。目前还没有针对太赫兹图像的目标识别算法，对太赫兹图像目标的识别方式仍停留在人眼辨别，不仅需要耗费大量的人力资源，而且由于人眼的疲劳性，会导致误检率上升，降低检测效率。如果不结合太赫兹图像的特点，直接采用经典的目标识别算法，识别效果很差。Felzenszwalb等人在其发表的论文“ADiscriminativelyTrained,Multiscale,DeformablePartModel”(IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2008)中提出可变形部件模型DPM(DeformablePartModel)中公开了一种基于组件的目标识别方法。该方法先计算梯度方向直方图，然后利用支持向量机SVM(SurpportVectorMachine)训练得到物体的梯度模型，使用得到的模型和目标进行匹配。可变形部件模型DPM将传统目标检测方法中对目标整体的检测问题拆分并转化为对模型各个部件的检测问题，但是该方法仍然存在的不足之处在于，模型和目标的匹配计算量很大，导致识别时间大大增加，不能用于太赫兹图像的实时检测。ShaoqingRen等人在其发表的论文“FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks”(IEEETransactionsonPatternAnalysis&MachineIntelligence,2015)中公开了一种基于深度学习的目标识别方法。该方法主要思路是：利用区域建议网络RPN(RegionProposalNetwork)，快速生成候选区域，通过候选区域生成建议框，对建议框进行分类和回归得到识别结果。但是该方法存在的不足之处在于，没有利用太赫兹图像背景相似性的特点去除大量背景噪声，区域建议网络RPN直接对整张太赫兹图像生成候选区域，在实时检测的应用上准确率不高、检测时间较长，不能用于太赫兹图像的实时检测。
技术实现思路
本专利技术的目的是针对现有技术存在的不足，提供一种基于深度学习和RPCA太赫兹图像的目标识别方法。实现本专利技术目的的思路是，通过采用稳健主成分分析RPCA方法对太赫兹图像进行分解，去除背景噪声干扰；结合形状先验的知识进一步将兴趣目标区域缩小，得到太赫兹目标掩模图像；构建训练集，使用人工标记信息训练基于深度学习的目标识别网络FasterR-CNN；将太赫兹目标掩模图像映射到原图像对应的区域；将原图像对应的区域输入训练好的目标识别网络Faster-RCNN进行智能目标识别。本专利技术实现的具体步骤包括如下：(1)使用稳健主成分分析RPCA方法去除背景噪声：(1a)依次输入由相同角度获取的6张大小为200×380×3像素的太赫兹图像，将每张图像拉为列向量，按照图像输入次序组成矩阵XI；(1b)对矩阵XI在满足约束条件||XI-LI-SI||F＜d的条件下，使目标函数||LI||*+m||SI||1的值最小，得到满足约束条件的低秩的背景噪声矩阵LI和稀疏的去除背景噪声的矩阵SI，其中，||||F表示求F-范数操作，XI表示图片大小为200×380×3个像素的太赫兹图像矩阵，LI表示低秩的背景噪声矩阵，SI表示稀疏的去除背景噪声的矩阵，d表示取值为10-3的常数，||||*表示求核范数操作，m表示大于零的权因子，||||1表示求1-范数操作；(1c)将稀疏矩阵SI按照输入次序依次还原为6张图像；(2)使用形状先验知识缩小兴趣目标区域：(2a)对还原后的每张图像进行二值化操作，得到二值化后的图像；(2b)连通每张二值化后图像中满足上下左右四个方向的相邻像素值均为1的像素，得到每张二值化后图像中所有的连通区域；(2c)删除所有二值化后图像连通区域中的像素总数小于350个的连通区域，利用形状先验知识保存长宽比范围在1.0～5.0的矩形连通域，将剩余的连通区域组成目标掩模图像；(3)生成太赫兹图像数据集：(3a)将包含太赫兹图像中的目标位置信息的txt文件生成xml文件；(3b)将xml文件内容按照8:2的比例，生成训练验证集和测试集；将训练验证集的内容按照8:2的比例，生成训练集和验证集；(3c)将太赫兹图像、xml文件、训练集、验证集、测试集输入到ImageNet文件夹中；(4)训练深度学习网络Faster-RCNN：(4a)使用预训练模型初始化深度学习网络Faster-RCNN中的特征提取网络参数、区域建议网络RPN参数和识别网络RCNN参数；(4b)将训练集中的图像依次输入特征提取网络，更新特征提取网络的参数，输出每张图像的特征图；(4c)将每张图像的特征图依次输入区域建议网络RPN，更新区域建议网络RPN的参数，区域建议网络RPN输出训练集中的每张图像对应的矩形候选框；(4d)将每张图像的每个矩形候选框和特征图分别输入识别网络RCNN，更新识别网络RCNN的参数，识别网络RCNN输出修正的目标位置和类别；(4e)保持特征提取网络参数不变，将每张图像的特征图依次输入区域建议网络RPN，第二次更新区域建议网络RPN参数，区域建议网络RPN输出第二次更新后每张图像对应的矩形候选框；(4f)将特征图和更新后每张图像对应的矩形候选框分别输入识别网络RCNN，第二次更新识别网络RCNN参数，识别网络RCNN输出第二次更新后的修正目标位置和类别；(4g)判断网络RCNN是否收敛，若是，则得到训练好的深度学习网络Faster-RCNN后执行步骤(5)，否则，执行步骤(4c)；(5)利用深度学习网络识别太赫兹图像目标：(5a)将目标掩模图像中的每个连通区域映射到原图像对应的区域，将原图像对应的区域像素输入到训练好的神经网络Faster-RCNN中的特征提取网络，输出原图像对应区域的特征图；(5b)将原图像对应区域的特征图输入到训练好的神经网络Faster-RCNN中的区域建议网络RPN，输出建议窗口；(5c)将建议窗口与原图像对应区域的特征图输入到训练好的神经网络Faster-RCNN中的识别网络RCNN，输出识别结果。与现有技本文档来自技高网...

【技术保护点】
1.一种基于深度学习和稳健主成分分析RPCA的太赫兹图像目标识别方法，其特征在于，使用稳健主成分分析RPCA方法去除背景噪声，使用形状先验知识缩小兴趣目标区域，利用深度学习网络识别太赫兹图像目标；该方法具体步骤包括如下：(1)使用稳健主成分分析RPCA方法去除背景噪声：(1a)依次输入由相同角度获取的6张大小为200×380×3像素的太赫兹图像，将每张图像拉为列向量，按照图像输入次序组成矩阵XI；(1b)对矩阵XI在满足约束条件||XI‑LI‑SI||F＜d的条件下，使目标函数||LI||*+m||SI||1的值最小，得到满足约束条件的低秩的背景噪声矩阵LI和稀疏的去除背景噪声的矩阵SI，其中，||||F表示求F‑范数操作，XI表示图片大小为200×380×3个像素的太赫兹图像矩阵，LI表示低秩的背景噪声矩阵，SI表示稀疏的去除背景噪声的矩阵，d表示取值为10‑3的常数，||||*表示求核范数操作，m表示大于零的权因子，||||1表示求1‑范数操作；(1c)将稀疏矩阵SI按照输入次序依次还原为6张图像；(2)使用形状先验知识缩小兴趣目标区域：(2a)对还原后的每张图像进行二值化操作，得到二值化后的图像；(2b)连通每张二值化后图像中满足上下左右四个方向的相邻像素值均为1的像素，得到每张二值化后图像中所有的连通区域；(2c)删除所有二值化后图像连通区域中的像素总数小于350个的连通区域，利用形状先验知识保存长宽比范围在1.0～5.0的矩形连通域，将剩余的连通区域组成目标掩模图像；(3)生成太赫兹图像数据集：(3a)将包含太赫兹图像中的目标位置信息的txt文件生成xml文件；(3b)将xml文件内容按照8:2的比例，生成训练验证集和测试集；将训练验证集的内容按照8:2的比例，生成训练集和验证集；(3c)将太赫兹图像、xml文件、训练集、验证集、测试集输入到ImageNet文件夹中；(4)训练深度学习网络Faster‑RCNN：(4a)使用预训练模型分别初始化深度学习网络Faster‑RCNN中的特征提取网络参数、区域建议网络RPN参数和识别网络RCNN参数；(4b)将训练集中的图像依次输入特征提取网络，更新特征提取网络的参数，输出每张图像的特征图；(4c)将每张图像的特征图依次输入区域建议网络RPN，更新区域建议网络RPN的参数，区域建议网络RPN输出训练集中的每张图像对应的矩形候选框；(4d)将每张图像的每个矩形候选框和特征图分别输入识别网络RCNN，更新识别网络RCNN的参数，识别网络RCNN输出修正的目标位置和类别；(4e)保持特征提取网络参数不变，将每张图像的特征图依次输入区域建议网络RPN，第二次更新区域建议网络RPN参数，区域建议网络RPN输出第二次更新后每张图像对应的矩形候选框；(4f)将特征图和更新后每张图像对应的矩形候选框分别输入识别网络RCNN，第二次更新识别网络RCNN参数，识别网络RCNN输出第二次更新后的修正目标位置和类别；(4g)判断网络RCNN是否收敛，若是，则得到训练好的深度学习网络Faster‑RCNN后执行步骤(5)，否则，执行步骤(4c)；(5)利用深度学习网络识别太赫兹图像目标：(5a)将目标掩模图像中的每个连通区域映射到原图像对应的区域，将原图像对应的区域像素输入到训练好的神经网络Faster‑RCNN中的特征提取网络，输出原图像对应区域的特征图；(5b)将原图像对应区域的特征图输入到训练好的神经网络Faster‑RCNN中的区域建议网络RPN，输出建议窗口；(5c)将建议窗口与原图像对应区域的特征图输入到训练好的神经网络Faster‑RCNN中的识别网络RCNN，输出识别结果。...

【技术特征摘要】
1.一种基于深度学习和稳健主成分分析RPCA的太赫兹图像目标识别方法，其特征在于，使用稳健主成分分析RPCA方法去除背景噪声，使用形状先验知识缩小兴趣目标区域，利用深度学习网络识别太赫兹图像目标；该方法具体步骤包括如下：(1)使用稳健主成分分析RPCA方法去除背景噪声：(1a)依次输入由相同角度获取的6张大小为200×380×3像素的太赫兹图像，将每张图像拉为列向量，按照图像输入次序组成矩阵XI；(1b)对矩阵XI在满足约束条件||XI-LI-SI||F＜d的条件下，使目标函数||LI||*+m||SI||1的值最小，得到满足约束条件的低秩的背景噪声矩阵LI和稀疏的去除背景噪声的矩阵SI，其中，||||F表示求F-范数操作，XI表示图片大小为200×380×3个像素的太赫兹图像矩阵，LI表示低秩的背景噪声矩阵，SI表示稀疏的去除背景噪声的矩阵，d表示取值为10-3的常数，||||*表示求核范数操作，m表示大于零的权因子，||||1表示求1-范数操作；(1c)将稀疏矩阵SI按照输入次序依次还原为6张图像；(2)使用形状先验知识缩小兴趣目标区域：(2a)对还原后的每张图像进行二值化操作，得到二值化后的图像；(2b)连通每张二值化后图像中满足上下左右四个方向的相邻像素值均为1的像素，得到每张二值化后图像中所有的连通区域；(2c)删除所有二值化后图像连通区域中的像素总数小于350个的连通区域，利用形状先验知识保存长宽比范围在1.0～5.0的矩形连通域，将剩余的连通区域组成目标掩模图像；(3)生成太赫兹图像数据集：(3a)将包含太赫兹图像中的目标位置信息的txt文件生成xml文件；(3b)将xml文件内容按照8:2的比例，生成训练验证集和测试集；将训练验证集的内容按照8:2的比例，生成训练集和验证集；(3c)将太赫兹图像、xml文件、训练集、验证集、测试集输入到ImageNet文件夹中；(4)训练深度学习网络Faster-RCNN：(4a)使用预训练模型分别初始化深度学习网络Faster-RCNN中的特征提取网络参数、区域建议网络RPN参数和识别网络RCNN参数；(4b)将训练集中的图像依次输入特征提取网络，更新特征提取网络的参数，输出每张图像的特征图；(4c)将...

【专利技术属性】
技术研发人员：杨曦，吴郯，张磊，杨东，高新波，宋斌，王楠楠，汤英智，郭浩远，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61