基于旋转矩形框的轻量化目标识别方法及装置制造方法及图纸

技术编号:19693780 阅读:26 留言:0更新日期:2018-12-08 11:40
本发明专利技术属于图像分析技术领域,具体提供了一种基于旋转区域的轻量化目标识别方法及装置。旨在解决现有技术目标识别算法复杂度高以及难以识别多个角度目标的问题。本发明专利技术提供了一种基于旋转矩形框的轻量化目标识别方法,包括基于预先构建的目标识别网络模型对输入图像进行目标识别,得到输入图像的目标类别。目标识别网络模型基于卷积神经网络构建,包括目标提取模块和目标识别模块。本发明专利技术通过合并压缩现有的卷积神经网络,减少了网络参数,降低了算法复杂度。

【技术实现步骤摘要】
基于旋转矩形框的轻量化目标识别方法及装置
本专利技术属于图像分析
,具体涉及一种基于旋转矩形框的轻量化目标识别方法及装置。
技术介绍
遥感目标识别研究是计算机视觉领域中非常重要的基础研究,它是精确制导、武器防御、海情监测等军事系统的关键组成部分,也是提升减灾应急、交通监管、渔业海事等民用系统智能化的核心技术。在传统的遥感目标识别研究中,主要使用人工提取图像特征,比如LBP(LocalBinaryPatterns,局部二值特征),HOG(HistogramofOrientedGradient,方向梯度直方图)等特征,然后将这些特征以向量形式输入到分类器进行分类,比如SVM(SupportVectorMachine,支持向量机)、AdaBoost等,但是由于传统的目标识别方法是通过人工提取特征,因此鲁棒性较差。近年来,随着深度学习的应用普及极大地推进了目标识别算法的性能,如SSD(SingleShotMultiBoxDetector,单向探测器)、FasterR-CNN等都在识别自然图像中取得令人满意的效果,这些深度学习算法通过组合低层特征形成更加抽象的高层表示属性类别或者特征,以发现数据的分布式特征表示。但是现有技术的目标识别方法应用到遥感目标识别中会存在两个典型问题,第一是算法复杂度较高,现有技术的目标识别算法模型依赖于具有数百甚至数十亿参数的深度网络,传统CPU对如此庞大的网络一筹莫展,只有具有高计算能力的GPU才能让网络得以相对快速训练,对于存储和计算成本要求较高,对移动端不友好;第二是现有技术的目标识别方法只能识别水平矩形框,与自然图像相比,遥感图像中目标以各种角度随机出现,用传统水平矩形框不能紧凑地覆盖感兴趣目标,尤其是当目标并排出现时,用水平矩形框很难区分两个目标,从而影响到分类器性能。因此,如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
为了解决现有技术中的上述问题,即为了解决现有技术目标识别算法复杂度高以及难以识别多个角度目标的问题,本专利技术提供了一种基于旋转矩形框的轻量化目标识别方法,包括:基于预先构建的目标识别网络模型对输入图像进行目标识别,得到所述输入图像的目标类别;其中,所述目标识别网络模型基于卷积神经网络构建,所述目标识别网络模型包括目标提取模块和目标识别模块;所述目标提取模块基于预先构建的旋转矩形框提取所述输入图像的候选区域,基于预先构建的轻量化神经网络提取所述输入图像的特征图;所述目标识别模块对所述候选区域与所述特征图进行特征提取,将提取到的特征进行坐标回归和目标分类,得到所述输入图像的目标类别。在上述方法的优选技术方案中,所述目标提取模块包括多个旋转矩形框,“提取所述输入图像的特征图”的步骤包括:通过多个所述旋转矩形框提取所述输入图像的特征图。在上述方法的优选技术方案中,在“提取所述输入图像的特征图”之前,该方法还包括构建多个所述旋转矩形框,其步骤包括:选取基础矩形框,将所述基础矩形框的长宽分别乘以比例系数,得到第一类矩形框;对所述第一类矩形框进行长宽比变化,得到第二类矩形框;将所述第二类矩形框的长宽分别乘以旋转角度,得到多个所述旋转矩形框。在上述方法的优选技术方案中,在“提取所述输入图像的特征图”之前,该方法还包括对所述旋转矩形框进行回归预测,其步骤包括:按如下式所示的方法对由多个所述输入图像的特征图构成的训练样本集分别进行候选区域分类和坐标回归分析,得到训练参数:L(p,u,tu,v)=Lcls(p,u)+λ[u≥1]Lloc(tu,v)tx=(Gx-Px)/Pwty=(Gy-Py)/Phtw=log(Gw/Pw)th=log(Gh/Ph)ta=(Ga-Pa)/(λ*180)基于所述目标提取模块的训练参数,按如下式所示的方法预测所述训练样本集的候选区域:其中,Lcls(p,u)表示分类任务目标损失函数,p表示预测的类别,u为训练样本的标注类别,λ表示常数,tu表示预测的坐标位置,u表示真实的类别,v=(vx,vy,vw,vh,va)表示正样本的对应标注旋转矩形框的回归目标,vx,vy,vw,vh,va分别表示旋转矩形框回归目标的中心列坐标,中心行坐标,宽度、高度和旋转角度,t=(tx,ty,tw,th,ta)为预测向量,P=(Px,Py,Pw,Ph,Pa)表示感兴趣区域P对应的中心列坐标,中心行坐标,宽度、高度和旋转角度,G为P对应的标注样本,G=(Gx,Gy,Gw,Gh,Ga)表示感兴趣区域P对应的标注样本的中心列坐标,中心行坐标,宽度、高度和旋转角度,v表示真实的坐标位置,表示感兴趣区域P预测的对应旋转矩形框向量值。在上述方法的优选技术方案中,所述目标提取模块还用于压缩所述卷积神经网络的激活层和组合层,其步骤包括:压缩所述激活层的步骤包括:按如下式所示的方法将所述激活层的negation层和concatenation层进行合并:NC(x)=[conv(x),conv(-x)]其中,conv()表示卷积计算函数;压缩所述组合层的步骤包括:按如下式所示的方法将所述组合层中1*1卷积核的参数与3*3卷积核的参数相加:其中,W3*3、W1*1分别表示3*3和1*1的卷积核的参数,k表示行索引,s表示列索引,b3*3、b1*1分别表示3*3和1*1的卷积核的偏置。在上述方法的优选技术方案中,所述目标识别模块识别所述输入图像的目标类别的步骤包括:利用所述目标识别模块的卷积核对所述图像特征进行卷积操作,生成N个位置敏感分数图;将N个所述位置敏感分数图进行缩放,并对缩放后的位置敏感分数图进行网格划分;将进行网格划分后每个网格内的位置敏感分数图进行平均池化处理,得到N个特征图;通过误差反向梯度传播算法对N个所述特征图进行反向处理,得到所述图像特征的目标类别;其中,N为正整数。本专利技术的第二方面提供了一种基于旋转矩形框的轻量化目标识别装置,包括:目标识别网络模型,所述目标识别网络模型配置为对输入图像进行目标识别,得到所述输入图像的目标类别;其中,所述目标识别网络模型基于卷积神经网络构建,所述目标识别网络模型包括目标提取模块和目标识别模块;所述目标提取模块基于预先构建的旋转矩形框提取所述输入图像的候选区域,基于预先构建的轻量化神经网络提取所述输入图像的特征图;所述目标识别模块对所述候选区域与所述特征图进行特征提取,将提取到的特征进行坐标回归和目标分类,得到所述输入图像的目标类别。在上述方案的优选技术方案中,所述目标提取模块包括多个旋转矩形框,多个所述旋转矩形框配置为提取所述输入图像的图像特征。在上述方案的优选技术方案中,所述目标提取模块还包括旋转矩形框构建单元,所述旋转矩形框构建单元配置为:选取基础矩形框,将所述基础矩形框的长宽分别乘以比例系数,得到第一类矩形框;对所述第一类矩形框进行长宽比变化,得到第二类矩形框;将所述第二类矩形框的长宽分别乘以旋转角度,得到多个所述旋转矩形框。在上述方案的优选技术方案中,所述目标提取模块还包括回归预测单元,所述回归预测单元配置为:按如下式所示的方法对由多个所述输入图像的特征图构成的训练样本集分别进行候选区域分类和坐标回归分析,得到所述目标提取模块的训练参数:L(p,u,tu,v)=Lcls(p,u)+λ[u≥本文档来自技高网
...

【技术保护点】
1.一种基于旋转矩形框的轻量化目标识别方法,其特征在于包括:基于预先构建的目标识别网络模型对输入图像进行目标识别,得到所述输入图像的目标类别;其中,所述目标识别网络模型基于卷积神经网络构建,所述目标识别网络模型包括目标提取模块和目标识别模块;所述目标提取模块基于预先构建的旋转矩形框提取所述输入图像的候选区域,基于预先构建的轻量化神经网络提取所述输入图像的特征图;所述目标识别模块对所述候选区域与所述特征图进行特征提取,将提取到的特征进行坐标回归和目标分类,得到所述输入图像的目标类别。

【技术特征摘要】
1.一种基于旋转矩形框的轻量化目标识别方法,其特征在于包括:基于预先构建的目标识别网络模型对输入图像进行目标识别,得到所述输入图像的目标类别;其中,所述目标识别网络模型基于卷积神经网络构建,所述目标识别网络模型包括目标提取模块和目标识别模块;所述目标提取模块基于预先构建的旋转矩形框提取所述输入图像的候选区域,基于预先构建的轻量化神经网络提取所述输入图像的特征图;所述目标识别模块对所述候选区域与所述特征图进行特征提取,将提取到的特征进行坐标回归和目标分类,得到所述输入图像的目标类别。2.根据权利要求1所述的方法,其特征在于,所述目标提取模块包括多个旋转矩形框,“提取所述输入图像的特征图”的步骤包括:通过多个所述旋转矩形框提取所述输入图像的特征图。3.根据权利要求2所述的方法,其特征在于,在“提取所述输入图像的特征图”之前,该方法还包括构建多个所述旋转矩形框,其步骤包括:选取基础矩形框,将所述基础矩形框的长宽分别乘以比例系数,得到第一类矩形框;对所述第一类矩形框进行长宽比变化,得到第二类矩形框;将所述第二类矩形框的长宽分别乘以旋转角度,得到多个所述旋转矩形框。4.根据权利要求1-3中任一项所述的方法,其特征在于,在“提取所述输入图像的特征图”之前,该方法还包括对所述旋转矩形框进行回归预测,其步骤包括:按如下式所示的方法对由多个所述输入图像的特征图构成的训练样本集分别进行候选区域分类和坐标回归分析,得到训练参数:L(p,u,tu,v)=Lcls(p,u)+λ[u≥1]Lloc(tu,v)tx=(Gx-Px)/Pwty=(Gy-Py)/Phtw=log(Gw/Pw)th=log(Gh/Ph)ta=(Ga-Pa)/(λ*180)基于所述训练参数,按如下式所示的方法预测所述训练样本集的候选区域:其中,Lcls(p,u)表示分类任务目标损失函数,p表示预测的类别,u为训练样本的标注类别,λ表示常数,tu表示预测的坐标位置,u表示真实的类别,v=(vx,vy,vw,vh,va)表示正样本的对应标注旋转矩形框的回归目标,vx,vy,vw,vh,va分别表示旋转矩形框回归目标的中心列坐标,中心行坐标,宽度、高度和旋转角度,t=(tx,ty,tw,th,ta)为预测向量,P=(Px,Py,Pw,Ph,Pa)表示感兴趣区域P对应的中心列坐标,中心行坐标,宽度、高度和旋转角度,G为P对应的标注样本,G=(Gx,Gy,Gw,Gh,Ga)表示感兴趣区域P对应的标注样本的中心列坐标,中心行坐标,宽度、高度和旋转角度,v表示真实的坐标位置,表示感兴趣区域P预测的对应旋转矩形框向量值。5.根据权利要求4所述的方法,其特征在于,所述目标提取模块还用于压缩所述卷积神经网络的激活层和组合层,其步骤包括:压缩所述激活层的步骤包括:按如下式所示的方法将所述激活层的negation层和concatenation层进行合并:NC(x)=[conv(x),conv(-x)]其中,conv()表示卷积计算函数;压缩所述组合层的步骤包括:按如下式所示的方法将所述组合层中1*1卷积核的参数与3*3卷积核的参数相加:其中,W3*3、W1*1分别表示3*3和1*1的卷积核的参数,k表示行索引,s表示列索引,b3*3、b1*1分别表示3*3和1*1的卷积核的偏置。6.根据权利要求5所述的方法,其特征在于,所述目标识别模块识别所述输入图像的目标类别的步骤包括:利用所述目标识别模块的卷积核对所述图像特征进行卷积操作,生成N个位置敏感分数图;将N个所述位置敏感分数图进行缩放,并对缩放后的位置敏感分数图进行网格划分;将进行网格划分后每个网格内的位置敏感分数图进行平均池化处理,得到N个特征图;通过误差反向梯度传播算法对N个所述特征图进行反向处理,得到所述图像特征的目标类别;其中,N为正整数。7.一种基于旋转矩形框的轻量化目标识别装置,其特征在于包括:目标...

【专利技术属性】
技术研发人员:潘春洪王洪振刘子坤翁璐斌向世明
申请(专利权)人:中国科学院自动化研究所
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1