一种基于ResNet的仿鹰脑特征整合小目标识别方法技术

本发明专利技术公开一种基于ResNet的仿鹰脑特征整合小目标识别方法：步骤一、建立小目标识别图库；步骤二、初始化设置；步骤三、图像归一化：计算小目标识别图库中所有图像的均值与方差，并利用该均值和方差对所有图像进行归一化，并对图像大小进行归一化；步骤四、逐层计算ResNet‑34卷积层输出；步骤五、仿鹰脑特征整合；步骤六、小目标分类；步骤七、完成小目标分类网络训练；步骤八、小目标分类网络测试。本发明专利技术方法使用全局池化操作能够大大减少全连接层的参数，使用特征并行融合的方法能够同时利用不同层次的特征进行小目标识别，从而达到更好的分类效果。

【技术实现步骤摘要】
一种基于ResNet的仿鹰脑特征整合小目标识别方法
本专利技术是一种基于ResNet的仿鹰脑特征整合小目标识别方法，属于计算机视觉

技术介绍
在所有的动物中，鹰眼观察动物的敏锐程度名列前茅，且以视野宽、目光敏锐著称。从外形上来看，鹰的眼睛比较圆，以晶体偏平、远离接受光线的视网膜为特征，因此鹰的视觉系统具有长焦距特点，且具有长短焦距转换的功能，这进一步增强了它的灵敏度。但通常因为鹰的眼睛没有接收到充足的光线，而使图像变得较黑。为了克服这个潜在的不利条件，鹰通过大的瞳孔使眼睛充满光线来进行改进。此外鹰作为一种依靠敏锐视觉捕获猎物信息的动物，不仅能在一瞬间把扁平的“远视眼”调整为“近视眼”，还能快速将眼球调节成筒状，这正是它在快速飞行中仍能看清并准确抓捕猎物的原因所在。鹰的视觉系统中存在多个视觉核团，核团对视觉信息的高效、精准的处理能力保证了其能够在高空中准确识别地面的小目标。鹰的生活环境和捕食习惯决定了其更加适用于自上向下的视景下的目标识别，尤其是在目标较小、目标与背景对比度较低、目标与背景有明显相对运动情况下的目标识别。实时性好、定位精度高和抗干扰能力强的目标识别算法已成为图像目标识别技术的攻关重点，具有重要的军事、经济和社会价值。近几年，研究者们对自主目标识别的研究已引起了重视。自主目标识别被定义为，通过获取来自一个或者多个传感器的信息，提取轮廓，把目标从周围区域中分离出来，然后根据描述的特征识别其形状等信息，从而检测并识别出目标类型。这种方法通常适用于预先已知特征的情况，识别过程中需要提前对某一种或某几种目标进行特征训练。自主目标识别技术有着重要且广泛的应用移动机器人、战车与坦克、飞机、导弹、舰船等军事领域和航空航天、科学探测、天文观测以及视频监控等民用领域具有越来越广泛的应用，也成为自动控制、计算机视觉和模式识别等领域的研究热点。使用无人机执行监视或目标跟踪等任务时图像传感器是非常重要的信息来源，通过在无人机上装载摄像机获取图像，然后将图像传输至地面系统。进而，地面系统通过对图像或其他数据进行分析处理，完成目标的检测、识别与定位，从而为下一步作战计划或民事应用提供足够的信息。而由于无人机的飞行特性复杂，飞行速度较高、成像条件多变，因此具有更为复杂的图像运动特性，其获得的图像与地面静止摄像机所拍摄的图像具有较大差异。如无人机多在某一局部地区完成监测任务时，特殊目的下需要对地面目标进行实时跟踪飞行，此时其飞行姿态多变，同时飞机与地面景物之间的相对运动显著，成像系统获得的图像产生着较大的畸变和直线、旋转运动模糊。受特殊天气和光照、相机离焦等因素的影响，获取的遥感图像会出现对比度低、模糊甚至遮挡现象。尤其是当其飞行高度较高时所得图像中的目标所占像素数量会大大下降。图像质量的降低，更不利于目标识别。由此，鹰眼的很多生物学机制与无人机动态小目标识别的技术需求十分吻合。本专利技术模拟鹰的离顶盖通路中的相关核团对视觉信息的整合作用，对ResNet模型进行改进，并在此基础上提出了一种基于ResNet的仿鹰脑特征整合小目标识别方法，并建立了小目标识别图库对方法进行测试。
技术实现思路
本专利技术的目的在于提出了一种基于ResNet的仿鹰脑特征整合小目标识别方法，模拟鹰离顶盖通路对视觉特征的整合作用，对ResNet模型进行改进，综合利用模型的浅层特征和深层特征，从而提供一种精确的无人机下视场景目标识别方法，对航拍小目标进行准确识别。本专利技术一种基于ResNet的仿鹰脑特征整合小目标识别方法，针对无人机下视场景目标识别问题提出了一种准确度高、鲁棒性强的小目标识别方法，并建立了小目标识别图库对方法进行测试。具体步骤如下：步骤一：建立小目标识别图库。本专利技术针对小目标识别问题，在Xia等人建立的DOTA图库的基础上，将图库中包含的目标提取并保存，从而建立了一个包含有15类遥感目标的小目标识别图库。DOTA图库中含有棒球场，篮球场，桥梁，田径场，海港，直升机，大型车辆，飞机，环岛，船，小型车辆，足球场，油罐，游泳池，网球场15类目标，共有9925个样本。在原DOTA图库中目标的标注信息是目标的外接矩形，该外接矩形中包含旋转信息，因此本专利技术按照标注信息对目标区域存储。步骤二：初始化设置。设置读入训练图像的列表及路径，设置算法训练过程中的相关参数，包括超参数：batchsize，迭代次数，优化器类型，学习率。步骤三：图像归一化。计算小目标识别图库中所有图像的均值与方差，并利用该均值和方差对所有图像进行归一化，并对图像大小进行归一化。步骤四：逐层计算ResNet34卷积层输出。假设卷积神经网络输入为x，原期望某卷积层的输出为H(x)，ResNet网络中的残差学习模块目标为残差函数F(x)，其定义如下：F(x)＝H(x)-x(1)普通网络结构中直接拟合H(x)，而在残差学习模块中第二个卷积层拟合的是F(x)，将网络输入x通过右侧的恒等连接跳跃左侧的两层卷积层，并与左侧所得的残差函数F(x)相加，最终输出H(x)＝F(x)+x。左侧残差学习模块中包含两个卷积层，设第一个卷积层的权重矩阵为W1，第二个卷积层的权重为W2，则第二层输出F(x,{W1,W2})＝W2ReLU(W1x)。当输入维数和输出维数不同时，在恒等连接时先对输入做线性变换再与残差相加，计算如下：H(x)＝F(x,{W1,W2})+Wsx(2)其中，Ws为线性变换的权重矩阵。在BottleNeck结构中首先使用1×1卷积核降低输入层网络维度，然后使用3×3卷积核学习特征，再使用1×1卷积核恢复网络维度。ResNet中conv3_x层输出为28×28×128维，conv4_x层输出为14×14×256维，conv5_x层输出为7×7×512维。步骤五：仿鹰脑特征整合。圆核和外纹体是鹰脑离顶盖通路中除视顶盖之外的重要核团，其中圆核属于丘脑区域，而外纹体属于端脑区域。圆核是视觉信息由视顶盖中央灰质层到外纹体传递过程中的重要核团。视顶盖对其接收的信息进行加工整合后通过神经纤维向更高级的核团传递，其上行投射经顶盖-丘脑纤维束后结束于丘脑圆核区域。在本专利技术中模拟鹰脑离顶盖通路的特征整合作用。使用全局平均池化(GlobalAveragePooling)对conv3_x层、conv4_x层、conv5_x层中的各个特征图进行整合，其计算过程是对每一个特征图中所有的特征值求平均，将该均值作为对应特征图的输出值。以对conv3_x层的28×28×128维特征图进行池化为例，对每一个28×28的特征图分别进行池化，每个特征图得到一个均值，则128个特征图可以得到128个均值，即最终conv3_x层输出一个1×1×128维的特征图，此时的特征是一个向量。对conv3_x层、conv4_x层、conv5_x层三层特征分别进行池化操作，在该操作后conv3_x层池化特征输出为1×1×128维，conv4_x层池化特征输出为1×1×256维，conv5_x层池化特征输出为1×1×512维。步骤六：小目标分类。将步骤五中仿鹰脑特征整合操作得到的conv3_x层、conv4_x层、conv5_x层输出的1×1×128维，1×1×256维，1×1×512维特征并联起来，得到一个1×1×896维特征，然后将本文档来自技高网...

【技术保护点】
1.一种基于ResNet的仿鹰脑特征整合小目标识别方法，其特征在于：该方法具体步骤如下：步骤一：建立小目标识别图库步骤二：初始化设置设置读入训练图像的列表及路径，设置算法训练过程中的参数，包括超参数：batchsize，迭代次数，优化器类型，学习率；步骤三：图像归一化计算小目标识别图库中所有图像的均值与方差，并利用该均值和方差对所有图像进行归一化，并对图像大小进行归一化；步骤四：逐层计算ResNet‑34卷积层输出假设卷积神经网络输入为x，原期望某卷积层的输出为H(x)，ResNet网络中的残差学习模块目标为残差函数F(x)，其定义如下：F(x)＝H(x)‑x  (1)普通网络结构中直接拟合H(x)，而在残差学习模块中第二个卷积层拟合的是F(x)，将网络输入x通过右侧的恒等连接跳跃左侧的两层卷积层，并与左侧所得的残差函数F(x)相加，最终输出H(x)＝F(x)+x；左侧残差学习模块中包含两个卷积层，设第一个卷积层的权重矩阵为W1，第二个卷积层的权重为W2，则第二层输出F(x,{W1,W2})＝W2ReLU(W1x)；当输入维数和输出维数不同时，在恒等连接时先对输入做线性变换再与残差相加，计算如下：H(x)＝F(x,{W1,W2})+Wsx  (2)其中，Ws为线性变换的权重矩阵；步骤五：仿鹰脑特征整合模拟鹰脑离顶盖通路的特征整合作用，使用全局平均池化对conv3_x层、conv4_x层、conv5_x层中的各个特征图进行整合，其计算过程是对每一个特征图中所有的特征值求平均，将该均值作为对应特征图的输出值；conv3_x层池化特征输出为1×1×128维，conv4_x层池化特征输出为1×1×256维，conv5_x层池化特征输出为1×1×512维；步骤六：小目标分类；将步骤五中仿鹰脑特征整合操作得到的conv3_x层、conv4_x层、conv5_x层输出的1×1×128维，1×1×256维，1×1×512维特征并联起来，得到一个1×1×896维特征，然后将该特征输入到全连接层；最终得到分类结果；步骤七：完成小目标分类网络训练按照步骤二到六进行神经网络训练，判断是否达到了设定的训练迭代次数，若达到训练迭代次数则停止训练，否则使用步骤二设定的优化器与学习率参数进行参数迭代训练；步骤八：小目标分类网络测试读入步骤一建立的小目标识别图库中的小目标图像，并重复步骤二到步骤六提取特征完成小目标分类测试，并与图库中给定的标签对比计算正确率。...

【技术特征摘要】
1.一种基于ResNet的仿鹰脑特征整合小目标识别方法，其特征在于：该方法具体步骤如下：步骤一：建立小目标识别图库步骤二：初始化设置设置读入训练图像的列表及路径，设置算法训练过程中的参数，包括超参数：batchsize，迭代次数，优化器类型，学习率；步骤三：图像归一化计算小目标识别图库中所有图像的均值与方差，并利用该均值和方差对所有图像进行归一化，并对图像大小进行归一化；步骤四：逐层计算ResNet-34卷积层输出假设卷积神经网络输入为x，原期望某卷积层的输出为H(x)，ResNet网络中的残差学习模块目标为残差函数F(x)，其定义如下：F(x)＝H(x)-x(1)普通网络结构中直接拟合H(x)，而在残差学习模块中第二个卷积层拟合的是F(x)，将网络输入x通过右侧的恒等连接跳跃左侧的两层卷积层，并与左侧所得的残差函数F(x)相加，最终输出H(x)＝F(x)+x；左侧残差学习模块中包含两个卷积层，设第一个卷积层的权重矩阵为W1，第二个卷积层的权重为W2，则第二层输出F(x,{W1,W2})＝W2ReLU(W1x)；当输入维数和输出维数不同时，在恒等连接时先对输入做线性变换再与残差相加，计算如下：H(x)＝F(x,...

【专利技术属性】
技术研发人员：段海滨，王晓华，邓亦敏，李晗，辛龙，郭彦杰，孙永斌，徐小斌，张锡联，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11