一种基于特征融合的自适应权重深度学习目标分类方法技术

本发明专利技术提供的是一种基于特征融合的自适应权重深度学习目标分类方法。目标粗检测；提取图像卷积特征和HOG特征，对HOG特征扩维处理；将SENet嵌入到Resnet网络框架，建立用于提取图像多特征权重的网络框架；计算卷积特征和HOG特征的自适应权重向量，制定特征融合策略，计算图像融合特征；建立基于精准二分类网络集的多目标分类框架。本发明专利技术将图像卷积特征与HOG特征融合，提取图像特征的自适应权重向量，设计深度学习网络构型和参数，构建精准的分类网络，该网络通过降低得分阈值来得到更多的候选框，提高目标检测的召回率；通过设计多个二分类网络，在多分类问题上具有更高的准确率。

An Adaptive Weighted Deep Learning Target Classification Method Based on Feature Fusion

The invention provides an adaptive weight depth learning target classification method based on feature fusion. Object rough detection; extracting image convolution features and HOG features, expanding the dimension of HOG features; embedding SENet into Resnet network framework to establish a network framework for extracting image multi-feature weights; calculating adaptive weight vectors of convolution features and HOG features, formulating feature fusion strategy, calculating image fusion features; and establishing multi-objective classification frame based on precise binary classification network set. Rack. The method integrates image convolution features with HOG features, extracts adaptive weight vectors of image features, designs the configuration and parameters of in-depth learning network, and constructs an accurate classification network. The network obtains more candidate frames by lowering the score threshold, and improves the recall rate of target detection. By designing multiple binary classification networks, it has higher accuracy on multi-classification problems.

【技术实现步骤摘要】
一种基于特征融合的自适应权重深度学习目标分类方法
本专利技术涉及的是一种深度学习目标分类方法，特别是一种基于特征融合的自适应权重深度学习目标分类方法，属于图像识别

技术介绍
目标分类技术在众多领域应用广泛，近些年，人工智能领域发展如火如荼，目标分类技术已成为人工智能领域不可或缺的技术基础，目标分类可以为视频监控、自动驾驶等提供重要的信息源，如通过目标分类，提供图像中是否存在行人、车辆以及建筑物等，可以说精准的目标分类技术是众多领域亟待解决的技术瓶颈。早期，人们往往采用手工设计的特征来提取图像信息开展目标分类工作，特征包括颜色特征、纹理特征、形状特征等，但是通过这些特征，对图像中目标识别的准确率较低，原因是这些传统特征并不能代表图像中目标的本质，因此只采用传统特征及图像识别技术并不能满足图像精准分类的要求。随着深度学习技术的兴起和发展，深度学习为图像目标高识别率提供了新的解决方案，在很多领域都取得了惊人的成绩，与传统特征相比，深度学习中卷积神经网络所提取的卷积特征，更能代表目标本质，并且具有强大的鲁棒性，在进行目标分类时通常用到网络最后一个卷积层所产生的特征图，该层的特征图比其他卷积层更为抽象，对目标分类效果较好，但是提取的特征丢掉较多细节信息，因此，卷积神经网络在区分类别相近的物体时，有时分类效果较差，如直接利用Faster-Rcnn网络实现对不同杯子开展精确分类时，很难将类别细化，降低了深度学习网络的识别准确率。综上，只利用图像中的卷积特征或传统特征，都存在各自的局限性，更为合适的方法是采用多特征融合的方法，卷积特征在分辨目标大类方面更具优势，如目标是否为水瓶，而传统特征在分辨同一大类下的小类更具优势，如水瓶是矿泉水瓶还是可口可乐瓶。在传统特征中，HOG特征可以代表图像的全局特征，表征了图像的梯度信息，将其和卷积特征融合，可以提高分类的成功率。以前有部分学者采用将卷积特征与HOG特征相结合，往往先提取其中一种特征，在此基础上提取另一种特征，通过支持向量机分类，但是这种方式存在两个问题：首先，提取其中一种特征的环节势必弱化另一种特征；其次，该过程并未改变各特征的影响权重和损失函数，没有考虑到不同特征对分类准确率的增益是不同的。因此以前的方法的分类效果并不理想。
技术实现思路
本专利技术的目的在于提供一种能够实现图像中目标精准分类的基于特征融合的自适应权重深度学习目标分类方法。本专利技术的目的是这样实现的：(1)、目标粗检测将含有Roi-Align层和FPN结构的Faster-Rcnn目标检测网络，根据softmax前的概率值，通过降低检测阈值，获取检测框，然后通过极大值抑制原理，筛选出符合条件的检测框，然后建立先验知识库，定目标范围；(2)、提取图像卷积特征和HOG特征，对HOG特征扩维处理提取图像特征在ResNet网络框架下完成，提取基本的卷积特征，获得N维的卷积特征图，在ResNet网络框架下增加OpenCV提取图像HOG特征的代码，改造ResNet网络框架，一张图像对应一个HOG特征图，将HOG特征图复制N份，扩展为N维HOG特征图；(3)、将SENet嵌入到Resnet网络框架，建立用于提取图像多特征权重的网络框架将SENet模块嵌入到改造的Resnet网络框架中，在改造后的Resnet网络框架每一次计算获取图像卷积特征和HOG特征之后，通过SENet模块计算相应特征的权重向量，作为后续进一步处理得的预处理信息；(4)、计算卷积特征和HOG特征的自适应权重向量，制定特征融合策略，计算图像融合特征根据HOG特征、卷积特征及其权重向量相乘叠加实现融合工作，利用OpenCV获取N维HOG特征后，利用SENet模块计算获得每个HOG特征Fh的自适应权值Ph，由Resnet第一层卷积层的卷积计算、激化、池化提取原始图片的N维卷积特征Fc1，利用SENet模块计算获得卷积特征自适应权值Pc1，由下式计算新的卷积特征Fcn1:Fcn1＝Fc1·Pc1+Fh·Ph(1)由Resnet卷积层后的Layer1层、Layer2层、Layer3层、Layer4层在前一层的计算的新的融合特征的基础上进一步提取卷积特征和相应的权值向量，两者相乘得到融合特征Fcn，即满足下式所示：Fcn＝Fcx·Pcx(2)上式中，Fcx表示Resnet网络Layer第x层的提取的卷积特征，Pcx表示利用SENet网络计算出的Layer第x层卷积特征的自适应权值；(5)、建立基于精准二分类网络集的多目标分类框架首先通过FasterRcnn网络对目标进行大类检测，再针对结果选择二分类网络集内对应的二分类网络，开展精准分类，最后得到目标分类结果。本专利技术提供了一种融合图像HOG特征和卷积特征、实现图像中目标精准分类的深度学习网络。该网络综合考虑HOG特征和卷积特征，同时提取两种特征，并采用一定的策略将两种特征相结合，通过训练网络得到最优的自适应特征权重，通过设计多个二分类器来代替多分类器，实现目标的精准分类目标。本专利技术的主要技术特点体现在：第一、制定了低阈值—粗检测的策略。本专利技术将含有Roi-Align层和FPN结构的Faster-Rcnn目标检测网络，根据softmax前的概率值，通过降低检测阈值，获取较多的检测框，然后通过极大值抑制原理，筛选出较为符合条件的检测框。然后建立先验知识库，即确定目标可能的大致范围，该知识库由人工建立，如水杯可能在桌子等支撑物体上，再比如移动机器人只能在地面上，而不会出现在悬空位置，这样就能在先验知识的基础上，进一步缩小由得到的目标检测框。第二、本专利技术提取图像特征在ResNet网络框架下完成，该网络有提取图像卷积特征的功能，本专利技术用以提取基本的卷积特征，获得N维的卷积特征图，在ResNet网络框架下增加OpenCV提取图像HOG特征的代码，改造ResNet网络框架，由于HOG特征是针对灰度图的特征，所以一张图像对应一个HOG特征图，为了后续的特征图融合工作，本专利技术将HOG特征图复制N份，扩展为N维HOG特征图。第三、将SENet嵌入到Resnet网络框架，建立用于提取图像多特征权重的网络框架。本专利技术在提取图像卷积特征和HOG特征的基础上，进一步考虑所提取图像特征的影响权重向量，将SENet模块嵌入到前述改造的Resnet网络框架中，在改造后的Resnet网络框架每一次计算获取图像卷积特征和HOG特征之后，通过SENet模块计算相应特征的权重向量，作为后续进一步处理得的预处理信息，该网络框架实现卷积特征、HOG特征与相应的权重向量同步获取功能。第四、计算卷积特征和HOG特征的自适应权重向量，制定特征融合策略，计算图像融合特征。本专利技术根据HOG特征、卷积特征及其权重向量相乘叠加实现融合工作，利用OpenCV获取N维HOG特征后，利用SENet模块计算获得每个HOG特征Fh的自适应权值Ph，由Resnet第一层卷积层的卷积计算、激化、池化提取原始图片的N维卷积特征Fc1，利用SENet模块计算获得卷积特征自适应权值Pc1，计算新的卷积特征Fcn1。由Resnet卷积层后的Layer1层、Layer2层、Layer3层、Layer4层在前一层的计算的新的融合特征的基础上进一步提取卷积特征和相应的权值向量，两者相乘本文档来自技高网...

【技术保护点】
1.一种基于特征融合的自适应权重深度学习目标分类方法，其特征是包括如下步骤：(1)、目标粗检测；(2)、提取图像卷积特征和HOG特征，对HOG特征扩维处理；(3)、将SENet嵌入到Resnet网络框架，建立用于提取图像多特征权重的网络框架；(4)、计算卷积特征和HOG特征的自适应权重向量，制定特征融合策略，计算图像融合特征；(5)、建立基于精准二分类网络集的多目标分类框架。

【技术特征摘要】
1.一种基于特征融合的自适应权重深度学习目标分类方法，其特征是包括如下步骤：(1)、目标粗检测；(2)、提取图像卷积特征和HOG特征，对HOG特征扩维处理；(3)、将SENet嵌入到Resnet网络框架，建立用于提取图像多特征权重的网络框架；(4)、计算卷积特征和HOG特征的自适应权重向量，制定特征融合策略，计算图像融合特征；(5)、建立基于精准二分类网络集的多目标分类框架。2.根据权利要求1所述的基于特征融合的自适应权重深度学习目标分类方法，其特征是步骤(1)具体包括：将含有Roi-Align层和FPN结构的Faster-Rcnn目标检测网络，根据softmax前的概率值，通过降低检测阈值，获取检测框，然后通过极大值抑制原理，筛选出符合条件的检测框，然后建立先验知识库，定目标范围。3.根据权利要求1所述的基于特征融合的自适应权重深度学习目标分类方法，其特征是步骤(2)具体包括：提取图像特征在ResNet网络框架下完成，提取基本的卷积特征，获得N维的卷积特征图，在ResNet网络框架下增加OpenCV提取图像HOG特征的代码，改造ResNet网络框架，一张图像对应一个HOG特征图，将HOG特征图复制N份，扩展为N维HOG特征图。4.根据权利要求1所述的基于特征融合的自适应权重深度学习目标分类方法，其特征是步骤(3)具体包括：将SENet模块嵌入到改造的Resnet网络框架中，在改造后的Resnet网络框架每一次计算获取图像卷积特征和HOG特征之后，通过SENet模块计算相应特征的权重向量，作为后续进一步处理得的预处理信息。5.根据权利要求1所述的基于特征融合的自适应权重深度学习目标分类方法，其特征是步骤(4)具体包括：根据HOG特征、卷积特征及其权重向量相乘叠加实现融合工作，利用OpenCV获取N维HOG特征后，利用SENet模块计算获得每个HOG特征Fh的自适应权值Ph，由Resnet第一层卷积层的卷积计算、激化、池化提取原始图片的N维卷积...

【专利技术属性】
技术研发人员：王立鹏，张智，朱齐丹，夏桂华，苏丽，栗蓬，聂文昌，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江,23