一种基于关键点的区域建议生成方法技术

本发明专利技术适用于深度学习技术领域，提供一种基于关键点的区域建议生成方法，包括如下步骤：S1、对关键点集D进行二样本抽样并生成矩形框；S2、建立各矩形框的正负标签及回归值数组；S3、基于面积大小对矩形框进行分组，基于组别数来构建表示正负标签的特征立方体，称为标签特征；S4、基于4倍组别数来构建表示回归变量的特征立方体，称为回归特征；S5、将矩形框的正负标签映射到标签特征上；S6、将矩形框的回归值数组映射到回归特征上；S7、将标签特征和回归特征代入已知的卷积网络训练，生成区域建议。提供了一种基于关键点的区域建议生成方法，将目标的局部属性应用于区域建议，提高了区域建议的智能性、针对性。

A key point based method for region recommendation generation

The invention is applicable to the field of deep learning technology, and provides a key point based region recommendation generation method, which comprises the following steps: S1. Two sample sampling of key point set D and generating rectangular box; S2. Establishing positive and negative labels and regression value array of each rectangular box; S3. Grouping rectangular box based on area size and constructing feature set representing positive and negative labels based on group number Square body is called label feature; S4. Feature cube representing regression variable is built based on 4 times of group number, which is called regression feature; S5. Map positive and negative labels of rectangular box to label feature; S6. Map regression value array of rectangular box to regression feature; S7. Substitute label feature and regression feature into known convolution network training to generate regional suggestions. This paper provides a key point based method to generate regional recommendations, which applies the local attributes of the target to regional recommendations, and improves the intelligence and pertinence of regional recommendations.

【技术实现步骤摘要】
一种基于关键点的区域建议生成方法
本专利技术属于深度学
，提供了一种基于关键点的区域建议生成方法。
技术介绍
图像中一般目标的检测是一个复杂问题，其中的一个难点是需要对不同的目标分配一个准确的矩形定位框，如ZhaoweiCaiandNunoVasconcelos,CascadeR-CNN:delvingintohighqualityobjectdetection,IEEEConferenceonComputerVisionandPatternRecognition(CVPR)2018,pp.6154-6162。过去二十年，基于卷积神经网络的方法在目标检测问题上取得了令人瞩目的成绩。通常基于卷积神经网络的目标检测方法可以分为两类：一是基于区域建议的二阶段方法；二是不需要区域建议的一阶段方法。基于区域建议的方法包括FastR-CNN(RossGirshick,FastR-CNN,IEEEInternationalConferenceonComputerVision(ICCV),(2015),pp.1440-1448)、FasterR-CNN(ShaoqingRen,KaimingHe,RossGirshick,andJianSun,FasterR-CNN:Towardsreal-timeobjectdetectionwithregionproposalnetworks,IEEETransactionsonPatternAnalysisAndMachineIntelligence,2017,39:1137-1149)、R-FCN(JifengDai,YiLi,KaimingHe,JianSun,R-FCN:Objectdetectionviaregion-basedfullyconvolutionalnetworks,30thConferenceonNeuralInformationProcessingSystems,2016,pp.379-387)等，其中FastR-CNN通过选择性搜索产生区域建议，FasterR-CNN和R-FCN都通过RPN网络，在整个图像上直接产生固定大小和宽高比的矩形框用于区域建议的产生。与选择性搜索相比，直接生成矩形框的方法速度较快，但是直接生成的方法忽略了图像本身的角点、边缘等局部属性，具有一定的盲目性，其“吸附”目标的智能性有待提高。
技术实现思路
本专利技术实施例提供了一种基于关键点的区域建议生成方法，针对二阶段目标识别方法，通过局部关键点诱导卷积特征，用于提高区域建议产生的智能性。本专利技术是这样实现的，一种基于关键点的区域建议生成方法，所述方法具体包括如下步骤：S1、对关键点集D进行二样本抽样并生成矩形框；S2、建立各矩形框的正负标签及回归值数组；S3、基于面积大小对矩形框进行分组，基于组别数来构建表示正负标签的特征立方体，称为标签特征；S4、基于4倍组别数来构建表示回归变量的特征立方体，称为回归特征；S5、将矩形框的正负标签映射到标签特征上；S6、将矩形框的回归值数组映射到回归特征上；S7、将完成相关映射的标签特征和回归特征代入已知的卷积网络训练，生成区域建议。进一步的，矩形框的构建方法具体如下：在关键点集D中任意抽取两个关键点pi和pj，以关键点pi和pj作为矩形框对角线上的两端点，来构建矩形框aij。进一步的，矩形框的分组方法具体如下：基于面积大小对矩形框进行分组，分成c个组别，其中Smax为工作数据集中所有图像的最大尺寸面积。进一步的，矩形框的正负标签的建立方法如下：计算矩形框与标注区域的交集与并集的比值；若比值大于设定值，则矩形框的标签设为正标签1，否则矩形框的标签设为负标签0。进一步的，矩形框的回归值数组建立方法如下：对于标签为正标签1的矩形框，回归值数组为矩形框与标注区域之间中心点的横坐标差、中心点的纵坐标差、宽度差、高度差所组成的四元数组。进一步的，正负标签的特征立方体的构建方法具体如下：正负标签特征立方体的通道数设置为c，宽和高分别为w＝[W/shrank]和h＝[H/shrank]，其中，W和H为设输入图像的宽和高，shrank为卷积网络中池化操作所产生的缩减倍数。进一步的，回归变量特征立方体的构建方法具体如下：回归变量特征立方体的通道数设置为4c，宽和高分别为w＝[W/shrank]和h＝[H/shrank]，其中，W和H为设输入图像的宽和高，shrank为卷积网络中池化操作所产生的缩减倍数。进一步的，回归值数组到回归特征的映射方法具体如下：针对矩形框aij，(1)若矩形框面积s(aij)大于16，将图像的最大面积Smax除以矩形框面积S(aij)，若Smax/S(aij)的比值落在(2k,2k+1]的区间内，则将矩形框aij的正标签或负标签映射到特征的第k个通道上的[ctij/shrank]坐标点处，其中k＝0,1,2,…,c-2；(2)若矩形框面积S(aij)小于等于16，则将矩形框aij的正标签或负标签映射到特征的第c-1个通道上的[ctij/shrank]坐标点处，其中，ctij为矩形框aij中心点坐标。进一步的，所述步骤S5具体如下：对于标签为正标签1的矩形框aij，若矩形框aij属于第k个组别，则将矩形框aij的回归值数组依次映射到第4k到4k+3个通道的[ctij/shrank]坐标点处。本专利技术提供的基于关键点的区域建议生成方法具如下益效果：1.提供了一种基于关键点的区域建议生成方法，将目标的局部属性应用于区域建议，提高了区域建议的智能性、针对性。2.该方法首先提取图像中的关键点；其次生成训练矩形框；再次，构建表示正负标签和回归变量的特征立方体；然后建立矩形框到正负标签特征和回归特征的映射；最后，将标签特征和回归特征用于深度神经网络的训练，生成区域建议，以便实现区域建议的智能化。附图说明图1为本专利技术实施例提供的基于关键点的区域建议生成方法流程图；图2是本专利技术的具体实施方式的由关键点生成矩形框的示意图。图3是本专利技术的具体实施方式的矩形面积框分组的示意图。图4是本专利技术的具体实施方式的标签特征的构造示意图。图5是本专利技术的具体实施方式的回归变量特征的构造示意图。图6是本专利技术的具体实施方式的矩形框到标签特征的映射的示意图。图7是本专利技术的具体实施方式的矩形框到标签特征的映射的示意图。图8是本专利技术的具体实施方式的从关键点到卷积特征的构造方法示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术是通过关键点诱导适用于密度不均匀和大小不规范的异质矩形框的卷积特征，用于区域建议的训练，其中密度不均匀是指矩形框在图像中的分布密度不均匀，如集中分布在左上角，大小不规范是指矩形框的尺寸不统一；矩形框卷积特征该构造方法的梗概如图2-图7所示。首先，通过检测到的关键点，生成矩形框集合，如图2所示；其次将矩形框按照面积大小进行分组，如图3所示；再次，根据组别数设计标签特征的尺寸，如图4所示；然后，根据组别数的4倍设计回归特征的尺寸，如图5所示；再将矩形框的标签映射到标签特征上，如图6所示，然后，将矩形框的回归值映射到回归本文档来自技高网...

【技术保护点】
1.一种基于关键点的区域建议生成方法，其特征在于，所述方法具体包括如下步骤：S1、对关键点集D进行二样本抽样并生成矩形框；S2、建立各矩形框的正负标签及回归值数组；S3、基于面积大小对矩形框进行分组，基于组别数来构建表示正负标签的特征立方体，称为标签特征；S4、基于4倍组别数来构建表示回归变量的特征立方体，称为回归特征；S5、将矩形框的正负标签映射到标签特征上；S6、将矩形框的回归值数组映射到回归特征上；S7、将完成相关映射的标签特征和回归特征代入已知的卷积网络训练，生成区域建议。

【技术特征摘要】
1.一种基于关键点的区域建议生成方法，其特征在于，所述方法具体包括如下步骤：S1、对关键点集D进行二样本抽样并生成矩形框；S2、建立各矩形框的正负标签及回归值数组；S3、基于面积大小对矩形框进行分组，基于组别数来构建表示正负标签的特征立方体，称为标签特征；S4、基于4倍组别数来构建表示回归变量的特征立方体，称为回归特征；S5、将矩形框的正负标签映射到标签特征上；S6、将矩形框的回归值数组映射到回归特征上；S7、将完成相关映射的标签特征和回归特征代入已知的卷积网络训练，生成区域建议。2.如权利要求1所述基于关键点的区域建议生成方法，其特征在于，矩形框的构建方法具体如下：在关键点集D中任意抽取两个样本关键点pi和pj，以样本关键点pi和pj作为矩形框对角线上的两端点，来构建矩形框aij。3.如权利要求1所述基于关键点的区域建议生成方法，其特征在于，矩形框的分组方法具体如下：基于面积大小对矩形框进行分组，分成c个组别，其中c＝[ln(Smax/16)/ln2]+1，Smax为工作数据集中所有图像的最大尺寸面积。4.如权利要求1所述基于关键点的区域建议生成方法，其特征在于，矩形框的正负标签的建立方法如下：计算矩形框与标注区域的交集与并集的比值；若比值大于设定值，则矩形框的标签设为正标签1，否则矩形框的标签设为负标签0。5.如权利要求1所述基于关键点的区域建议生成方法，其特征在于，矩形框的回归值数组建立方法如下：对于标签为正标签1的矩形框，回归值数组为矩形框与标注区域之间中心点的横坐标差、中心点的纵坐标差、宽度差、高度差所组成的四元数组。6.如权利要求3所述基于...

【专利技术属性】
技术研发人员：丁新涛，汪金宝，卞维新，接标，
申请(专利权)人：安徽师范大学，
类型：发明
国别省市：安徽,34