一种基于关键点回归的通用物体检测方法、系统、终端和存储介质技术方案

本发明专利技术提供一种基于关键点回归的通用物体检测方法、系统、终端和存储介质，包括以下步骤：S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。本发明专利技术通过将对应的特征图进行多尺度特征融合，再分两个阶段进行损失函数回归，减小回归难度，提高网络结构的性能，且可以同时进行多个类别的追踪目标同时检测，不同类别之间追踪目标无干扰。

【技术实现步骤摘要】
一种基于关键点回归的通用物体检测方法、系统、终端和存储介质
本专利技术涉及汽车电子
，特别是涉及一种基于关键点回归的通用物体检测方法、系统、终端和存储介质。
技术介绍
ADAS即先进驾驶辅助系统又称主动安全系统，主要通过获取图像、雷达数据并处理。得到目标物体的距离、位置、形状等信息。目标物体的跟踪中，同一目标物体由于目标的自身状态、场景所处的环境的影响，同一类物体在不同的图像中所成的像往往会差别很大，在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相很难相匹配。关键点是在不同尺度空间的图像中检测出的具有方向信息的局部极值点，无人驾驶车辆行驶过程中，摄像头会采集到道路上及周围的物体，对于车辆、行人、路牌、路灯杆等物体，我们可以根据关键点检测算法回归出其相应的关键点，根据关键点信息可以辅助无人驾驶车辆进行定位。
技术实现思路
为了解决上述的以及其他潜在的技术问题，本专利技术提供了一种基于关键点回归的通用物体检测方法、系统、终端和存储介质，第一，对多类别追踪目标以及每一个类别追踪目标中每一个个体进行编码，某类别追踪目标的编码具有固定的位数，在总编码中只占一部分，在学习过程中，各个类别追踪目标之间无干扰。第二，分类别对ROI(感兴趣区域)框进行扩充，使得ROI更具有有效性。第三，将追踪目标对应的标准特征图进行多尺度特征融合。第四，使用标准特征图，在不影响耗时的情况下，提高图像精度。第五，分两个阶段进行损失函数回归，先将标准特征图进行下采样操作得到下采样层特征图。阶段一在下采样层特征图中进行学习，当学习充分后，将下采样层特征图中的关键点位置映射到标准特征图中；阶段二在映射得到的标准特征图中进行学习，且利用掩码只学习关键点所在的映射位置，减小回归的难度。一种基于关键点回归的通用物体检测方法，包括以下步骤：S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。进一步地，步骤S01中所述追踪目标的类别为至少两种类别，所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点。进一步地，所述步骤S01中确定追踪目标的检测区域时，根据追踪目标的类别不同分别确定每个类别中每个追踪目标个体所在的检测区域，再将每个预设的追踪目标个体的关键点标签与追踪目标个体所在的检测区域相匹配；分别得到各个追踪目标个体所对应关键点信息。进一步地，所述步骤S01中所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点时，所述关键点包括其所在追踪目标预选框的位置信息以及表述该追踪目标上该关键点是否可见的信息；所述表述该追踪目标上该关键点是否可见的信息时，给予该关键点的可见度以权重。进一步地，所述步骤S02中所述提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息时，所述关键点在特征图中的相对位置信息的获取方式是：通过将基础网络段各个卷积层获得的特征图中含有该关键点部分通过映射关系找出，并标记含有该关键点部分在各个特征图中的位置，并以各个特征图中该关键点可见度的权重给各个特征图中关键点的位置打分，并选择打分最高的特征图中该关键点的位置作为关键点在特征图中的位置信息记录下来。给予关键点位置权重相比与传统的RCNN的处理流程最后再做bboxregression来说，使网络结构更精简。因为这相当于把bboxregression放进了神经网络内部，与区域候选框、分类和并成为了一个multi-task模型，使这两个任务能够共享卷积特征，并相互促进。进一步地，所述步骤S02中，提取目标检测区域的特征图后，还包括将各个特征图的特征融合的步骤S021。进一步地，所述步骤S021中的特征图的特征融合限定为中低层的特征图进行特征融合。即在神经网络的卷积层中，处于中低层的卷积层的特征图进行特征融合。进一步地，所述步骤S021中的特征融合为密集性特征融合。即特征融合时，选择神经网络中的卷积层时，选取尽可能多的卷积层进行特征融合。进一步地，在步骤S01的确定追踪目标的检测区域后，在步骤S02的提取目标检测区域的特征图前，还包括尺度空间转换的步骤S01a：将相同类别追踪目标的各个目标检测区域的特征图转换成相同的尺度的标准特征图，再进行关键点检测，获取关键点在特征图中的相对位置关系。将相同类别追踪目标的各个目标检测区域的特征图转换成相同的尺度的标准特征图操作采用ROIPooling层，对每个区域都提取一个固定维度的特征表示，再通过正常的softmax进行类型识别。进一步地，所述标准特征图的尺寸为56*56的特征图，标准特征图的尺寸稍大于追踪目标候选框的尺寸，以防止追踪目标的边缘外露，使关键点处于标准特征图之外。进一步地，在获取追踪目标关键点在特征图中的相对位置信息前，还包括将标准特征图下采样的步骤S01b：获取下采样层特征图，以下采样层特征图作为输入，训练下采样局部网络；再以下采样层特征图为输入下采样局部网络，输出关键点位置信息并映射回标准特征图中。进一步地，所述将得到的56*56的标准特征图进行下采样，得到7*7的下采样层特征图，在7*7的下采样层特征图中进行学习，学习充分后，再将得到的关键点位置映射到56*56的标准特征图中。进一步地，还包括步骤S01c：将映射了下采样关键点位置的标准特征图进行掩码操作，训练标准特征局部网络，使其只学习标准特征图中关键点所在的映射位置。进一步地，在56*56的标准特征图中，利用mask掩码，只学习含有关键点的部分，降低学习难度，利用损失函数进行学习。进一步地，所述目标检测区域标记其左上角点为原点，获得参数(X,Y)，目标检测区域的宽设置为W，目标检测区域的高设置为H；得到目标检测区域的参数(X,Y,W,H)。进一步地，所述网络结构中，基础段采用resnet50网络结构，检测段采用rrc网络结构。进一步地，所述关键点检测段的网络结构包括获取基础段中低层的特征图，通过RoIpooling层使每个特征图的窗口生成固定尺寸的特征图，以concat函数融合固定尺寸的特征图，再经过至少一次卷积、池化操作获得标准特征图，标准特征图与预设追踪目标的关键点标签输入一起生成第一损失函数。进一步地，所述关键点检测段生成标准特征图前经过三次卷积、池化操作。进一步地，所述标准特征图再经过至少一次卷积、池化操作获得下采样层特征图，下采样层特征图和追踪目标关键点在特征图中的标签共同作为输入再通过掩码操作，生成第二损失函数。进一步地，所述关键点检测段生成下采样层特征图前经过三次卷积、池化操作。一种基于关键点回归的通用物体检测系统，包括关键点标签标注模块、目标检测模块、特征提取模块、关键点第一位置生成模块、关键点第二位置信息生成模块、损失函数生成模块；所述目标检测模块用于在原图中获得追踪目标，并以追踪目标为基础获得检测区域；所述关键点标签标注模块用于标注追踪目标关键点，并输出关键点本文档来自技高网...

【技术保护点】
1.一种基于关键点回归的通用物体检测方法，其特征在于，包括以下步骤：S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。

【技术特征摘要】
1.一种基于关键点回归的通用物体检测方法，其特征在于，包括以下步骤：S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。2.根据权利要求1所述的基于关键点回归的通用物体检测方法，其特征在于，步骤S01中所述追踪目标的类别为至少两种类别，所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点；所述步骤S01中确定追踪目标的检测区域时，根据追踪目标的类别不同分别确定每个类别中每个追踪目标个体所在的检测区域，再将每个预设的追踪目标个体的关键点标签与追踪目标个体所在的检测区域相匹配；分别得到各个追踪目标个体所对应关键点信息；所述步骤S01中所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点时，所述关键点包括其所在追踪目标预选框的位置信息以及表述该追踪目标上该关键点是否可见的信息；所述表述该追踪目标上该关键点是否可见的信息时，给予该关键点的可见度以权重。3.根据权利要求2所述的基于关键点回归的通用物体检测方法，其特征在于，所述步骤S02中所述提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息时，所述关键点在特征图中的相对位置信息的获取方式是：通过将基础网络段各个卷积层获得的特征图中含有该关键点部分通过映射关系找出，并标记含有该关键点部分在各个特征图中的位置，并以各个特征图中该关键点可见度的权重给各个特征图中关键点的位置打分，并选择打分最高的特征图中该关键点的位置作为关键点在特征图中的位置信息记录下来。4.根据权利要求3所述的基于关键点回归的通用物体检测方法，其特征在于，在步骤S01的确定追踪目标的检测区域后，在步骤S02的提取目标检测区域的特征图前，还包括尺度空间转换的步骤S01a：将各个目标检测区域的特征图转换成相同的尺度的标准特征图，再进行关键点检测，获取关键点在特征图中的相对位置关系。5.根据权利要求4所述的基于关键点回归的通用物体检测方法，其特征在于，在获取追踪目标关键点在特征图中的相对位置信息前，...

【专利技术属性】
技术研发人员：吴子章，王凡，唐锐，李坤仑，丁丽珠，
申请(专利权)人：北京纵目安驰智能科技有限公司，
类型：发明
国别省市：北京,11