【技术实现步骤摘要】
stage调整每个bin的中心和bins的宽度。这种方法可以用在任意的回归问题上，但是该方法通过多个stage串联完成估计，从特征提取网络得到的特征需要经过特征聚合等处理，前向计算开销较大。且在网络结构上难以和目标检测任务进行融合，形成系统。对于CDAN方法，该方法引入多线性条件调节和熵条件调节。前者通过捕获特征表示与分类器预测之间的交叉方差来提高分类器的识别率，后者通过控制分类器预测的不确定性来保证分类器的可移植性，但是该方法在对特征进行处理时，需要特征在不同的特征通道上的方差有较大的差异，面对一些特征在不同通道的分布较为均匀的数据样本时，在特征选择上会有较大的误差。基于此，现有技术中目标检测和姿态角估计在模型结构上有较多的针对各自领域的设计，使得在设计同时包含目标检测和姿态估计的视觉系统中，难以得到一个简洁高效的模型结构。同时许多姿态角估计算法本身就需要检测框作为输入，基于深度学习模型视觉任务对训练数据量以及训练数据和测试数据的一致性上有一定的要求，在真实场景的运用中有较多限制。其原因是真实场景下往往难以获得足够的数据以及数据标注。
技术实现思路
>[0006]针对上本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于数据跨模态迁移学习的目标检测和姿态估计方法，其特征在于，包括以下步骤：S1、采集真实场景数据并对其中数据进行标注，包括检测框坐标(x,y,w,h)以及姿态角(yaw,pitch,row)，输出真实数据图片，以及对应标注；S2、根据所述真实数据图片在仿真软件中进行仿真，获得仿真图像及标注，包括检测框坐标(x,y,w,h)以及姿态角(yaw,pitch,row)，输出仿真数据图片，以及对应标注；S3、将仿真数据图片及其标注输入共享特征提取网络和目标检测模块进行训练并利用输入的标注计算得到损失；S4、将目标检测模块输出的检测框信息以及共享特征提取网络输出的特征进行裁剪后输入姿态角估计模块进行训练，和所述步骤S3输入的标注计算得到损失；S5、网络优化，对所述步骤S3和所述步骤S4计算的到的损失加和后利用反向传播对网络优化直至在测试数据集上的误差不再下降；S6、将仿真和真实数据随机混合同时生成域标签，输出混合后的图像，域标签、目标检测框标注，姿态角标注；S7、将所述步骤S6生成的数据利用迁移学习模块对共享特征提取网络进行对抗训练完成域迁移；S8、向前计算，输入测试或者实际数据通过共享特征提取网络、目标检测模块和姿态角估计模块后输出姿态角。2.根据权利要求1所述的基于数据跨模态迁移学习的目标检测和姿态估计方法，其特征在于，所述共享特征提取网络为一种多尺度融合的特征提取网络，其串联使用多个卷积和池化所组成的基本单元对输入图像进行特征提取，第一个卷积模块包含1个步长为1的尺寸为3
×3×
3的卷积层，padding为1，一个批标准化层以及一个LeakyReLU，随后分别经过1个，2个，8个，8个，4个卷积单元组，每个单元组之间包含一个步长为2的3
×3×
n的卷积层,n为输入特征维度，padding为1，对特征进行下采样，同时每个单元之间以残差连接，使网络在深度较深的时候保持较好的学习能力，每个卷积单元组其组成依次包括一个步长为1的1
×1×
n的卷积，不进行padding，一个批标准化层以及一个LeakyReLU，随后依次经过一个不错为1的3
×3×
n的卷积，padding为1，1个批标准化层以及一个LeakyReLU，图像输入为x∈X,其中X代表图像输入空间，令该特征提取网络为f＝G
f
(x；θ
f
)，将输入的图像x转化为D维特征向量。3.根据权利要求2所述的基于数据跨模态迁移学习的目标检测和姿态估计方法，其特征在于，所述目标检测模块的输入为所述共享特征提取网络所输出的特征为3个不同尺度的特征，采用多尺度来对不同size的目标进行检测，在loss的计算上，定义了忽略参数，表示如果一个预测框与所有的真值的最大交并比<忽略参数时，那这个预测框就是负样本；如果真值的中心点落在一个区域中，该区域就负责检测该物体，将与该物体有最大交并比的预测框作为正样本，其中，单个网格中存在B个目标边界框，每个目标边界框由一个五维度的预测参数组成，包括边界框的中心点坐标(x,y)，宽高(w,h)与置信度评分s
i
，置信度评分s
i
可计算如下：其中，Object表示目标对象，Pr(Object)则表示当前网格目标边界框中存在物体的概
率，表示边界框预测值与真值的交并比(Intersection over Union,IoU)，展示了当前模型预测到的目标边界框位置的准确性，给定目标边界框预测值box
pred
与真值box
truth
，则可表示为：物体的类别概率Pr(C
i
|O)表示在该边界框存在目标的情况下，该目标属于某一种类物体i的后验概率，假设目标检测任务一共有K种物体，则每个网格预测第i类物体C
i
的条件概率为Pr(C
i
|O),i＝1,2,
…
,K，最后的训练损失函数计算分为3个部分：
①
x,y,w,h部分带来的误差，也就是检测框带来的损失
②
置信度带来的误差
③
类别带来的误差，也就是分类类别带来的损失，计算公式如下所示：所示：所示：loss＝lbox+lobj+lcls对于目标检测模块，将输入图像划分为S
×
S个网格，每个网格负责检测中心点落在其中的目标物体，测试时，目标边界框中存在物体的置信度可表示为，通过非极大值抑制保留所需的检测框：4.根据权利要求3所述的基于数据跨模态迁移学习的目标检测和姿态估计方法，其特征在于，所述姿态角估计模块包括特征解耦模块和跨类别中心损失模块。5.根据权利要求4所述的基于数据跨模态迁移学习的目标检测和姿态估计方法，其特征在于，所述特征解耦模块采用三个通道注意力块来实现。6.根据权利要求4所述的基于数据跨模态迁移学习的目标检测和姿态估计方法，其特征在于，所述跨类别中心损失模块在每个角度分支的中心损失部分是如下定义：其中，z(i)jz(i)是第i个嵌入的深度特征，c(yi)jc(yi)是第yi个类别的嵌入中心，它
在训练的过程中被更新,m是小批次的样本容量，而j表示每个角度分支，以上部分根据不同的角度类别，减小了处于相同离散角度真值的隐变量之间的距离，从而保证类内一致性，而不同角度类别的隐变量应当分布在解耦的子空间中，但是这在上述的中心损失中未得到体现，为减轻这个不足，进一步定义跨类别中心损失的解耦部分如下：其中j,j
′
,j
″
∈{yaw；pitch；roll},j≠j
′
≠j
″
,而表示跨角度类别相关距离，分母加1是为了防止计算结果溢出，所提出的CCC损失包含以上...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。