【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其涉及计算机图像处理，具体地说是一种基于形状先验的目标尺寸与6d姿态估计方法。
技术介绍
1、精确的6d目标姿态估计是计算机视觉领域中一个重要的任务，它在自动驾驶、工业自动化、机器人等领域有着广泛的应用前景。与传统的目标检测和识别任务不同，6d目标姿态估计涉及到目标在3d空间中的位置和方向的同时估计。近年来，目标尺寸与6d姿态估计方面，出现了很多基于精确三维目标模型的方法，大体可分为三类，分别是实例级6d对象姿态估计、类别级对象检测以及类别级6d对象姿态估计。
2、而现有的实例级姿态估计方法又可大致分为三类，第一类是采用投票机制的方法，例如通过粗略算法迭代最近点匹配，比如linemod方法采用整体模板匹配来找到最近的视角；sundermeyer等则生成一个潜在的代码输入图像，并在搜索中寻找最近邻速率；在整体的6d中，局部采样rgb-d补丁也被广泛应用。第二类是直接输入图像映射到对象构成，例如，ssd以及posecnn扩展了2d对象检测网络，以便它可以预测方向作为附加标识和2d对象的边界框；li等使用端到端的框架，在rgb-d图像中回归6d构成。第三类方法则依赖于建立通讯，例如，brachmann等、krull等、michel等使用对应的3d对象为每个前景像素坐标；pvnet、bb8、tekin等则检测对象图像中的关键点，然后用pnp求解3d到2d点的对应问题；dpod则密度估计2d-3d对应，建立输入图像和对象模型之间的映射关系。
3、类别级对象检测是指从输入图像中检测出指
4、而类别级6d对象姿态估计便可以解决此问题，它从输入图像中检测和识别出不同类别的物体实例，并估计它们的姿态信息，包括物体的平移和旋转。一般来说，该问题可以分为两个阶段进行处理：首先通过分类网络对输入图像进行物体识别和分割，然后通过回归网络对每个物体的姿态进行估计。sahin等是首个针对类别级别的6d目标姿态估计问题进行研究的工作，该方法通过选择语义中心来定义6d姿态，并利用基于部件的随机森林来还原姿态。然而，该方法的一个限制在于它基于3d骨架结构构建部件表示，这导致其在处理未见过的对象实例时的泛化能力受到限制，所以上述方法无法满足同时预测未知目标尺寸和姿态的要求。wang等针对上述方法的不足，通过引入标准化对象坐标空间(nocs)训练基于区域的神经网络，较好地完成了从像素到标准化坐标表示及对象相关信息(如类别标签和掩膜图)。将这些预测结果与深度图相结合，共同估计杂乱场景中多个对象的6d姿态和尺寸。wang等提出了一种新的方法，用于类别级6d对象姿态和大小估计，其方法将点云转换为规范化对象坐标空间，然后使用3d卷积神经网络(cnn)对规范化对象坐标空间中的对象进行分类、分割、大小估计和姿态估计。chen等提出了规范形状空间(cass)，通过学习每个物体类别的规范形状空间，将3d物体姿态估计问题转换为在规范形状空间中进行回归问题。spd提出了结合了形状先验和形状约束来实现对类别级6d对象姿态和尺寸的准确估计。但是spd方法采用了相对简单的模型和特征表示方法，限制了其对于复杂场景和物体的建模能力。
5、基于此，现有技术无法满足同时预测未知目标尺寸和姿态的要求。
技术实现思路
1、为了估计物体实例的6d姿态和尺寸，满足同时预测未知目标尺寸和姿态的要求，本专利技术提出了一种基于形状先验的目标尺寸与6d姿态估计方法。该方法采用多层感知器、先验信息融合和形状信息再整合，解决目标尺寸与6d姿态估计的技术问题。
2、本专利技术解决技术问题所采用的方案是：
3、一种基于形状先验的目标尺寸与6d姿态估计方法，包括，
4、a)基于umlp的自动编码器：改进原有自动编码器，对网络的卷积层和池化层进行深入优化，着重关注底层特征升维的过程，提高先验形变精度，作为底层多层感知器(underlying multi-layer perceptron)。
5、b)pf-spd方法：将先验形变的特征在特征融合之前汇入，将实例与先验形状提取的点特征先进行融合。在特征融合之前考虑形状的先验信息，构成先验信息融合方法(prior information fusion)，从而提高模型的预测精度。
6、c)sr-spd方法：将变形场的输出结果与形状先验的特征进行融合后，重新作为输入进行训练，作为形状信息重新整合方法(shape information reintegration)，该方法能够提高模型的特征表达能力，从而更好地保留先验形变的信息。
7、积极效果，本申请基于spd提出了改进方法，对spd自动编码器部分提出改进，提出底层多层感知器，提高了先验形变精度；提出先验信息融合方法，优化了网络结构；提出了形状信息重新整合方法以增加特征的多样性和表现能力，从而使模型能更好地利用先验形状的信息，从而提高分类和定位的准确性。
8、本申请基于形状先验的方法，对目标的尺寸与6d姿态进行估计，通过基于umlp的自动编码器、先验信息融合和形状信息重新整合方法，成功地提高了模型在形状重建、尺寸估计和姿态估计等任务中的性能。改进的自动编码器增强了模型对形状特征的学习能力，提高了形状重建的准确性。先验信息融合使得模型更早地考虑到形状的先验信息，有效指导了形状重建和姿态估计，提高了预测精度。形状信息重新整合使模型增强了特征表达能力，更好地保留了先验形状信息。综合而言，本申请通过综合利用先验形变和形状特征，提高了模型在相关任务中的性能。适宜作为物体尺寸与6d姿态估计方法应用。
本文档来自技高网...【技术保护点】
1.一种基于形状先验的目标尺寸与6D姿态估计方法，其特征在于，包括，
2.根据如权利要求1所述的一种基于形状先验的目标尺寸与6D姿态估计方法，其特征在于，
3.根据如权利要求2所述的一种基于形状先验的目标尺寸与6D姿态估计方法，其特征在于，
4.根据如权利要求3所述的一种基于形状先验的目标尺寸与6D姿态估计方法，其特征在于，
5.根据如权利要求4所述的一种基于形状先验的目标尺寸与6D姿态估计方法，其特征在于，
6.根据如权利要求5所述的一种基于形状先验的目标尺寸与6D姿态估计方法，其特征在于，
【技术特征摘要】
1.一种基于形状先验的目标尺寸与6d姿态估计方法，其特征在于，包括，
2.根据如权利要求1所述的一种基于形状先验的目标尺寸与6d姿态估计方法，其特征在于，
3.根据如权利要求2所述的一种基于形状先验的目标尺寸与6d姿态估计方法，其特征在于，
4...
【专利技术属性】
技术研发人员：吴思，贾迪，庞宇恒，张博，宁博，杜成名，左越，李浛永，郭奕男，罗玲，王健伟，刘佳明，
申请(专利权)人：国网辽宁省电力有限公司葫芦岛供电公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。