物体位姿的获取方法、装置和电子设备制造方法及图纸

本申请公开了物体位姿的获取方法、装置和电子设备，涉及图像处理、计算机视觉、深度学习技术领域。具体实现方案为：从图像中提取物体的图像块，并生成图像块对应的图像局部坐标系；获取物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；将各2D投影关键点转换至图像局部坐标系，以生成对应的2D预测关键点；获取图像块内各像素点与各2D预测关键点间的方向向量，并根据方向向量，获取各2D预测关键点对应的2D目标关键点；以及根据3D关键点和2D目标关键点，确定物体的位姿。该方法利用物体的图像块获取物体位姿，在物体位姿的获取过程中，能够考虑光线强度、位置遮挡等影响因素，进而使得姿态估计的鲁棒性更好。

【技术实现步骤摘要】
物体位姿的获取方法、装置和电子设备
本申请涉及计算机
中的图像处理、计算机视觉、深度学习
，尤其涉及一种物体位姿的获取方法、装置、电子设备和存储介质。
技术介绍
目前，物体位姿的获取方法在机器人抓取、工业生产自动化、建筑设计等领域得到了广泛的应用，例如，可利用物体位姿的获取方法确定物体的位置和方向，从而可得到机器人的抓取策略，使得机器人准确抓取到物体，或者，还可利用物体位姿的获取方法确定房屋中的家具的位置和方向，便于建筑设计人员规划房屋的建筑设计方案。然而，相关技术中的物体位姿的获取方法，容易受到图像遮挡的影响，鲁棒性较差。
技术实现思路
提供了一种物体位姿的获取方法、装置、电子设备和存储介质。根据第一方面，提供了一种物体位姿的获取方法，包括：从图像中提取物体的图像块，并生成所述图像块对应的图像局部坐标系；获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点；获取所述图像块内各像素点与各所述2D预测关键点间的方向向量本文档来自技高网...

【技术保护点】
1.一种物体位姿的获取方法，包括：/n从图像中提取物体的图像块，并生成所述图像块对应的图像局部坐标系；/n获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；/n将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点；/n获取所述图像块内各像素点与各所述2D预测关键点间的方向向量，并根据所述方向向量，获取各所述2D预测关键点对应的2D目标关键点；以及/n根据所述3D关键点和所述2D目标关键点，确定所述物体的位姿。/n

【技术特征摘要】
1.一种物体位姿的获取方法，包括：
从图像中提取物体的图像块，并生成所述图像块对应的图像局部坐标系；
获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；
将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点；
获取所述图像块内各像素点与各所述2D预测关键点间的方向向量，并根据所述方向向量，获取各所述2D预测关键点对应的2D目标关键点；以及
根据所述3D关键点和所述2D目标关键点，确定所述物体的位姿。


2.根据权利要求1所述的物体位姿的获取方法，其中，所述生成所述图像块对应的图像局部坐标系之前，还包括：
获取所述图像块的尺寸，若所述图像块的尺寸非标准尺寸，对所述图像块进行尺寸调整操作，以调整至所述标准尺寸。


3.根据权利要求2所述的物体位姿的获取方法，其中，所述生成所述图像块对应的图像局部坐标系，包括：
根据所述标准尺寸和所述图像块的中心点的图像坐标，确定所述图像块中像素点的平移量；以及
按照所述平移量，对所述中心点进行坐标平移操作，形成所述图像局部坐标系的原点，基于所述原点构建所述图像局部坐标系。


4.根据权利要求3所述的物体位姿的获取方法，其中，所述将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点，包括：
按照所述平移量，对所述图像块上的每个像素点进行坐标平移操作，以生成在所述图像局部坐标系下的像素点，其中，所述2D投影关键点进行坐标平移操作后生成所述2D预测关键点。


5.根据权利要求1-4任一项所述的物体位姿的获取方法，其中，所述获取所述图像块内各像素点与各所述2D预测关键点间的方向向量，包括：
获取所述图像块内各像素点在所述图像局部坐标系的第一坐标；
获取各所述2D预测关键点在所述图像局部坐标系的第二坐标；以及
针对每个所述2D预测关键点，将各所述第一坐标分别与该2D预测关键点的第二坐标做向量计算，以获取该2D预测关键点对应的方向向量。


6.根据权利要求5所述的物体位姿的获取方法，其中，所述根据所述方向向量，获取各所述2D预测关键点对应的2D目标关键点，包括：
针对每个所述2D预测关键点，获取该2D预测关键点的两两所述方向向量的相交点，其中，所述相交点为2D候选关键点；以及
基于投票选举算法，从每个所述2D预测关键点的所述2D候选关键点的集合中，获取每个所述2D预测关键点对应的所述2D目标关键点。


7.根据权利要求6所述的物体位姿的获取方法，其中，所述根据所述3D关键点和所述2D目标关键点，确定所述物体的位姿，包括：
获取所述3D关键点在世界坐标系下的第三坐标；
获取所述2D目标关键点在所述图像坐标系下的第四坐标；以及
根据所述第三坐标和所述第四坐标，确定所述物体的位姿。


8.根据权利要求7所述的物体位姿的获取方法，其中，所述获取所述2D目标关键点在所述图像坐标系下的第四坐标，包括：
获取形成所述2D目标关键点的两个方向向量的向量信息，并根据两个所述向量信息，获取所述第四坐标。


9.根据权利要求1-4任一项所述的物体位姿的获取方法，其中，所述获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点之前，还包括：
基于最远点采样算法，对所述3D模型进行关键点采样，获取所述多个3D关键点。


10.根据权利要求1-4任一项所述的物体位姿的获取方法，其中，所述从图像中提取物体的图像块，包括：
对所述图像进行物体识别，以生成所述物体的检测框；
获取所述检测框的第一尺寸；
若所述第一尺寸小于或者等于第一预设尺寸，则扩大所述检测框的尺寸至第二尺寸，并截取所述第二尺寸的检测框所覆盖的图像区域，生成所述图像块，其中，所述第二尺寸处于所述第一预设尺寸和所述第二预设尺寸之间；以及
若所述第一尺寸大于第一预设尺寸，则截取所述第一尺寸的检测框所覆盖的图像区域，生成所述图像块。


11.一种物体位姿的获取装置，包括：
图像处理模块，用于从图像中提取物体的图像块，并生成所述图像块对应的图像局部坐标系；
第一获取模块，用于获取所述物体的3D模型上的多个3D关键点在图像坐标系...

【专利技术属性】
技术研发人员：叶晓青，邹智康，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11