物体的位姿获取方法、场景重构的方法和装置制造方法及图纸

本申请提供一种物体的位姿获取方法、场景重构的方法和装置。本申请物体的位姿获取方法，包括：获取二维场景图像；通过机器学习得到图像的全局特征图；从图像中获取多个ROI，并获取各ROI的特征图；根据部分或全部ROI的特征图联合预测图像中的物体的共同上轴信息；根据目标ROI的特征图预测目标ROI中的目标物体的个体信息，目标ROI为多个ROI中包括图像中需要进行位姿获取的目标物体的ROI；根据目标ROI中目标物体的个体信息和共同上轴信息获取目标物体的位姿。本申请提高物体位姿估计的效率，保证位姿估计的准确率。

【技术实现步骤摘要】
物体的位姿获取方法、场景重构的方法和装置
本申请涉及计算机视觉领域的技术，尤其涉及一种物体的位姿获取方法、场景重构的方法和装置。
技术介绍
室内场景的三维重建是移动机器人自主导航、增强现实以及摄影测量领域实景三维重建系统的重要技术，其中最重要的步骤是位姿估计。目前，室内场景的三维重建包括基于激光和基于图像两种方法，前者精度高，但激光设备价格高昂，后者细节更丰富且成本低，但精度较低。现有技术中，通常采用卷积神经网络(ConvolutionalNeuralNetworks，简称：CNN)来检测图像中的目标部件，针对每个目标部件，预测其位置，计算其与模型库中各标准模型的相似度，再利用相似度确定与其对应的标准模型，最后结合各目标部件的位置匹配关系估计目标的位姿。但是，上述方法依赖于目标部件的检测结果，当噪声较大或遮挡严重导致无法检测出准确的目标部件时，会降低目标位姿估计的准确率，从而无法重构出三维场景。
技术实现思路
本申请提供一种物体的位姿获取方法、场景重构的方法和装置，以提高物体位姿估计的效率，保证位姿估计的准确率。第一方面，本申请提供一种物体的位姿获取方法，其执行主体可以是移动机器人，也可以是服务器、云平台等，只要是具备图像计算能力的设备均可作为本申请提供的方法的执行主体。本申请提供的物体的位姿获取方法中获取一二维场景图像，该图像是通过相机拍摄得到的，可选的，该图像可以是室内场景图像，通过机器学习得到该图像的全局特征图，从图像中获取多个ROI，并获取各ROI的特征图，一个ROI中可以是某个物体的完整图像，也可以是某个区域的完整图像，此处不做具体限定。再根据部分或全部ROI的特征图联合预测图像中的物体的共同上轴信息。可选的，还可以根据部分或全部ROI的特征图和全局特征图联合预测共同上轴信息。然后根据图像中需要进行位姿获取的目标物体的ROI的特征图预测目标物体的个体信息，该个体信息可以包括目标物体的正面朝向信息和到拍摄相机的距离信息，其中，正面朝向信息可以是通常认知下一个物体的正面的方向，例如，沙发、桌子、凳子等通常认为其正前方为正面，电视机通常认为其屏幕为正面，相机通常认为其镜头为正面。距离信息可以是目标物体的中心位置到拍摄相机的中心位置还见的距离信息。最后根据目标物体的个体信息和共同上轴信息获取目标物体的位姿。可选的，在获取物体的位姿时还可以考虑上拍摄相机的高度。本申请基于单帧二维场景图像，通过机器学习对图像中的物体进行预测，并利用小孔成像原理减少了对物体的位姿预测的参数搜索空间，提高效率，而多个ROI的特征图联合预测物体的位姿保证了准确率，使得获取到的物体的位姿更符合实际情况。在一种可能的实现方式中，根据部分或全部ROI的特征图联合预测图像中的物体的共同上轴信息，包括：联结(concate)部分或全部ROI的特征图得到联合特征图，根据联合特征图预测共同上轴信息。或者，合并部分或全部ROI的特征图得到联合特征图，根据联合特征图预测共同上轴信息，其中合并后得到的联合特征图的维度和ROI的特征图的维度相同。还可以在部分或全部ROI的特征图基础上结合全局特征图联合预测共同上轴信息。本实施例通过图像中部分或全部物体各自所在ROI的特征图联合预测图像中的物体的共同上轴信息，进而获取地面的法向，并以法向为参照预测各物体的位姿，预测的方法包括卷积和池化等，提高了位姿估计的准确性。在一种可能的实现方式中，根据目标ROI中目标物体的个体信息和共同上轴信息获取目标物体的位姿，包括：获取拍摄相机的位置信息，该位置信息包括拍摄相机的坐标位置、拍摄相机的法向和正面朝向，再以拍摄相机的位置信息为参照，根据目标物体的正面朝向信息、目标物体到拍摄相机的距离信息和共同上轴信息计算目标物体的位姿。其中，拍摄相机的位置信息为拍摄相机的中心位置信息，目标物体到拍摄相机的距离信息为目标物体的中心位置到拍摄相机的中心位置的距离信息，则以拍摄相机的中心位置信息为参考坐标系，计算拍摄相机正面朝向到目标物体正面朝向的角度，再计算拍摄相机法向到共同上轴的角度，最后根据拍摄相机正面朝向到目标物体正面朝向的角度、拍摄相机法向到共同上轴的角度和目标物体的中心位置到拍摄相机的中心位置的距离信息计算目标物体的中心位置在参考坐标系中的位姿。进一步的，在获取目标物体的位姿时可以结合拍摄相机的高度解决many-to-one(即多对一映射，由于相机中心发出的射线，无论距离远近，在图像平面上都是一个点，因此无法确定图像中的物体的实际大小)问题，消除位置预测不合理的物体。第二方面，本申请提供一种场景重构的方法，包括：获取二维场景图像，该图像是通过相机拍摄得到的，可选的，该图像可以是室内场景图像，通过机器学习得到该图像的全局特征图，从图像中获取多个ROI，并获取各ROI的特征图，一个ROI中可以是某个物体的完整图像，也可以是某个区域的完整图像，此处不做具体限定。再根据部分或全部ROI的特征图联合预测图像中的物体的共同上轴信息。可选的，还可以根据部分或全部ROI的特征图和全局特征图联合预测共同上轴信息。然后根据图像中需要进行位姿获取的目标物体的ROI的特征图预测目标物体的个体信息，该个体信息可以包括目标物体的类别信息、大小信息、正面朝向信息和到拍摄相机的距离信息，其中，类别信息例如可以是沙发、桌子、凳子等，也可以是家具、家电等。大小信息即该目标物体根据其在图像中的大小预测实际大小。正面朝向信息可以是通常认知下一个物体的正面的方向，例如，沙发、桌子、凳子等通常认为其正前方为正面，电视机通常认为其屏幕为正面，相机通常认为其镜头为正面。距离信息可以是目标物体的中心位置到拍摄相机的中心位置还见的距离信息。根据类别信息和大小信息从模型仓库中获取目标物体的三维模型。根据目标物体的正面朝向信息、目标物体到拍摄相机的距离信息和共同上轴信息获取目标物体的位姿。可选的，在获取目标物体的位姿时还可以考虑上拍摄相机的高度。最后根据目标物体的位姿和三维模型重构场景。本申请基于单帧二维场景图像，通过机器学习对图像中的物体进行预测，并利用小孔成像原理减少了对物体的位姿预测的参数搜索空间，提高效率，而多个ROI的特征图联合预测物体的位姿保证了准确率，使得获取到的三维场景重构图更符合实际情况。在一种可能的实现方式中，根据部分或全部ROI的特征图联合预测图像中的物体的共同上轴信息，包括：联结(concate)部分或全部ROI的特征图得到联合特征图，根据联合特征图预测共同上轴信息。或者，合并部分或全部ROI的特征图得到联合特征图，根据联合特征图预测共同上轴信息，其中合并后得到的联合特征图的维度和ROI的特征图的维度相同。还可以在部分或全部ROI的特征图基础上结合全局特征图联合预测共同上轴信息。本实施例通过图像中部分或全部物体各自所在ROI的特征图联合预测图像中的物体的共同上轴信息，进而获取地面的法向，并以法向为参照预测各物体的位姿，预测的方法包括卷积和池化等，提高了位姿估计的准确性。在一种可能的实现方式中，根据目标ROI中目标物体的个体信息和共同上轴信息获取目标物体的位姿，包括：获取拍摄相机的位置信息，该位置信息包括拍摄相机的坐标位置、拍摄相机的法向和正面朝向，再以拍摄相机的位置信息为参照，根据目标物体的正本文档来自技高网...

【技术保护点】
1.一种物体的位姿获取方法，其特征在于，包括：获取二维场景图像；通过机器学习得到所述图像的全局特征图；从所述图像中获取多个感兴趣区域ROI，并获取各ROI的特征图；根据部分或全部所述ROI的特征图联合预测所述图像中的物体的共同上轴信息；根据目标ROI的特征图预测所述目标ROI中的目标物体的个体信息；所述目标ROI为所述多个ROI中包括所述图像中需要进行位姿获取的目标物体的ROI；根据所述目标ROI中目标物体的所述个体信息和所述共同上轴信息获取所述目标物体的位姿。

【技术特征摘要】
1.一种物体的位姿获取方法，其特征在于，包括：获取二维场景图像；通过机器学习得到所述图像的全局特征图；从所述图像中获取多个感兴趣区域ROI，并获取各ROI的特征图；根据部分或全部所述ROI的特征图联合预测所述图像中的物体的共同上轴信息；根据目标ROI的特征图预测所述目标ROI中的目标物体的个体信息；所述目标ROI为所述多个ROI中包括所述图像中需要进行位姿获取的目标物体的ROI；根据所述目标ROI中目标物体的所述个体信息和所述共同上轴信息获取所述目标物体的位姿。2.根据权利要求1所述的方法，其特征在于，所述根据目标ROI的特征图预测所述目标ROI中的目标物体的个体信息，包括：根据目标ROI的特征图预测所述目标ROI中的目标物体的正面朝向信息和到拍摄相机的距离信息。3.根据权利要求1或2所述的方法，其特征在于，所述根据部分或全部所述ROI的特征图联合预测所述图像中的物体的共同上轴信息，包括：联结部分或全部所述ROI的特征图得到联合特征图，根据所述联合特征图预测所述共同上轴信息。4.根据权利要求1或2所述的方法，其特征在于，所述根据部分或全部所述ROI的特征图联合预测所述图像中的物体的共同上轴信息，包括：合并部分或全部所述ROI的特征图得到联合特征图，根据所述联合特征图预测所述共同上轴信息，其中合并后得到的所述联合特征图的维度和所述ROI的特征图的维度相同。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据部分或全部所述ROI的特征图联合预测所述图像中的物体的共同上轴信息，包括：根据部分或全部所述ROI的特征图和所述全局特征图联合预测所述共同上轴信息。6.根据权利要求1-5中任一项所述的方法，其特征在于，所述目标物体的个体信息包括所述目标物体的正面朝向信息和所述目标物体到拍摄相机的距离信息；所述根据所述目标ROI中目标物体的所述个体信息和所述共同上轴信息获取所述目标物体的位姿之前，还包括：根据所述全局特征图预测所述拍摄相机的高度；所述根据所述目标ROI中目标物体的所述个体信息和所述共同上轴信息获取所述目标物体的位姿，包括：根据所述拍摄相机的高度、所述目标物体的正面朝向信息、所述目标物体到拍摄相机的距离信息和所述共同上轴信息获取所述目标物体的位姿。7.根据权利要求1-5中任一项所述的方法，其特征在于，所述目标物体的个体信息包括所述目标物体的正面朝向信息和所述目标物体到拍摄相机的距离信息；所述根据所述目标ROI中目标物体的所述个体信息和所述共同上轴信息获取所述目标物体的位姿，包括：获取所述拍摄相机的位置信息，所述位置信息包括所述拍摄相机的坐标位置、所述拍摄相机的法向和正面朝向；以所述拍摄相机的位置信息为参照，根据所述目标物体的正面朝向信息、所述目标物体到拍摄相机的距离信息和所述共同上轴信息计算所述目标物体的位姿。8.根据权利要求7所述的方法，其特征在于，所述拍摄相机的位置信息为所述拍摄相机的中心位置信息；所述目标物体到拍摄相机的距离信息为所述目标物体的中心位置到所述拍摄相机的中心位置的距离信息；所述以所述拍摄相机的位置信息为参照，根据所述目标物体的正面朝向信息、所述目标物体到所述拍摄相机的距离信息和所述共同上轴信息计算所述目标物体的位姿，包括：以所述拍摄相机的中心位置信息为参考坐标系，计算所述拍摄相机正面朝向到所述目标物体正面朝向的角度；计算所述拍摄相机法向到所述共同上轴的角度；根据所述拍摄相机正面朝向到所述目标物体正面朝向的角度、所述拍摄相机法向到所述共同上轴的角度和所述目标物体的中心位置到所述拍摄相机的中心位置的距离信息计算所述目标物体的中心位置在所述参考坐标系中的位姿。9.一种场景重构的方法，其特征在于，包括：获取二维场景图像；通过机器学习得到所述图像的全局特征图；从所述图像中获取多个感兴趣区域ROI，并获取各ROI的特征图；根据部分或全部所述ROI的特征图联合预测所述图像中的物体的共同上轴信息；根据目标ROI的特征图预测所述目标ROI中的目标物体的个体信息，所述目标ROI为包括所述图像中需要进行位姿获取的目标物体的ROI，所述个体信息包括目标物体的类别信息、大小信息、正面朝向信息和到拍摄相机的距离信息；根据所述目标物体的正面朝向信息、所述目标物体到拍摄相机的距离信息和所述共同上轴信息获取所述目标物体的位姿；根据所述目标物体的类别信息和大小信息获取所述目标物体的三维模型；根据所述目标物体的位姿和所述三维模型重构场景。10.根据权利要求9所述的方法，其特征在于，所述根据部分或全部所述ROI的特征图联合预测所述图像中的物体的共同上轴信息，包括：联结部分或全部所述ROI的特征图得到联合特征图，根据所述联合特征图预测所述共同上轴信息。11.根据权利要求9所述的方法，其特征在于，所述根据部分或全部所述ROI的特征图联合预测所述图像中的物体的共同上轴信息，包括：合并部分或全部所述ROI的特征图得到联合特征图，根据所述联合特征图预测所述共同上轴信息，其中合并后得到的所述联合特征图的维度和所述ROI的特征图的维度相同。12.根据权利要求9-11中任一项所述的方法，其特征在于，所述根据所述目标物体的正面朝向信息、所述目标物体到拍摄相机的距离信息和所述共同上轴信息获取所述目标物体的位姿，包括：获取所述拍摄相机的位置信息，所述位置信息包括所述拍摄相机的坐标位置、所述拍摄相机的法向和正面朝向；以所述拍摄相机的位置信息为参照，根据所述目标物体的正面朝向信息、所述目标物体到拍摄相机的距离信息和所述共同上...

【专利技术属性】
技术研发人员：刘传建，王靓伟，李扬彦，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44