位姿检测方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种位姿检测方法及装置、电子设备和存储介质，所述方法包括：获取待处理的至少一帧第一图像，该第一图像包括图像采集设备采集的目标对象背面的二维图像，根据至少一帧第一图像，以及预设的目标对象正面的三维点云，确定所述第一图像中目标对象的位姿信息。本公开实施例不仅能准确实现背对相机拍摄的单帧图像的位姿，还能准确实现背对相机阵列设备拍摄的多帧图像的位姿，有效解决目标对象全方位的位姿检测，不管目标对象的面部朝向与拍摄方向的角度呈现什么角度，均能实现准确地位姿检测。姿检测。姿检测。

【技术实现步骤摘要】
位姿检测方法及装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种位姿检测方法及装置、电子设备和存储介质。

技术介绍

[0002]基于图像的目标三维重建已经成为十分流行的研究方向，并且在目标的检测与识别、目标驱动、增强现实等方向得到广泛应用，与之对应的，求解目标对象的三维模型和二维图像间的相对位姿(Pose)，也形成了一套比较成熟的逻辑方案。
[0003]但是，在对目标对象进行三维重建的过程中，当目标对象背对镜头，由于目标对象背面没有明确的语义部位，例如，以人头三维重建为例，当人头后脑勺的区域朝向镜头时，后脑勺上没有例如眼角、嘴角、鼻尖等拥有明确语义的部位，所以，在进行目标对象的三维模型(人头三维模型)相对于背面二维图像(例如后脑勺图像)的位姿检测时会遇到较大的困难。

技术实现思路

[0004]本公开提出了一种位姿检测技术方案。
[0005]根据本公开的一方面，提供了一种位姿检测方法，包括：获取待处理的至少一帧第一图像，所述第一图像包括图像采集设备采集的目标对象背面的二维图像；根据所述至少一帧第一图像，以及预设点云，确定所述第一图像中目标对象的位姿信息，其中，所述预设点云为目标对象正面的三维点云。
[0006]在一种可能的实现方式中，所述预设点云包括N个预设关键点，N为大于1的整数，在图像采集设备为单相机的情况下，所述至少一帧第一图像包括所述单相机拍摄的单帧第一图像；所述根据所述至少一帧第一图像，以及预设点云，确定所述第一图像中目标对象的位姿信息，包括：在所述单帧第一图像的目标对象区域，生成包含N个第一关键点的标注信息；将所述预设点云投影至所述单帧第一图像，确定N个第一关键点对应的N个第一投影点；对所述N个第一投影点与所述N个预设关键点进行拟合处理，得到所述单帧第一图像中目标对象的位姿信息。
[0007]在一种可能的实现方式中，在图像采集设备为相机阵列的情况下，所述至少一帧第一图像包括：多帧第一图像以及多帧第二图像，所述第二图像为目标对象正面的二维图像；所述根据所述至少一帧第一图像，以及预设点云，确定所述第一图像中目标对象的位姿信息，包括：对所述多帧第二图像进行三维重建，得到所述预设点云，以及对所述多帧第一图像进行三维重建，得到第一点云；根据所述预设点云和所述第一点云的相对关系，确定所述多帧第一图像中每帧第一图像中目标对象的位姿信息。
[0008]在一种可能的实现方式中，在图像采集设备为相机阵列的情况下，在所述获取待处理的至少一帧第一图像之前，包括：根据所述相机阵列采集的棋盘格图像，标定相机阵列的内参数和外参数，所述内参数包括焦距和/或像素大小，所述外参数包括相机位置和/或
相机旋转角度；所述对所述多帧第二图像进行三维重建，得到所述预设点云，包括：根据所述内参数和所述外参数，对所述多帧第二图像进行三维重建，得到所述预设点云；以及，所述对所述多帧第一图像进行三维重建，得到第一点云，包括：根据所述内参数和所述外参数，对所述多帧第一图像进行三维重建，得到所述第一点云。
[0009]在一种可能的实现方式中，所述预设点云和所述第一点云的相对关系包括所述预设点云与所述第一点云之间的位姿变换信息，所述根据所述预设点云和所述第一点云的相对关系，确定所述多帧第一图像中每帧第一图像中目标对象的位姿信息，包括：根据相机阵列的内参数和外参数、确定所述预设点云与所述第一点云之间的位姿变换信息，确定所述预设点云与每帧第一图像之间的位姿变换信息；根据所述预设点云与每帧第一图像之间的位姿变换信息，确定所述多帧第一图像中每帧第一图像中目标对象的位姿信息。
[0010]在一种可能的实现方式中，所述预设点云和所述第一点云的相对关系包括所述预设点云与所述第一点云之间的位姿变换信息，所述方法还包括：对所述预设点云进行点云注册处理，确定所述预设点云对应的网格数据，以及所述网格数据与所述预设点云之间的位姿变换信息；所述根据所述预设点云和所述第一点云的相对关系，确定所述多帧第一图像中每帧第一图像中目标对象的位姿信息，包括：根据所述网格数据与所述预设点云之间的位姿变换信息，以及所述预设点云与所述第一点云之间的位姿变换信息，确定所述网格数据与所述第一点云之间的位姿变换信息；根据相机阵列的内参数和外参数、所述网格数据与所述第一点云之间的位姿变换信息，确定所述网格数据与每帧第一图像之间的位姿变换信息；根据所述网格数据与每帧第一图像之间的位姿变换信息，确定所述多帧第一图像中每帧第一图像中目标对象的位姿信息。
[0011]在一种可能的实现方式中，所述对所述多帧第二图像进行三维重建，得到所述预设点云，以及对所述多帧第一图像进行三维重建，得到第一点云之后，所述方法还包括：对所述预设点云与所述第一点云进行对齐处理，确定所述预设点云与所述第一点云之间的相对关系。
[0012]在一种可能的实现方式中，所述对所述预设点云与所述第一点云进行对齐处理，确定所述预设点云与所述第一点云之间的相对关系，包括：在所述预设点云的人脸区域中，生成包含N个预设关键点的标注信息；在所述第一点云的人脸区域中，生成包含K个第二关键点的标注信息，K为不大于N的整数；对所述预设点云的N个关键点与所述第一点云的K个第二关键点进行对齐处理，确定预设点云与所述第一点云之间的相对关系。
[0013]在一种可能的实现方式中，所述目标对象包括人体的身体部位；所述人体的身体部位包括人脸的情况下，所述预设关键点包括人脸器官的关键点；所述人体的身体部位包括肢体的情况下，所述预设关键点包括肢体关键点。
[0014]根据本公开的一方面，提供了一种位姿检测装置，包括：获取模块，用于获取待处理的至少一帧第一图像，所述第一图像包括图像采集设备采集的目标对象背面的二维图像；确定模块，用于根据所述至少一帧第一图像，以及预设点云，确定所述第一图像中目标对象的位姿信息，其中，所述预设点云为目标对象正面的三维点云。
[0015]根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
[0016]根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
[0017]在本公开实施例中，能够获取待处理的至少一帧第一图像，该第一图像包括图像采集设备采集的目标对象背面的二维图像，根据至少一帧第一图像，以及预设的目标对象正面的三维点云，确定所述第一图像中目标对象的位姿信息，通过这种方式，不仅能准确实现背对相机拍摄的单帧图像的位姿，还能准确实现背对相机阵列设备拍摄的多帧图像的位姿，有效解决目标对象全方位的位姿检测，不管目标对象的面部朝向与拍摄方向的角度呈现什么角度，均能实现准确地位姿检测。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种位姿检测方法，其特征在于，包括：获取待处理的至少一帧第一图像，所述第一图像包括图像采集设备采集的目标对象背面的二维图像；根据所述至少一帧第一图像，以及预设点云，确定所述第一图像中目标对象的位姿信息，其中，所述预设点云为目标对象正面的三维点云。2.根据权利要求1所述的方法，其特征在于，所述预设点云包括N个预设关键点，N为大于1的整数，在图像采集设备为单相机的情况下，所述至少一帧第一图像包括所述单相机拍摄的单帧第一图像；所述根据所述至少一帧第一图像，以及预设点云，确定所述第一图像中目标对象的位姿信息，包括：在所述单帧第一图像的目标对象区域，生成包含N个第一关键点的标注信息；将所述预设点云投影至所述单帧第一图像，确定N个第一关键点对应的N个第一投影点；对所述N个第一投影点与所述N个预设关键点进行拟合处理，得到所述单帧第一图像中目标对象的位姿信息。3.根据权利要求1所述的方法，其特征在于，在图像采集设备为相机阵列的情况下，所述至少一帧第一图像包括：多帧第一图像以及多帧第二图像，所述第二图像为目标对象正面的二维图像；所述根据所述至少一帧第一图像，以及预设点云，确定所述第一图像中目标对象的位姿信息，包括：对所述多帧第二图像进行三维重建，得到所述预设点云，以及对所述多帧第一图像进行三维重建，得到第一点云；根据所述预设点云和所述第一点云的相对关系，确定所述多帧第一图像中每帧第一图像中目标对象的位姿信息。4.根据权利要求3所述的方法，其特征在于，在图像采集设备为相机阵列的情况下，在所述获取待处理的至少一帧第一图像之前，包括：根据所述相机阵列采集的棋盘格图像，标定相机阵列的内参数和外参数，所述内参数包括焦距和/或像素大小，所述外参数包括相机位置和/或相机旋转角度；所述对所述多帧第二图像进行三维重建，得到所述预设点云，包括：根据所述内参数和所述外参数，对所述多帧第二图像进行三维重建，得到所述预设点云；以及，所述对所述多帧第一图像进行三维重建，得到第一点云，包括：根据所述内参数和所述外参数，对所述多帧第一图像进行三维重建，得到所述第一点云。5.根据权利要求3或4所述的方法，其特征在于，所述预设点云和所述第一点云的相对关系包括所述预设点云与所述第一点云之间的位姿变换信息，所述根据所述预设点云和所述第一点云的相对关系，确定所述多帧第一图像中每帧第一图像中目标对象的位姿信息，包括：根据相机阵列的内参数和外参数、确定所述预设点云与所述第一点云之间的位姿变换信息，确定所述预设点云与每帧第一图像之间的位姿变换信息；根据所述预设点云与每帧第一图像之间的位姿变换信息，确定所述多帧第一图像中每
帧第一图像中目标对象的位...

【专利技术属性】
技术研发人员：王坤，林纯泽，王权，钱晨，
申请(专利权)人：北京大甜绵白糖科技有限公司，
类型：发明
国别省市：