位姿检测方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种位姿检测方法及装置、电子设备和存储介质，其中所述方法包括：确定目标图像中目标对象的各第一特征部的第一位置信息，其中所述目标图像由摄像设备摄取；基于第一位置信息和所述摄像设备的设备参数确定针对所述目标对象的第二特征部的三维位置信息，所述第二特征部至少包括各第一特征部；基于对应的所述第一位置信息和三维位置信息确定所述目标对象的空间位姿。本公开实施例可提高位姿检测精度。

【技术实现步骤摘要】
位姿检测方法及装置、电子设备和存储介质
本公开涉及图像处理
，尤其涉及一种位姿检测方法及装置、电子设备和存储介质。
技术介绍
在计算机视觉中，人体姿态估计是重要的人机交互接口，尤其是对人体在三维空间中的姿态和位置估计，是交互过程中最基础，也是最关键的内容。传统技术中，利用了较为昂贵的深度摄像头设备，对人体进行相对粗糙的三维建模，从而达到预测人体相对相机位姿的目的。但是如今大多数的摄像设备只有RGB三通道的数据，所以传统方法无法得到大规模的推广。利用RGB摄像头设备，现有的技术局限于二维人体关键点检测和三维人体姿态的粗略估计，无法定位人体在整个三维空间中的大小和位置，这意味着无法预测人是否进行了移动。近年来，深度学习算法的进步，使得通过图片直接预测三维人体姿态成为了大多数应用首选的办法，但是直接使用深度神经网络进行位姿的预测，也无法得到令人满意的精度。
技术实现思路
本公开实施例提供了一种结合摄像设备的设备参数执行人体位姿检测从而提高检测精度的位姿检测方法及装置、电子设备和存储介质。根据本公开的一方面，提供了一种位姿检测方法，其包括：确定目标图像中目标对象的各第一特征部的第一位置信息，其中所述目标图像由摄像设备摄取；基于第一位置信息和所述摄像设备的设备参数确定针对所述目标对象的第二特征部的三维位置信息，所述第二特征部至少包括各第一特征部；基于对应的所述第一位置信息和三维位置信息确定所述目标对象的空间位姿。在本公开实施例中，所述确定目标图像中目标对象的各第一特征部的第一位置信息包括：获取所要识别的第一特征部的信息；基于获取的第一特征部的信息，识别所述目标对象中的各所述第一特征部；基于建立的二维坐标系确定各所述第一特征部的第一位置信息。在本公开实施例中，所述基于第一位置信息和所述摄像设备的设备参数确定针对所述目标对象的第二特征部的三维位置信息包括：基于所述摄像设备的设备参数对各所述第一位置信息执行归一化处理，得到第二位置信息；利用各所述第二位置信息确定所述第二特征部的三维位置信息。在本公开实施例中，所述基于所述摄像设备的设备参数对各所述第一位置信息执行归一化处理，得到第二位置信息包括：利用所述设备参数对所述第一位置信息执行第一归一化处理，得到各所述第一特征部的第三位置信息；确定各第一特征部的第三位置信息的均值和方差；基于所述均值和方差对各所述第三位置信息执行第二归一化处理，得到所述第二位置信息。在本公开实施例中，所述利用所述设备参数对所述第一位置信息执行第一归一化处理，得到各所述第一特征部的第三位置信息包括：利用所述设备参数对所述第一位置信息执行去畸变处理；对去畸变处理后的第一位置信息执行第一归一化处理，得到各所述第一特征部的第三位置信息。在本公开实施例中，所述利用所述设备参数对所述第一位置信息执行去畸变处理包括：利用第一公式对所述第一位置信息执行所述去畸变处理处理，其中第一公式包括：x'＝(x-cx)/fxy'＝(y-cy)/fy；r＝x'2+y'2Δx＝2p1x'y'+p2(r2+2x'2)Δy＝p1(r2+2y'2)+2p2x'y'u'＝(x'-Δx)tv'＝(y'-Δy)tu＝u'fx+cxv＝v'fx+cy其中，fx为摄像设备在x轴上的焦距，fy为摄像设备在y轴上的焦距，cx和cy分别为摄像设备的光心坐标位置的横坐标值和纵坐标值，k1、k2、k3、k4、k5、k6分别为摄像设备的径向畸变参数，p1、p2为摄像设备的切向畸变参数，x和y分别为第一位置信息的横坐标值和纵坐标值，u和v分别为畸变处理处理后的横坐标值和纵坐标值。在本公开实施例中，所述基于所述均值和方差对各所述第三位置信息执行第二归一化处理，得到所述第二位置信息包括：利用第二公式，基于所述均值和方差对所述第三位置信息执行第二归一化处理，其中所述第二公式包括：其中，s和t分别表示第二位置信息的横坐标和纵坐标，xi和yi分别表示第i个第一特征的第三位置信息的横坐标值和纵坐标值，mean函数为均值函数，std函数为方差函数，i为正整数。在本公开实施例中，所述利用各所述第二位置信息确定所述第二特征部的三维位置信息包括：利用预设模型根据各所述第一特征部的第二位置信息，获得针对所述目标对象的第二特征部的三维位置信息；其中，所述预设模型包括深度学习模型。在本公开实施例中，所述基于第一位置信息和所述摄像设备的设备参数确定针对所述目标对象的第二特征部的三维位置信息包括：基于所述摄像设备的设备参数对各所述第一位置信息执行归一化处理，得到第二位置信息；利用各所述第二位置信息确定所述第二特征部的三维形成的第四位置信息；对各所述第四位置信息执行逆归一化处理得到各第二特征部的三维位置信息。在本公开实施例中，所述对各所述第四位置信息执行逆归一化处理得到各第二特征部的三维位置信息包括：利用第三公式，对各所述第四位置信息执行逆归一化处理得到三维位置信息，其中所述第三公式包括：X‘＝X*std(X)+mean(X)Y’＝Y*std(Y)+mean(Y)Z'＝Z*std(Z)+mean(Z)其中，X‘、Y’和Z'分别表示三维位置信息的三个坐标值，X、Y和Z分别表示第四位置信息的三个坐标值，std表示方差函数，mean表示均值函数。在本公开实施例中，所述基于对应的所述第一位置信息和三维位置信息确定所述目标对象的空间位姿包括：基于相同特征部的第一位置信息和三维位置信息确定校正参数；基于所述校正参数校正所述三维位置信息；基于校正后的三维位置信息确定所述目标对象的空间位姿。在本公开实施例中，所述基于相同特征部的第一位置信息和三维位置信息确定校正参数包括：利用旋转矩阵和平移矩阵将所述三维位置信息转换成二维形式的第五位置信息；基于所述第五位置信息和第二位置信息之间的差异反馈调节所述旋转矩阵和平移矩阵，直至所述差异满足预设要求；基于所述差异满足预设要求时的旋转矩阵和平移矩阵确定所述校正参数。在本公开实施例中，所述利用旋转矩阵和平移矩阵将所述三维位置信息转换成二维形式的第五位置信息，包括：通过第四公式利用旋转矩阵和平移矩阵将所述三维位置信息转换成二维形式的第五位置信息，其中所述第四公式包括：S5＝K[R|T]·S3其中，fx为摄像设备在x轴上的焦距，fy为摄像设备在y轴上的焦距，cx和cy分别为摄像设备的光心坐标位置的横坐标值和纵坐标值，S5为第五位置信息，S3为三维位置信息。在本公开实施例中，所述基于所述第五位置信息和第二位置信息之间的差异反馈调节所述旋转矩阵和平移矩阵，直至所述差异满足预设要求，包括：利用优化模型执行所述旋转矩阵和平移矩阵的反馈调节，所述优化模型的表达式包括：其中，argmin函数表示差异的最小化函数，S2表示第二位置信息。在本公开实施例中，所述基于所述校正参数校正所述三维位置信息包括：利用第五公式校正所述三维位置信息，其中所述第五公式包括：P'＝P*R+T其中，P为校正之前的三维位置信息，P’为校正后的三维位置信息，R为旋转矩阵，T为平移矩阵。在本公开实施例中，所述基于对应的所述第一位置信息和三维位置信息确定所述目标对象的空间位姿，还包括：基于所述第一特征部的第一标识和第二特征部的第二标识，确定第一特征部和第二特征部中的相同特征部。在本公开实施例中，所述方本文档来自技高网...

【技术保护点】
1.一种位姿检测方法，其特征在于，包括：确定目标图像中目标对象的各第一特征部的第一位置信息，其中所述目标图像由摄像设备摄取；基于第一位置信息和所述摄像设备的设备参数确定针对所述目标对象的第二特征部的三维位置信息，所述第二特征部至少包括各第一特征部；基于对应的所述第一位置信息和三维位置信息确定所述目标对象的空间位姿。

【技术特征摘要】
1.一种位姿检测方法，其特征在于，包括：确定目标图像中目标对象的各第一特征部的第一位置信息，其中所述目标图像由摄像设备摄取；基于第一位置信息和所述摄像设备的设备参数确定针对所述目标对象的第二特征部的三维位置信息，所述第二特征部至少包括各第一特征部；基于对应的所述第一位置信息和三维位置信息确定所述目标对象的空间位姿。2.根据权利要求1所述的方法，其特征在于，所述确定目标图像中目标对象的各第一特征部的第一位置信息包括：获取所要识别的第一特征部的信息；基于获取的第一特征部的信息，识别所述目标对象中的各所述第一特征部；基于建立的二维坐标系确定各所述第一特征部的第一位置信息。3.根据权利要求1或2所述的方法，其特征在于，所述基于第一位置信息和所述摄像设备的设备参数确定针对所述目标对象的第二特征部的三维位置信息包括：基于所述摄像设备的设备参数对各所述第一位置信息执行归一化处理，得到第二位置信息；利用各所述第二位置信息确定所述第二特征部的三维位置信息。4.根据权利要求3所述的方法，其特征在于，所述基于所述摄像设备的设备参数对各所述第一位置信息执行归一化处理，得到第二位置信息包括：利用所述设备参数对所述第一位置信息执行第一归一化处理，得到各所述第一特征部的第三位置信息；确定各第一特征部的第三位置信息的均值和方差；基于所述均值和方差对各所述第三位置信息执行第二归一化处理，得到所述第二位置信息。5.根据权利要求4所述的方法，其特征在于，所述利用所述设备参数对所述第一位置信息执行第一归一化处理，得到各所述第一特征部的第三位置信息包括：利用所述设备参数对所述第一位置信息执行去畸变处理；对去畸变处理后的第一位置信息执行第一归一化处理，得到各所述第一特征部的第三位置信息。6.根据权利要求5所述的方法，其特征在于，所述利用所述设备参数对所述第一位置信息执行去畸变处理包括：利用第一公式对所述第一位置信息执行所述去畸变处理处理，其中第一公式包...

【专利技术属性】
技术研发人员：汪旻，刘文韬，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11