双眼定位方法及装置、电子设备和计算机可读存储介质制造方法及图纸

本发明专利技术实施例涉及空间定位技术领域，公开了一种双眼定位方法及装置、电子设备和计算机可读存储介质。其中，双眼定位方法包括：获取三维体感摄像机提供的定位对象的骨架信息和定位对象的图像；根据骨架信息确定定位对象的面部的空间位置信息；根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置；基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置；根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息。通过提供一种双眼定位方法，使用户能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位，提高了用户体验。

Binocular Positioning Method and Device, Electronic Equipment and Computer Readable Storage Media

【技术实现步骤摘要】
双眼定位方法及装置、电子设备和计算机可读存储介质
本专利技术实施例涉及空间定位
，特别涉及一种双眼定位方法及装置、电子设备和计算机可读存储介质。
技术介绍
三维(3D)高清视频技术逐步运用在胸腔镜手术中，医生只需佩戴辅助3D眼镜即可在3D显示器上看到立体效果的手术画面。但是，辅助3D的胸腔镜手术有一个缺点就是医生需要佩戴3D眼镜。临床医生发现戴着3D眼镜做手术存在诸多缺陷：一是光线经过偏光镜过滤后，亮度降低50％，医生会感觉视野偏暗，看久了会感觉疲劳；二是对于不习惯佩戴眼镜的医生，佩戴3D眼镜会带来的各种不适感，比如呼吸时水蒸气会使镜片模糊、长时间佩戴眼镜给鼻子、耳朵带来的压迫感，在手术中有可能产生晕眩感；三是平时戴眼镜的医生，要同时佩戴两副眼镜。为了克服上述缺陷，目前在胸腔镜手术中引入了裸眼3D显示技术，医生不需要佩戴眼镜，即可在3D显示器上看到立体效果的手术画面。为了保证良好的视觉感受效果，需要在裸眼3D显示中追踪医生的人眼位置，即观看位置，基于医生的观看位置进行裸眼3d显示，为了进行人眼位置的追踪，一般需要医生佩戴一个像头箍一样的红外线跟踪器(本文称为头箍跟踪器)，通过对头箍跟踪器进行红外定位，从而实现观看位置的追踪。这对于不习惯戴眼镜的医生来说，可以免去佩戴辅助3D眼镜带来的各种不适感，但医生需要佩戴一个头箍跟踪器。专利技术人发现现有技术中至少存在如下问题：佩戴头箍跟踪器会对头部产生压迫，并且需要定时为头箍跟踪器充电，用户体验差。
技术实现思路
本专利技术实施方式的目的在于提供一种双眼定位方法及装置、电子设备和计算机可读存储介质，能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位，提高用户体验。为解决上述技术问题，本专利技术的实施方式提供了一种双眼定位方法，包括：获取三维体感摄像机提供的定位对象的骨架信息和定位对象的图像；根据骨架信息确定定位对象的面部的空间位置信息；根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置；基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置；根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息。本专利技术的实施方式还提供了一种双眼定位装置，包括：获取模块，用于获取三维体感摄像机提供的定位对象的骨架信息和定位对象的图像；第一处理模块，用于根据骨架信息确定定位对象的面部的空间位置信息；第二处理模块，用于根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置；第三处理模块，用于基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置；第四处理模块，用于根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息；本专利技术的实施方式还提供了一种电子设备，包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施方式中的双眼定位方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式中的双眼定位方法。本专利技术的实施方式相对于现有技术而言，通过三维体感摄像机提供的定位对象的骨架信息和定位对象的图像，最终确定出定位对象的双眼空间位置信息，实现对定位对象的双眼进行定位。通过这种双眼定位方法，使用户能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位，提高了用户体验。另外，根据骨架信息确定定位对象的面部的空间位置信息，包括：将骨架信息中的头部位置向左偏移第一预设值，得到定位对象面部区域的左边界值；将骨架信息中的头部位置向右偏移第二预设值，得到定位对象面部区域的右边界值；将骨架信息中的头部位置向上偏移第三预设值，得到定位对象面部区域的上边界值；将骨架信息中的头部位置向下偏移第四预设值，得到定位对象面部区域的下边界值；将左边界值、右边界值、上边界值和下边界值所限定的区域的位置信息，确定为定位对象的面部的空间位置信息。该方式中，通过三维体感摄像机提供的骨架信息中的头部位置首先确定出定位对象的面部的空间位置信息，为进行双眼定位确定出一个基本范围，提高了双眼定位的效率。另外，定位对象的图像包括定位对象的彩色图像；根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置包括：根据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位置；基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置，包括：根据定位对象的面部在定位对象的彩色图像中的位置，获取定位对象的面部彩色图像；基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的位置；根据定位对象的双眼在面部彩色图像中的位置，确定定位对象的双眼在定位对象的彩色图像中的位置。该方式中，通过在面部彩色图像中进行双眼检测，将双眼在面部彩色图像中的位置转换为双眼在彩色图像中的位置，降低了计算复杂度，提高了双眼检测效率。另外，根据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位置，包括：调用三维体感摄像机提供的应用程序接口API函数，将面部的空间位置信息代入API函数，获取API函数返回的定位对象的面部在定位对象的彩色图像中的位置；或者，利用预先标定的三维体感摄像机的彩色相机拍摄参数对面部的空间位置信息进行坐标变换，获取定位对象的面部在定位对象的彩色图像中的位置。另外，基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的位置包括：采用人脸对齐算法检测面部彩色图像中的人脸特征点，获取检测到的人脸特征点的位置，其中，人脸特征点为双眼处的特征点，或者，人脸特征点为眉毛和双眼处的特征点、或者，人脸特征点为双眼和脸部轮廓处的特征点，或者，人脸特征点为眉毛、双眼和脸部轮廓处的特征点；根据检测到的人脸特征点的位置，确定定位对象的双眼在面部彩色图像中的位置。该方式中，通过对人脸特征点的简化处理，提高了采用人脸对齐算法进行双眼检测的效率，降低了检测复杂度。另外，根据定位对象的双眼在面部彩色图像中的位置，确定定位对象的双眼在定位对象的彩色图像中的位置包括：计算定位对象的左眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中的横坐标值；计算定位对象的左眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中的纵坐标值；计算定位对象的右眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中的横坐标值；计算定位对象的右眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中的纵坐标值；其中，第一值为定位对象的面部在定位对象的彩色图像中的位置的左上角的横坐标值和右下角的横坐标值中的最小值，第二值为定位对象的面部在定位对象的彩色图像中的位置的左上角的纵坐标值和右下角的纵坐标值中的最小值。另外，定位对象的图像还包括定位对象的深度图像；根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息包括：根据双眼在定位对象的本文档来自技高网...

【技术保护点】
1.一种双眼定位方法，其特征在于，包括：获取三维体感摄像机提供的定位对象的骨架信息和所述定位对象的图像；根据所述骨架信息确定所述定位对象的面部的空间位置信息；根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的图像中的位置；基于所述定位对象的面部在所述定位对象的图像中的位置以及所述定位对象的图像进行双眼检测，获得所述定位对象的双眼在所述定位对象的图像中的位置；根据所述双眼在所述定位对象的图像中的位置，确定所述双眼的空间位置信息。

【技术特征摘要】
1.一种双眼定位方法，其特征在于，包括：获取三维体感摄像机提供的定位对象的骨架信息和所述定位对象的图像；根据所述骨架信息确定所述定位对象的面部的空间位置信息；根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的图像中的位置；基于所述定位对象的面部在所述定位对象的图像中的位置以及所述定位对象的图像进行双眼检测，获得所述定位对象的双眼在所述定位对象的图像中的位置；根据所述双眼在所述定位对象的图像中的位置，确定所述双眼的空间位置信息。2.根据权利要求1所述的双眼定位方法，其特征在于，根据所述骨架信息确定所述定位对象的面部的空间位置信息，包括：将所述骨架信息中的头部位置向左偏移第一预设值，得到所述定位对象面部区域的左边界值；将所述骨架信息中的头部位置向右偏移第二预设值，得到所述定位对象面部区域的右边界值；将所述骨架信息中的头部位置向上偏移第三预设值，得到所述定位对象面部区域的上边界值；将所述骨架信息中的头部位置向下偏移第四预设值，得到所述定位对象面部区域的下边界值；将所述左边界值、所述右边界值、所述上边界值和所述下边界值所限定的区域的位置信息，确定为所述定位对象的面部的空间位置信息。3.根据权利要求1或2所述的双眼定位方法，其特征在于，所述定位对象的图像包括所述定位对象的彩色图像；所述根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的图像中的位置包括：根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的彩色图像中的位置；所述基于所述定位对象的面部在所述定位对象的图像中的位置以及所述定位对象的图像进行双眼检测，获得所述定位对象的双眼在所述定位对象的图像中的位置，包括：根据所述定位对象的面部在所述定位对象的彩色图像中的位置，获取所述定位对象的面部彩色图像；基于所述面部彩色图像进行双眼检测，获得所述定位对象的双眼在所述面部彩色图像中的位置；根据所述定位对象的双眼在所述面部彩色图像中的位置，确定所述定位对象的双眼在所述定位对象的彩色图像中的位置。4.根据权利要求3所述的双眼定位方法，其特征在于，所述根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的彩色图像中的位置，包括：调用所述三维体感摄像机提供的应用程序接口API函数，将所述面部的空间位置信息代入所述API函数，获取所述API函数返回的所述定位对象的面部在所述定位对象的彩色图像中的位置；或者，利用预先标定的所述三维体感摄像机的彩色相机拍摄参数对所述面部的空间位置信息进行坐标变换，获取所述定位对象的面部在所述定位对象的彩色图像中的位置。5.根据权利要求3所述的双眼定位方法，其特征在于，所述基于所述面部彩色图像进行双眼检测，获得所述定位对象的双眼在所述面部彩色图像中的位置包括：采用人脸对齐算法检测所述面部彩色图像中的人脸特征点，获取检测到的人脸特征点的位置，其中，所述人脸特征点为双眼处的特征点，或者，所述人脸特征点为眉毛和双眼处的特征点，或者，所述人脸特征点为双眼和脸部轮廓处的特征点，或者，所述人脸特征点为眉毛、双眼和脸部轮廓处的特征点；根据所述检测到的人脸特征点的位置，确定所述定位对象的双眼在所述面部彩色图像中的位置。6.根据权利要求3所述的双眼定位方法，其特征在于，所述根据所述定位对象的双眼在所述面部彩色图像中的位置，确定所述定位对象的双眼在所述定位对象的彩色图像中的位置包括：计算所述定位对象的左眼在所述面部彩色图像中的横坐标值与第一值的和，将所得和值作为所述定位对象的左眼在所述定位对象的彩色图像中的横坐标值；计算所述定位对象的左眼在所述面部彩色图像中的纵坐标值与第二值的和，将所得和值作为所述定位对象的左眼在所述定位对象的彩色图像中的纵坐标值；计算所述定位对象的右眼在所述面部彩色图像中的横坐标值与所述第一值的和，将所得和值作为所述定位对象的右眼在所述定位对象的彩色图像中的横坐标值；计算所述定位对象的右眼在所述面部彩色图像中的纵坐标值与所述第二值的和，将所得和值作为所述定位对象的右眼在所述定位对象的彩色图像中的纵坐标值；其中，所述第一值为所述定位对象的面部在所述定位对象的彩色图像中的位置的左上角的横坐标值和右下角的横坐标值中的最小值，所述第二值为所述定位对象的面部在所述定位对象的彩色图像中的位置的左上角的纵坐标值和右下角的纵坐标值中的最小值。7.根据权利要求3所述的双眼定位方法，其特征在于，所述定位对象的图像还包括所述定位对象的深度图像；所述根据所述双眼在所述定位对象的图像中的位置，确定所述双眼的空间位置信息包括：根据所述双眼在所述定位对象的彩色图像中的位置，获取所述定位对象的双眼在所述定位对象的深度图像中的位置处的深度值；根据所述深度值以及所述定位对象的双眼在所述定位对象的彩色图像中的位置，确定所述双眼的空间位置信息。8.根据权利要求7所述的双眼定位方法，其特征在于，所述根据所述深度值以及所述定位对象的双眼在所述定位对象的彩色图像中的位置，确定所述双眼的空间位置信息包括：按照公式确定所述双眼的空间位置信息，其中，表示所述双眼的空间位置坐标，D表示所述深度值，K表示所述三维体感摄像机中彩色相机的内参矩阵，K-1表示所述内参矩阵的逆矩阵，表示所述定位对象的双眼在所述定位对象的彩色图像中的位置。9.一种双眼定位装...

【专利技术属性】
技术研发人员：李亚鹏，
申请(专利权)人：深圳超多维科技有限公司，
类型：发明
国别省市：广东,44