多相机标定的图像地面找平方法、装置、电子设备和介质制造方法及图纸

本申请公开了一种多相机标定的图像地面找平方法、装置、电子设备和介质。该方法包括：在多相机标定过程中建立图像坐标到世界坐标的映射关系；获取人体图像信息并在人体图像信息中进行人脸关键点检测得到人体眼部关键点信息和头部姿态辅助关键点信息；基于映射关系、人体眼部关键点信息和头部姿态辅助关键点信息计算得到世界坐标系下的3D关键点；获取姿态一致的人体双眼或单眼关键点构建拟合平面；计算世界坐标系下的xoy平面到拟合平面的旋转矩阵，旋转矩阵乘以映射关系为图像坐标到找平后的世界坐标的映射关系。该方法不使用额外标定物和人工标记，通过人体关键点检测进行相机标定后的自动地面找平，简单易行，适用于各种作业环境。作业环境。作业环境。

【技术实现步骤摘要】
多相机标定的图像地面找平方法、装置、电子设备和介质


[0001]本公开的实施例涉及视觉测量
，具体涉及一种多相机标定的图像地面找平方法、装置、电子设备和介质。

技术介绍

[0002]随着计算机视觉技术的发展，其应用越来越广泛。一般而言，在计算机视觉应用中，需要确定空间物体某点的三维几何位置与其在图像中对应点之间的相互关系，即建立图像坐标和空间位置坐标的映射关系。这个映射关系的求解过程就是相机标定。在计算机视觉应用中，相机参数的标定是非常关键的环节，其标定结果的精度及算法的稳定性直接影响计算机视觉产生结果的准确性。因此，做好相机标定是做好后续工作的前提。目前，传统的相机标定法有直接线性变换标定法、张正友标定法等。传统的相机标定需要使用尺寸已知的标定物，通过建立标定物上已知的坐标点与图像点之间的对应，利用算法获得相机模型的内外参数。
[0003]传统的相机标定法可以建立像素坐标和世界坐标的映射关系，但是因为世界坐标系选取方式各异，世界坐标与空间位置坐标未必是一致的。比较典型的一个问题就是如果世界坐标系xoy平面和地面不平行，则计算机视觉应用中计算得到的z坐标就不是高度信息。在一些实际的应用中，比如人体姿态估计中判断站姿坐姿是否笔直时，就会导致判断不准。具体来说，使用三维标定物时，比如三维标定框架，一般使用最下面的4个标定球所在平面作为世界坐标系xoy平面。如果制作工艺稍不精准，或者使用时间长导致框架的形变，都会导致xoy平面出现偏差。使用平面型标定物时，世界坐标系以标定板为基准，所以就需要将标定板平行或垂直于地面进行第一次标定，垂直很难保证，相机平视时若标定板放在地面上则在图像里倾斜角度较大也难以检测。
[0004]此外，要获取地面所在平面，则需要找到地面上至少3个位置坐标点，反映在相机标定过程中，则需要在多相机的图像中人工标出或者检测到至少3个特征点。这就首先要求地面上有额外的标定物，供人工标注或算法检测，且在多相机的图像中特征点具有唯一性，便于匹配。此种方式进行人工标注费时费力且误差较大，算法检测则受环境、视角等影响较大，且需要专门的检测和匹配算法。

技术实现思路

[0005]有鉴于此，本公开实施例提供了多相机标定的图像地面找平方法、装置、电子设备和介质，以解决现有技术中采用额外的标定物进行多相机标定的图像地面找平方法存在的误差较大、精度较低、容易受环境和视角等因素影响且需要专门的检测和匹配算法的技术问题。
[0006]针对上述现有技术中的缺陷，本申请的技术方案的专利技术构思在于，在没有外界标定物的情况下，完全可以根据人体自身作为标定物。因为地面找平并不需要特征点尺寸已知，而只需要平行于地面。人体关键点具备唯一性，且算法成熟易于检测，只需设计规则选
取平行于地面的关键点即可。随着深度学习技术的发展，人体关键点检测技术越来越成熟，针对某些关键点比如人脸关键点，其检测精度甚至不亚于人类。人体不同关键点检测的难易程度是不一样的，对于腰部、腿部这类关键点的检测要明显难于人脸关键点的检测，而且该类关键点本身区域较广，在多相机中很难确定检测的是同一个特征点，难以保证检测精度。因此，专利技术人选择人眼作为特征点。因为人眼区域较小且特征明显，易于检测且检测精度高。当人立正站直时，两眼离地面高度基本一致；考虑到人头部姿态可能会变化，因此在多次检测中取头部姿态比较一致的，用双眼或单眼作为特征点，多个特征点拟合平面，可以近似认为平行于地面。之后就可以求取xoy平面到拟合平面的旋转矩阵，从而进行世界坐标系的变换。
[0007]为实现上述目的，本公开实施例的第一方面，提供了一种多相机标定的图像地面找平方法，该方法包括：在多相机标定过程中建立图像坐标到世界坐标的映射关系；
[0008]获取人体图像信息并在所述人体图像信息中进行人脸关键点检测得到人体眼部关键点信息和头部姿态辅助关键点信息；
[0009]基于所述映射关系、所述人体眼部关键点信息和所述头部姿态辅助关键点信息计算得到世界坐标系下的3D关键点；
[0010]获取姿态一致的人体双眼或单眼关键点构建拟合平面；
[0011]计算所述世界坐标系下的xoy平面到所述拟合平面的旋转矩阵，所述旋转矩阵乘以所述映射关系为图像坐标到找平后的世界坐标的映射关系。
[0012]本公开实施例的第二方面，提供了一种多相机标定的图像地面找平装置，包括：
[0013]建立单元，被配置为在多相机标定过程中建立图像坐标到世界坐标的映射关系；
[0014]第一获取单元，被配置为获取人体图像信息并在所述人体图像信息中进行人脸关键点检测得到人体眼部关键点信息和头部姿态辅助关键点信息；
[0015]第一计算单元，被配置为基于所述映射关系、所述人体眼部关键点信息和所述头部姿态辅助关键点信息计算得到世界坐标系下的3D关键点；
[0016]第二获取单元，被配置为获取姿态一致的人体双眼或单眼关键点构建拟合平面；
[0017]第二计算单元，被配置为计算所述世界坐标系下的xoy平面到所述拟合平面的旋转矩阵，所述旋转矩阵乘以所述映射关系为图像坐标到找平后的世界坐标的映射关系。
[0018]本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
[0019]本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0020]本公开的上述各个实施例中的一个实施例具有如下有益效果：通过本申请的多相机标定的图像地面找平方法，适用于各种相机标定方法。使得世界坐标系与地面是一致的，便于进行后续各项评测。不使用额外标定物，不需要人工标记，通过人体关键点检测进行相机标定后的自动地面找平，简单易行，适用于各种作业环境。
附图说明
[0021]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及
方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0022]图1是根据本公开的多相机标定的图像地面找平方法的一些实施例的流程示意图；
[0023]图2是根据本公开的多相机标定的图像地面找平方法装置的一些实施例的结构示意图；
[0024]图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
[0025]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
[0026]下面将结合附图详细说明根据本公开实施例的一种多相机标定的图像地面找平方法。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多相机标定的图像地面找平方法，其特征在于，包括：在多相机标定过程中建立图像坐标到世界坐标的映射关系；获取人体图像信息并在所述人体图像信息中进行人脸关键点检测得到人体眼部关键点信息和头部姿态辅助关键点信息；基于所述映射关系、所述人体眼部关键点信息和所述头部姿态辅助关键点信息计算得到世界坐标系下的3D关键点；获取姿态一致的人体双眼或单眼关键点构建拟合平面；计算所述世界坐标系下的xoy平面到所述拟合平面的旋转矩阵，所述旋转矩阵乘以所述映射关系为图像坐标到找平后的世界坐标的映射关系。2.根据权利要求1所述的多相机标定的图像地面找平方法，其特征在于，所述获取人体图像信息是通过多个相机在预设间隔时间段内进行同步定时拍照。3.根据权利要求1所述的多相机标定的图像地面找平方法，其特征在于，所述人体图像信息包括人体处于不同位置、多个不同时间段内的图像信息。4.根据权利要求1所述的多相机标定的图像地面找平方法，其特征在于，所述头部姿态辅助关键点信息包括所有预设时间段内所述人体姿态一致的头部姿态辅助关键点信息。5.根据权利要求3所述的多相机标定的图像地面找平方法，其特征在于，所...

【专利技术属性】
技术研发人员：张引，
申请(专利权)人：北京睛采智能科技有限公司，
类型：发明
国别省市：