结构光相机畸变矫正方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种结构光相机畸变矫正方法、装置、设备及存储介质。该方法包括：将光机设置为绕其数字振镜的长轴旋转，相对于被拍摄的物体倾斜设定的沙姆角度，然后获取相机采集的图像信息，并确定图像坐标，然后基于转换关系式，确定图像坐标对应的物理坐标，再基于畸变失真参数和光机坐标的坐标表达式，确定物理坐标对应的光机坐标；最后基于坐标表达式的形式的畸变表达式和转换关系式，确定图像坐标对应的理想坐标。本申请实施例解决了现有技术中利用沙姆定律的结构光相机在三维形状检测时得到信息数据的对比度和重复精度较差的问题，显著提高了三维检测的精度和可靠性。显著提高了三维检测的精度和可靠性。显著提高了三维检测的精度和可靠性。

【技术实现步骤摘要】
结构光相机畸变矫正方法、装置、设备及存储介质


[0001]本申请实施例涉及测量
，尤其涉及一种结构光相机畸变矫正方法、装置、设备及存储介质。

技术介绍

[0002]在需要在固定位置采集图像或对相同对象重复采集图像的场景(如交通摄像头、超市自动收银设备的摄像头)，需要保证摄像设备采集数据的重复精度，以保证采集结果的准确性和可靠性。尤其是需要通过结构光相机采集物体的三维形状信息时，对光相机视野内的重复精度有较高要求。
[0003]现有技术中进行三维检测的结构光相机，通常利用沙姆定律，使结构光相机中用于产生结构光图案的光机与待采集的物体呈固定倾斜角度(即沙姆角度)，以扩大采集的图像数据的覆盖景深范围。但这样会出现光机投影的光强均匀性和图案均匀性较差的问题，加上结构光相机的镜头在拍摄不同位置的图像时，会出现畸变失真问题，导致得到的三维形状信息数据的对比度和重复精度较差。

技术实现思路

[0004]本申请实施例提供了一种结构光相机畸变矫正方法、装置、设备及存储介质，能够显著提高拍摄三维检测时的重复精度。
[0005]第一方面，本申请实施例提供了一种结构光相机畸变矫正方法，结构光相机包括光机和相机，光机包括至少一个数字振镜，光机绕其数字振镜的长轴倾斜设定的沙姆角度，结构光相机畸变矫正方法包括：
[0006]获取相机采集的图像信息，并确定图像坐标，图像坐标为待矫正的坐标；
[0007]基于转换关系式，确定图像坐标对应的物理坐标，转换关系式用于表示图像坐标与对应的物理坐标的对应关系，物理坐标为包含畸变失真和沙姆透视失真的坐标；
[0008]基于畸变失真参数和光机坐标的坐标表达式，确定物理坐标对应的光机坐标；其中，光机坐标为矫正沙姆透视失真、并保留畸变失真的坐标，畸变失真参数通过结构光相机的标定而确定；
[0009]基于坐标表达式的形式的畸变表达式和转换关系式，确定图像坐标对应的理想坐标；其中，理想坐标为矫正畸变失真和沙姆透视失真的坐标，畸变表达式用于表示光机坐标与理想坐标的对应关系。
[0010]第二方面，本申请实施例提供了一种结构光相机畸变矫正装置，结构光相机包括光机和相机，光机包括至少一个数字振镜，光机绕其数字振镜的长轴倾斜设定的沙姆角度，该结构光相机畸变矫正装置包括：
[0011]确定模块，用于获取相机采集的图像信息，并确定图像坐标，图像坐标为待矫正的坐标；
[0012]第一转换模块，用于基于转换关系式，确定图像坐标对应的物理坐标，转换关系式
用于表示图像坐标与对应的物理坐标的对应关系，物理坐标为包含畸变失真和沙姆透视失真的坐标；
[0013]第二转换模块，用于基于畸变失真参数和光机坐标的坐标表达式，确定物理坐标对应的光机坐标；其中，光机坐标为矫正沙姆透视失真、并保留畸变失真的坐标，畸变失真参数通过结构光相机的标定而确定；
[0014]矫正模块，用于基于坐标表达式的形式的畸变表达式和转换关系式，确定图像坐标对应的理想坐标；其中，理想坐标为矫正畸变失真和沙姆透视失真的坐标，畸变表达式用于表示光机坐标与理想坐标的对应关系。
[0015]第三方面，本申请实施例还提供了一种控制设备，该控制设备包括：
[0016]至少一个处理器；
[0017]以及与至少一个处理器通信连接的存储器；
[0018]其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使控制设备执行如本申请实施例第一方面中任一实施例对应的结构光相机畸变矫正方法。
[0019]第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如本申请实施例第一方面任一的结构光相机畸变矫正方法。
[0020]第五方面，本公开还提供了一种计算机程序产品，该程序产品包含计算机执行指令，计算机执行指令被处理器执行时用于实现如本公开第一方面对应的任意实施例的结构光相机畸变矫正方法。
[0021]本申请实施例提供的结构光相机畸变矫正方法、装置、设备及存储介质，通过将光机设置为绕其数字振镜的长轴旋转，相对于被拍摄的物体倾斜设定的沙姆角度，然后获取相机采集的图像信息，并确定图像坐标，然后基于转换关系式，确定图像坐标对应的物理坐标，再基于畸变失真参数和光机坐标的坐标表达式，确定物理坐标对应的光机坐标；最后基于坐标表达式的形式的畸变表达式和转换关系式，确定图像坐标对应的理想坐标。由此，通过将光机与被拍摄物体布置为沙姆角度的倾斜状态，扩大相机的景深覆盖范围的效果，从而更好的拍摄物体的三维特征，进而实现更准确的三维检测；同时通过对相机采集到的图像进行坐标变换和处理，显著降低了得到的图像数据中的畸变失真和沙姆透视失真，显著提高了数据精度，进而提高了三维检测的精度和可靠性。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0023]图1a为本申请实施例提供的结构光相机畸变矫正方法的一种应用场景图；
[0024]图1b为图1a中结构光相机与数字振镜的对应关系示意图；
[0025]图2为本申请实施例一个实施例提供的结构光相机畸变矫正方法的流程图；
[0026]图3a为本申请实施例又一个实施例提供的结构光相机畸变矫正方法的流程图；
[0027]图3b为图3a所示实施例中理想坐标确定的方法流程图；
[0028]图4为本申请实施例又一个实施例提供的结构光相机畸变矫正装置的结构示意
图；
[0029]图5为本申请实施例又一个实施例提供的控制设备的结构示意图。
[0030]通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
[0031]下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。
[0032]下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请实施例的实施例进行描述。
[0033]下面是本公开涉及的术语的说明：
[0034]结构光相机：一种用于测量物体三维特征的装置，也叫结构光3D相机，包括相互配合、位置固定的光机和相机，通过光机在被测物体表面投影光栅条纹图案，然后通过相机对物体表面的图案进行拍摄，基于事先编码规则对拍摄的图案数据进行解码和处理，从而获得被测物体的高精度的3D点云。
[0035]沙姆角度：在基于沙姆定律(英文为Scheimpflug principle)的结构光相机布置方式中，光机的光轴与被测物体所在平面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结构光相机畸变矫正方法，其特征在于，所述结构光相机包括光机和相机，所述光机包括至少一个数字振镜，所述光机绕其数字振镜的长轴倾斜设定的沙姆角度，所述方法包括：获取所述相机采集的图像信息，并确定图像坐标，所述图像坐标为待矫正的坐标；基于转换关系式，确定所述图像坐标对应的物理坐标，所述转换关系式用于表示所述图像坐标与对应的物理坐标的对应关系，所述物理坐标为包含畸变失真和沙姆透视失真的坐标；基于畸变失真参数和光机坐标的坐标表达式，确定所述物理坐标对应的光机坐标；其中，所述光机坐标为矫正沙姆透视失真、并保留畸变失真的坐标，所述畸变失真参数通过所述结构光相机的标定而确定；基于所述坐标表达式的形式的畸变表达式和所述转换关系式，确定所述图像坐标对应的理想坐标；其中，所述理想坐标为矫正畸变失真和沙姆透视失真的坐标，所述畸变表达式用于表示所述光机坐标与所述理想坐标的对应关系。2.根据权利要求1所述的结构光相机畸变矫正方法，其特征在于，所述相机包括感光元件；所述相机的感光元件和所述光机的数字振镜均为矩形；所述感光元件的长轴方向与连接所述感光元件和所述数字振镜的基线相垂直；所述数字振镜的长轴方向与连接所述感光元件和所述数字振镜的基线相垂直；所述数字振镜投影的图案方向与所述数字振镜的长轴平行。3.根据权利要求1所述的结构光相机畸变矫正方法，其特征在于，所述基于转换关系式，确定所述图像坐标对应的物理坐标，包括：确定所述图像数据沿垂直于所述数字振镜长轴方向的相位值；基于所述相位值和所述转换关系式，确定所述物理坐标。4.根据权利要求1所述的结构光相机畸变矫正方法，其特征在于，所述畸变失真参数包括畸变参数和极线约束参数；所述基于畸变失真参数和光机坐标的坐标表达式，确定所述物理坐标对应的光机坐标，包括：基于所述畸变参数，确定沙姆透视失真矩阵；基于所述沙姆透视失真矩阵，确定逆沙姆透视失真矩阵；将所述物理坐标、所述极线约束参数和所述逆沙姆透视失真矩阵输入到所述坐标表达式，输出所述光机坐标。5.根据权利要求4所述的结构光相机畸变矫正方法，其特征在于，所述畸变参数包括沙姆角度(τ
x
,τ
y
)，所述极线约束参数为(a,b)；所述转换关系式为：其中，c
y
为光机的光轴在数字振镜上的投影点的对应振镜位置的纵坐标，V
D
″′
为相机采集的图像数据中的像素点在数字振镜上对应的纵向浮点振镜位置，y
D
″′
为所述纵向浮点振
镜位置对应的物理坐标的纵坐标，f
y
为以像素为单位表示的光机镜头焦距，所述纵向为垂直于数字振镜长轴的方向，即数字振镜短轴方向；V
D
″′
的计算公式为：其中，φ
v
为图像数据沿纵向的相位值，T为数字振镜投影的图案以振镜数为单位的周期值；所述沙姆透视失真矩阵R(τ
x
,τ
y
)为：所述逆沙姆透视失真矩阵iR(τ
x
,τ
y
)为：所述极线约束参数满足：其中，E为通过所述结构光相机的标定而确定的三阶本征矩阵，(x
c
,y
c
)为所述图像坐标；所述光机坐标的坐标表达式为：y
D
″
＝a*x
D
″
+b，其中，(x
D
″
,y
D
″
)为所述光机坐标，满足：6.根据权利要求1所述的结构光相机畸变矫正方法，其特征在于，所述畸变参数包括径
向失真参数和切向失真参数，所述坐标表达式的形式的畸变表达式为：A(X)*X+B...

【专利技术属性】
技术研发人员：马浩然，杨军，黄雨昕，宋启原，蔡明杰，赵顺顺，李鹏飞，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：