一种基于深度学习的相机标定方法及系统技术方案

本发明专利技术涉及一种基于深度学习的相机标定方法及系统，属于图像处理领域，现有的视觉测量系统在运行中大多要求相机固定不动，一旦相机位置或者姿态发生变化，就必须对该相机已获取的所有相关位置坐标重新测量，大大降低了系统灵活性与易用性，针对此问题现有提出的相机标定方法，一般依赖固定制式的标定辅助工具与专有的数学模型，来计算相机坐标系与世界坐标系之间的旋转以及平移矩阵从而把新相机坐标系中测得的坐标变换到原相机标准坐标系。这种方式计算过程复杂，参数要求较高，普适性较差，工作效率低下。与现有技术相比，本发明专利技术具有灵活性强，节约时间，操作简便等优点。

A Camera Calibration Method and System Based on Deep Learning

The present invention relates to a camera calibration method and system based on in-depth learning, which belongs to the field of image processing. Most of the existing visual measurement systems require the camera to be fixed in operation. Once the position or attitude of the camera changes, it is necessary to re-measure all the relevant position coordinates obtained by the camera, which greatly reduces the flexibility and ease of use of the system. The existing camera calibration methods generally rely on fixed calibration AIDS and proprietary mathematical models to calculate the rotation and translation matrix between the camera coordinate system and the world coordinate system so as to transform the coordinates measured in the new camera coordinate system into the original standard coordinate system. This method has complex calculation process, high parameter requirements, poor universality and low efficiency. Compared with the prior art, the invention has the advantages of strong flexibility, time saving and simple operation.

【技术实现步骤摘要】
一种基于深度学习的相机标定方法及系统
本专利技术涉及图像处理领域，尤其是涉及一种基于深度学习的相机标定方法及系统。
技术介绍
现代工业生产中常常利用视觉测量系统对目标的三维坐标进行测量，并使用测量出的坐标用于后续的控制步骤。由于视觉测量系统具有非接触测量的特点，传感测量机构与待测目标相分离，对目标不产生附加影响，常常应用于需要较高控制精度的场合，如机械手控制系统。尽管视觉测量系统具有上述优点，但其核心部件测量相机在标定之后必须保持位置和姿态不变，即保持相机坐标系在世界坐标系的位置不变，以确保测量坐标具有相同的参考原点，这样就会给实际应用带来不便。对于已投入运行的系统，若已完成标定的相机的位置姿态发生变化，则该相机所有已经测得的相关位置坐标必须重新测量，为此必须另外耗费大量额外的工作，降低了生产效率，系统的灵活性也较差。现有的专利技术中，相机标定方法大多需要在特定辅助设备的配合下，建立复杂且专有的数学模型，通过繁琐的计算完成。如专利技术专利《基于边界约束和均值逼近的激光扫描仪与相机标定方法》(申请号为CN201810154520.6)提出的方法，依赖较复杂的数学方法及数学模型，易用性不强，扩展性差；如专利技术专利《一种用于立体视觉测量的线阵相机标定装置及标定方法》(申请号为CN201810213905.5)则依赖特定专有的标定设备，亦降低了实施方法的简洁灵活性。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的相机标定方法及系统，在解决现有视觉测量系统中相机位置及姿态必须保持不变的问题的基础上，避免相关数学模型、物理变量的繁杂计算和对专有固定的辅助结构的依赖。本专利技术的目的可以通过以下技术方案来实现：一种基于深度学习的相机标定方法，包括以下步骤：步骤1：在相机视野范围内任意选取四个不共线的标记作为标准工作坐标系中的四个不共线的标记；步骤2：截取机器学习相机图像并依次确定机器学习相机图像中所有标记的编号及所有标记在机器学习相机图像中的像素坐标；步骤3：按指定次数改变相机位置和相机姿态，重复步骤2，获取多组像素坐标和与之对应的相机位置和相机姿态的数据；步骤4：将步骤3中获取的数据分为训练集和测试集两部分，利用训练集对所构建的神经网络进行重复训练学习，利用测试集对训练学习结果进行误差达标测试，若达标，保存训练完成的神经网络于磁盘中并执行步骤5，若未达标，返回步骤3并增加所述指定次数；步骤5：重现标准工作坐标系中的四个不共线的标记，使用相机位置和相机姿态发生改变后的相机进行实际应用相机图像抓取，获取标准工作坐标系中的四个不共线的标记在实际应用相机图像中的像素坐标；步骤6：把步骤5中得到的像素坐标输入到训练完成的神经网络中，得到改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据；步骤7：利用改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据并通过变换公式把改变后的相机坐标系下的像素坐标变换到标准工作坐标系下，完成标定。进一步地，所述的标记为二维码平面光学标记，所述二维码平面光学标记包括标记的编号信息，用于在相机图像中被读取。进一步地，所述相机位置和所述相机姿态所采用的表达方式均为相对矩阵表示法，所述相机位置为改变后的相机坐标系相对于标准工作坐标系的平移向量t，所述相机姿态为改变后的相机坐标系相对于标准工作坐标系的旋转矩阵R。进一步地，所述神经网络为深层BP神经网络，所述深层BP神经网络包括多个神经元层，所述神经元层的层数不小于6层，每个所述神经元层包括多个神经元，所述神经元的个数不小于16个。进一步地，所述深层BP神经网络的输入量为按编号依次排列的四个标记的像素坐标，输出量为相机坐标系的旋转矩阵和平移向量。进一步地，所述的误差达标测试为测试误差的平均值小于给定值，公式如下：式中，n代表测试集中包含n组相机位置和相机姿态的数据，ε为测试误差的平均值，i和n均为自然数，Ri和ti对应为第i组数据中采集获取的相机的旋转矩阵和平移向量，Roi和toi对应为第i组数据中的像素坐标输入神经网络后输出的相机的旋转矩阵和平移向量，ε0为测试误差的给定值。进一步地，所述标准工作坐标系包括标记位于固定不发生运动的部件上的情况下的标准工作坐标系和标记位于移动部件上的情况下的标准工作坐标系。进一步地，所述步骤7中的变换公式为：式中，Xc＝(xc,yc,zc)T为标准工作坐标系下的像素坐标，为改变后的相机坐标系下的像素坐标，R为改变后的相机坐标系相对于标准工作坐标系的旋转矩阵，t为改变后的相机坐标系相对于标准工作坐标系的平移向量。一种采用基于深度学习的相机标定方法的基于深度学习的相机标定系统，包括工作台、机械手、相机和标记，所述标记固定于所述机械手上，所述相机夹持安装于所述工作台上，所述机械手通过底座固定于所述工作台上。与现有技术相比，本专利技术具有以下优点：(1)通过将相机视野空间中的任意四个不共线特征点的位置与设定好的相机位置和姿态之间的映射载入到深度学习神经网络中，当视觉测量系统的相机位置或姿态发生改变时，不必重新测量原有的坐标数据，只需要执行本专利技术所述方法即可把新相机坐标系下的坐标变换到原相机坐标系下，避免了大量的额外工作，节约了大量时间，增强了系统的灵活性。(2)通过既定程序使系统自动收集数据训练。新旧相机坐标系下坐标的映射关系保存于训练好的神经网络中，坐标变换相关矩阵、向量可由神经网络直接计算得出，简单易于操作，使用任意选取位置的标记点，避免了对固定制式的专有标定辅助结构的依赖；神经网络模型经训练后便可投入长时间反复的使用，无需手动标定相机内参，无需其他繁杂的数学建模推导及计算。(3)不需要手动标定相机内参，不需要人为地对系统的各元素的物理特征进行分析计算，标定点可随意选取，不依赖专有固定的辅助结构，方法简单且易于实现，克服了视觉测量系统中相机位置及姿态必须保持不变的缺点，极大地提升了系统的灵活性，而且省去了繁杂的数学建模计算，对现代工业生产来说具有重要意义。附图说明图1为本专利技术的原理示意图；图2为本专利技术的神经网络训练流程图；图3为本专利技术的相机标定工作流程图；图4为本专利技术方法应用时的系统结构示意图；图5为本专利技术的方法整体流程示意图；附图标号说明：1为标记；2为相机；3为机械手；4为工作台。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。实施例如图1所示为本专利技术的工作原理，具体实现包括以下步骤：步骤S201，在相机视野范围内任意选取不共线的四个标记点，注意固定好相机的位置和姿态，此时的相机坐标系即作为标准工作坐标系；步骤S202，相机抓取图像，确定上述标记的编号并依次确定其在图像中的像素坐标；步骤S203，将相机先移动到不同位置，再改变其姿态，重复步骤S203，记录取得的标记的位置坐标及此时相机的位置和姿态(即改变后的相机坐标系相对标准工作坐标系的旋转矩阵R和平移向量t)，数据应尽可能涵盖所有可能的位置和姿态；步骤S204，将步骤S203收集到的数据，即关于本文档来自技高网...

【技术保护点】
1.一种基于深度学习的相机标定方法，其特征在于，包括以下步骤：步骤1：在相机视野范围内任意选取四个不共线的标记作为标准工作坐标系中的四个不共线的标记；步骤2：截取机器学习相机图像并依次确定机器学习相机图像中所有标记的编号及所有标记在机器学习相机图像中的像素坐标；步骤3：按指定次数改变相机位置和相机姿态，重复步骤2，获取多组像素坐标和与之对应的相机位置和相机姿态的数据；步骤4：将步骤3中获取的数据分为训练集和测试集两部分，利用训练集对所构建的神经网络进行重复训练学习，利用测试集对训练学习结果进行误差达标测试，若达标，保存训练完成的神经网络于磁盘中并执行步骤5，若未达标，返回步骤3并增加所述指定次数；步骤5：重现标准工作坐标系中的四个不共线的标记，使用相机位置和相机姿态发生改变后的相机进行实际应用相机图像抓取，获取标准工作坐标系中的四个不共线的标记在实际应用相机图像中的像素坐标；步骤6：把步骤5中得到的像素坐标输入到训练完成的神经网络中，得到改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据；步骤7：利用改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据并通过变换公式把改变后的相机坐标系下的像素坐标变换到标准工作坐标系下，完成标定。...

【技术特征摘要】
1.一种基于深度学习的相机标定方法，其特征在于，包括以下步骤：步骤1：在相机视野范围内任意选取四个不共线的标记作为标准工作坐标系中的四个不共线的标记；步骤2：截取机器学习相机图像并依次确定机器学习相机图像中所有标记的编号及所有标记在机器学习相机图像中的像素坐标；步骤3：按指定次数改变相机位置和相机姿态，重复步骤2，获取多组像素坐标和与之对应的相机位置和相机姿态的数据；步骤4：将步骤3中获取的数据分为训练集和测试集两部分，利用训练集对所构建的神经网络进行重复训练学习，利用测试集对训练学习结果进行误差达标测试，若达标，保存训练完成的神经网络于磁盘中并执行步骤5，若未达标，返回步骤3并增加所述指定次数；步骤5：重现标准工作坐标系中的四个不共线的标记，使用相机位置和相机姿态发生改变后的相机进行实际应用相机图像抓取，获取标准工作坐标系中的四个不共线的标记在实际应用相机图像中的像素坐标；步骤6：把步骤5中得到的像素坐标输入到训练完成的神经网络中，得到改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据；步骤7：利用改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据并通过变换公式把改变后的相机坐标系下的像素坐标变换到标准工作坐标系下，完成标定。2.根据权利要求1所述的一种基于深度学习的相机标定方法，其特征在于，所述的标记为二维码平面光学标记，所述二维码平面光学标记包括标记的编号信息，用于在相机图像中被读取。3.根据权利要求1所述的一种基于深度学习的相机标定方法，其特征在于，所述相机位置和所述相机姿态所采用的表达方式均为相对矩阵表示法，所述相机位置为改变后的相机坐标系相对于标准工作坐标系的平移向量t，所述相机姿态为改变后的相机坐标系相对于标准工作坐标系的旋转矩阵R。4.根据权利要求1所述的一种基...

【专利技术属性】
技术研发人员：赖豪文，江季，陈劲树，蒋磊，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31