一种可见光和红外相机联合标定方法及装置制造方法及图纸

本发明专利技术公开了一种可见光和红外相机联合标定方法及装置，该方法包括：安装可见光相机和红外相机，可见光相机有两个，分别为左相机和右相机；利用可见光相机采集普通标定板的图案，并进行可见光相机的立体标定；在可见光相机和红外相机共同的视角空间中放置标记物，并进行标记物的数据采集，得到N张图像；利用可见光相机对N张图像中标记物的位置信息进行三维解算，得到标记物的三维坐标信息；对标记物的三维坐标信息和红外相机的成像像素点进行处理，得到可见光和红外相机联合标定信息。本发明专利技术方法操作简单，在标定好可见光相机后，红外相机标定仅需两步就能完成。本发明专利技术方法成本较低，不需要定制红标定红外相机的特殊标定板，节约了成本。节约了成本。节约了成本。

【技术实现步骤摘要】
一种可见光和红外相机联合标定方法及装置


[0001]本专利技术涉及计算机视觉、混合现实、自动驾驶、人工智能及安防
，尤其涉及一种可见光和红外相机联合标定方法及装置。

技术介绍

[0002]混合现实技术(包括增强现实和虚拟现实)是近年来发展迅速、备受关注的一项新型人机交互技术。混合现实技术融合虚拟世界和现实世界，以产生虚实物体共存并实时可交互的可视化环境。混合现实本质上提供了一种全新的计算机交互界面和手段，可广泛应用于军事(如军事训练、作战、维修等)、工业(如远程专家支持、巡检、信息可视化等)、娱乐、教育等，未来更有可能成为继手机之后的下一代计算平台。
[0003]在混合现实技术中，可见光相机需要在一定的光照下才能工作，而红外热成像相机靠收集物体的红外辐射成像，理论上只要高于绝对零度的物体都会向外辐射红外线，所以红外热相机可以24小时全天候工作，但是红外相机只有灰度值，成像细节较可见光差很多，因此在很多领域中可见光和红外相机组合使用是常见的方案。
[0004]在一些使用场景中，我们需要知道红外相机和可见光相机的位置关系以及相机的参数，这个过程我们称之为相机的标定，在可见光中可以直接使用棋盘格、圆心板等对可见光相机进行标定，但是红外相机需要制作特殊的标定板，在使用的过程中往往需要对标定板进行加热或制冷处理，这使得红外相机的标定成本很高，因此本专利技术提出了一种低成本且相对简便的可见光和红外相机联合标定技术。

技术实现思路

[0005]本专利技术所要解决的技术问题在于，提供一种可见光和红外相机联合标定方法及装置，用于解决红外相机和可见光相机联合标定的问题。
[0006]为了解决上述技术问题，本专利技术实施例第一方面公开了一种可见光和红外相机联合标定方法，所述方法包括：
[0007]S1，安装可见光相机和红外相机，所述可见光相机有两个，分别为左相机和右相机；
[0008]S2，利用所述可见光相机采集普通标定板的图案，并进行所述可见光相机的立体标定；
[0009]S3，在所述可见光相机和红外相机共同的视角空间中放置标记物，并进行所述标记物的数据采集，得到N张图像，N≥6；
[0010]S4，利用所述可见光相机对所述N张图像中标记物的位置信息进行三维解算，得到所述标记物的三维坐标信息；
[0011]S5，对所述标记物的三维坐标信息和所述红外相机的成像像素点进行处理，得到可见光和红外相机联合标定信息；
[0012]所述可见光和红外相机联合标定信息包括所述红外相机的内部参数信息、所述红
外相机和所述可见光相机之间的位置关系信息。
[0013]作为一种可选的实施方式，本专利技术实施例第一方面中，所述可见光相机和红外相机需要满足：
[0014]所述可见光相机和红外相机之间的位置相对固定，且必须拥有相同的视角；
[0015]所述可见光相机和红外相机之间不可相对运动但是可以整体运动。
[0016]作为一种可选的实施方式，本专利技术实施例第一方面中，所述利用所述可见光相机采集普通标定板的图案，并进行所述可见光相机的立体标定，包括：
[0017]S21，利用所述可见光相机采集棋盘格或其他标定板的图案；
[0018]S22，利用张氏标定法或其他相机标定法进行所述可见光相机的立体标定。
[0019]作为一种可选的实施方式，本专利技术实施例第一方面中，所述在所述可见光相机和红外相机共同的视角空间中放置标记物，并进行所述标记物的位置数据采集，得到N张图像，包括：
[0020]S31，在所述可见光相机和红外相机共同的视角空间中放置标记物，使所述可见光相机和红外相机都能捕捉到所述标记物；
[0021]S32，移动所述标记物的位置，或移动各相机组成的整体，在所述可见光相机和红外相机共同的视角空间进行所述标记物的数据采集，得到N张图像。
[0022]作为一种可选的实施方式，本专利技术实施例第一方面中，所述利用所述可见光相机对所述N张图像中标记物的位置信息进行三维解算，得到所述标记物的三维坐标信息，包括：
[0023]S41，计算所述N张图像中标记物上某个特殊点的像素坐标；
[0024]S42，利用所述可见光相机的参数对所述N张图像中标记物上某个特殊点的像素坐标进行三维解算，得到所述标记物的三维坐标信息。
[0025]作为一种可选的实施方式，本专利技术实施例第一方面中，所述利用所述可见光相机的参数对所述N张图像中标记物上某个特殊点的像素坐标进行三维解算，得到所述标记物的三维坐标信息，包括：
[0026]S421，获取所述N张图像中标记物上某个特殊点在所述左相机中的坐标p
l
＝[[u
11
,v
11
],[u
12
,v
12
]…
,[u
1N
,v
1N
]和在所述右相机中的坐标p
r
＝[[u
21
,v
21
],[u
22
,v
22
],
…
,[u
2N
,v
2N
]]；
[0027]S422，利用三维坐标解算模型，对所述左相机中的坐标p
l
＝[[u
11
,v
11
],[u
12
,v
12
]…
,[u
1N
,v
1N
]和所述右相机中的坐标p
r
＝[[u
21
,v
21
],[u
22
,v
22
],
…
,[u
2N
,v
2N
]]进行处理，得到所述标记物的三维坐标信息；
[0028]所述三维坐标解算模型为：
[0029][0030]所述标记物的三维坐标信息为p
3d
＝[X,Y,Z],为实际坐标系到相机坐标系的投影矩阵。
[0031]作为一种可选的实施方式，本专利技术实施例第一方面中，所述对所述标记物的三维坐标信息和所述红外相机的成像像素点进行处理，得到可见光和红外相机联合标定信息，包括：
[0032]S51，利用投影矩阵解算模型对所述标记物的三维坐标信息进行处理，得到投影矩阵；
[0033]所述投影矩阵解算模型为：
[0034][0035]其中，所述标记物的三维坐标信息为p
3d
＝[X,Y,Z]，z*p
c
＝G,*表示乘积，p
c
为相机坐标的齐次表示，即[u,v,1]，为实际坐标系到相机坐标系的投影矩阵；
[0036]S52，对所述实际坐标系到相机坐标系的投影矩阵进行正交三角分解，得到所述红外相机的内部参数及与所述可见光相机的位置关系R
ir
和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可见光和红外相机联合标定方法，其特征在于，所述方法包括：S1，安装可见光相机和红外相机，所述可见光相机有两个，分别为左相机和右相机；S2，利用所述可见光相机采集普通标定板的图案，并进行所述可见光相机的立体标定；S3，在所述可见光相机和红外相机共同的视角空间中放置标记物，并进行所述标记物的数据采集，得到N张图像，N≥6；S4，利用所述可见光相机对所述N张图像中标记物的位置信息进行三维解算，得到所述标记物的三维坐标信息；S5，对所述标记物的三维坐标信息和所述红外相机的成像像素点进行处理，得到可见光和红外相机联合标定信息；所述可见光和红外相机联合标定信息包括所述红外相机的内部参数信息、所述红外相机和所述可见光相机之间的位置关系信息。2.根据权利要求1所述的可见光和红外相机联合标定方法，其特征在于，所述可见光相机和红外相机需要满足：所述可见光相机和红外相机之间的位置相对固定，且必须拥有相同的视角；所述可见光相机和红外相机之间不可相对运动但是可以整体运动。3.根据权利要求1所述的可见光和红外相机联合标定方法，其特征在于，所述利用所述可见光相机采集普通标定板的图案，并进行所述可见光相机的立体标定，包括：S21，利用所述可见光相机采集棋盘格或其他标定板的图案；S22，利用张氏标定法或其他相机标定法进行所述可见光相机的立体标定。4.根据权利要求1所述的可见光和红外相机联合标定方法，其特征在于，所述在所述可见光相机和红外相机共同的视角空间中放置标记物，并进行所述标记物的位置数据采集，得到N张图像，包括：S31，在所述可见光相机和红外相机共同的视角空间中放置标记物，使所述可见光相机和红外相机都能捕捉到所述标记物；S32，移动所述标记物的位置，或移动各相机组成的整体，在所述可见光相机和红外相机共同的视角空间进行所述标记物的数据采集，得到N张图像。5.根据权利要求1所述的可见光和红外相机联合标定方法，其特征在于，所述利用所述可见光相机对所述N张图像中标记物的位置信息进行三维解算，得到所述标记物的三维坐标信息，包括：S41，计算所述N张图像中标记物上某个特殊点的像素坐标；S42，利用所述可见光相机的参数对所述N张图像中标记物上某个特殊点的像素坐标进行三维解算，得到所述标记物的三维坐标信息。6.根据权利要求5所述的可见光和红外相机联合标定方法，其特征在于，所述利用所述可见光相机的参数对所述N张图像中标记物上某个特殊点的像素坐标进行三维解算，得到所述标记物的三维坐标信息，包括：S421，获取所述N张图像中标记物上某个特殊点在所述左相机中的坐标p
l
＝[[u
11
,v
11
],[u
12
,v
12
]
…
,[u
1N
,v
1N
]和在所述右相机中的坐标p
r
＝[[u
21
,v
21
],[u
22
,v
22
],
…
,[u
2N
,v
2N
]]；S422，利用三维坐标解算模型，对所述左相机中的坐标p
...

【专利技术属性】
技术研发人员：龙知洲，马天，李伟萍，唐荣富，
申请(专利权)人：威海众合机电科技有限公司，
类型：发明
国别省市：