一种RGB图像及IR图像的自动对应标定方法、系统及装置制造方法及图纸

本发明专利技术公开了一种RGB图像及IR图像的自动对应标定方法、装置及存储介质。包括如下步骤：步骤1、在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；步骤2、在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；步骤3、分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；步骤4、将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；步骤5、将标定板移到距离摄像头不同位置，并重复步骤3‑4，直至全部标定结束，实现自动对标。

【技术实现步骤摘要】
一种RGB图像及IR图像的自动对应标定方法、系统及装置
本申请涉及图像标定领域，具体而言，涉及一种RGB图像及IR图像的自动对应标定方法。
技术介绍
红外线(IR)热成像技术广泛应用于测量固体表面的温度，具有非接触测量、响应快、测温范围宽、灵敏度高以及空间分辨率高等优点，因此已经在安全预测、医疗卫生、航空航天、无损探伤、质量监测等领域得到了广泛的应用。红外热成像测温通过利用能够测量红外线辐射强度的传感器，将接收到的红外波段的热辐射能量转换为电信号，经过放大、整型，模数转换后成为数字信号，在显示器上通过图像显示出来；热像仪(传感器)的电压值和温度值成正线性相关，所测得的电压值与温度时间是相互对应的，通过简单的计算即可转换为温度值，可以反映被测物体的温度。普通光摄像头利用RGB模式成像。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。红外测温仪器采用双目摄像头，分别为IR镜头与RGB镜头。RGB镜头为普通光成像，用来识别检测物体位置；IR镜头为红外线热成像，通过电压值与温度值的关系来读取物体特定位置的温度。由于双目摄像头所成图像不同轴，导致所检测到的图像存在成像差异，不能完全重合。因此，想要准确测得物体特定位置的温度就需要将RGB图像与IR图像进行融合。现如今采用的传统方案为将某物体放置在距离摄像头前某特定位置，分别获得两个摄像头所截取到的图像后进行人工标点(标点越多则图像对应越准确)，读取标定点的坐标值。通过仿射变换，将分别读取到的坐标值利用最小二乘法，以求得相应变换矩阵，实现标定，如图1所示(以人体为例)。
技术实现思路
1、本专利技术的目的本专利技术为了解决由于双目摄像头所成图像不同轴，导致所检测到的图像存在成像差异，不能完全重合，无法准确的测得物体特定位置的温度，而提出了一种RGB图像及IR图像的自动对应标定方法、系统及装置。2、本专利技术所采用的技术方案本专利技术提出了一种RGB图像及IR图像的自动对应标定方法，包括如下步骤：步骤1、在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；步骤2、在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；步骤3、分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；步骤4、将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；步骤5、将标定板移到距离摄像头不同位置，并重复步骤3-4，直至全部标定结束求得不同位置的RGB图像和IR图像所对应的变换矩阵，实现自动对标。优选的，所述的步骤1，在RGB图像建立像素坐标系以及IR图像上建立像素坐标系，取图像左上角顶点为原点。优选的，所述的步骤2，黑白棋盘格子标定板，正面为具有一定间隔的黑白相间的格子，黑白格之间相交形成若干交点；背面分别在交点处安装发热片。优选的，所述的步骤3，将标定板投影到摄像机屏幕上，标定板正面采用黑白格的形式易成像，建立RGB图像的像素坐标系，并将标定板放置在距离摄像机预设距离：能够完全在所建坐标系中清晰成像的位置，以获得各个交点RGB图像的像素坐标数值。优选的，所述的步骤3，将标定板投影到摄像机屏幕上，标定板背面有发热片，能够在IR摄像头清晰成像，建立IR图像像素坐标系，以获得交点处发热片IR图像的像素坐标数值。通过上述方式就能够实现RGB图像与IR图像的自动对应标定，无需采用人工标定并且标定精度更高。优选的，所述的步骤4，(u1,v1)，(u2,v2)……(un,vn)为读取RGB图像的像素点坐标值，(u′1,v′1)，(u′2,v′2)……(u′n,v′n)为读取IR图像的像素点坐标值，忽略读取RGB图像、读取IR图像的两摄像头的视差，将两幅图像近似为一个平面处理；已知RGB图像像素坐标点与IR图像像素坐标点，利用仿射变换公式求得变换矩阵，将n组像素点坐标带入仿射变换公式可得：上式中，，(uivi1)为变换前的坐标，uvxy都是已知量，(xiyi)为变换后的坐标，部分完成缩放、旋转与剪切，(t31t32)完成平移，待求解的是tij；t11t21t31只与x相关，t12t22t32只与y相关；所以上述线性方程组可以写成两组：记T1＝(t11t21t31)T，T2＝(t12t22t32)T，X＝(x1x2……xn)T，Y＝(y1y2……yn)T，那么上面两个线性方程组可写为：AT1＝X，AT2＝Y；利用最小二乘法求得变换矩阵，以AT1＝X为例：AT1＝X→ATAT1＝ATX→(ATA)-1ATAT1＝(ATA)-1ATX→T1＝(ATA)-1ATX同理可得T2＝(ATA)-1ATY，则T＝(T1T2)，自动标定结束。本专利技术提出了一种RGB图像及IR图像的自动对应标定系统，包括：建立坐标系模块，用于在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；标定板模块，用于在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；像素记录模块，用于分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；变换模块、用于将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；变换距离模块，用于将标定板移到距离摄像头不同位置，并重复像素记录模块、变换模块动作，求得不同位置的RGB图像和IR图像所对应的变换矩阵，实现自动对标。优选的，所述的建立坐标系模块，在RGB图像建立像素坐标系以及IR图像上建立像素坐标系，取图像左上角顶点为原点。优选的，所述的像素记录模块，黑白棋盘格子标定板，正面为具有一定间隔的黑白相间的格子，黑白格之间相交形成若干交点；背面分别在交点处安装发热片。优选的，所述的标定板模块，将标定板投影到摄像机屏幕上，标定板正面采用黑白格的形式易成像，建立RGB图像的像素坐标系，并将标定板放置在距离摄像机预设距离：能够完全在所建坐标系中清晰成像的位置，以获得各个交点RGB图像的像素坐标数值。优选的，所述的标定板模块，将标定板投影到摄像机屏幕上，标定板背面有发热片，能够在IR摄像头清晰成像，建立IR图像像素坐标系，以获得交点处发热片IR图像的像素坐标数值。通过上述方式就能够实现RGB图像与IR图像的自动对应标定，无需采用人工标定并且标定精度更高。优选的，所述的变换模块，(u1,v1)，(u2,v2)……(un,vn)为读取RGB图像的像素点坐标值，(u′1,v′1)，(u′2,v′2)……(u′n,v′n)为读取IR图像的像素点坐标值，忽略读取RGB图像、读取IR图像的两摄像头的视差，将两幅图像近似为一个平面处理；已知RGB图像像素坐标点与IR图像像素坐标点，利用本文档来自技高网...

【技术保护点】
1.一种RGB图像及IR图像的自动对应标定方法，其特征在于：包括如下步骤：/n步骤1、在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；/n步骤2、在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；/n步骤3、分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；/n步骤4、将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；/n步骤5、将标定板移到距离摄像头不同位置，并重复步骤3-4，求得不同位置的RGB图像和IR图像所对应的变换矩阵，实现自动对标。/n

【技术特征摘要】
1.一种RGB图像及IR图像的自动对应标定方法，其特征在于：包括如下步骤：
步骤1、在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；
步骤2、在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；
步骤3、分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；
步骤4、将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；
步骤5、将标定板移到距离摄像头不同位置，并重复步骤3-4，求得不同位置的RGB图像和IR图像所对应的变换矩阵，实现自动对标。


2.根据权利要求1所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤1，在RGB图像建立像素坐标系以及IR图像上建立像素坐标系，取图像左上角顶点为原点。


3.根据权利要求1所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤2，黑白棋盘格子标定板，正面为具有一定间隔的黑白相间的格子，黑白格之间相交形成若干交点；背面分别在交点处安装发热片。


4.根据权利要求1或3所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤3，将标定板投影到摄像机屏幕上，标定板正面采用黑白格的形式，建立RGB图像的像素坐标系，并将标定板放置在距离摄像机预设距离：能够完全在所建坐标系中清晰成像的位置，以获得各个交点RGB图像的像素坐标数值。


5.根据权利要求4所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤3，将标定板投影到摄像机屏幕上，标定板背面有发热片，在IR摄像头清晰成像，建立IR图像像素坐标系，以获得交点处发热片IR图像的像素坐标数值。


6.根据权利要求5所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤4，(u1,v1)，(u2,v2)……(un,vn)为读取RGB图像的像素点坐标值，(u′1,v′1)，(u′2,v′2)……(u′n,v′n)为读取IR图像的像素点坐标值，忽略读取RGB图像、读取IR图像的两摄像头的视差，将两幅图像近似为一个平面处理；已知RGB图像像素坐标点与IR图像像素坐标点，利用仿射变换公式求得变换矩阵，将n组像素点坐标带入仿射变换公式可得：



上式中，，(uivi1)为变换前的坐标，uvxy都是已知量，(xiyi)为变换后的坐标，部分完成缩放、旋转与剪切，(t31t32)完成平移，待求解的是tij；t11t21t31只与x相关，t12t22t32只与y相关；所以上述线性方程组可以写成两组：






记T1＝(t11t21t31)T，T2＝(t12t22t32)T，X＝(x1x2……xn)T，Y＝(y1y2……yn)T，
那么上面两个线性方程组可写为：AT1＝X，AT2＝Y；
利用最小二乘法求得变换矩阵，以AT1＝X为例：
AT1＝X→ATAT1＝ATX→(ATA)-1ATAT1＝(ATA)-1ATX→T1＝(ATA)-1ATX
同理可得T2＝(ATA)-1ATY，则T＝(T1T2)，自动标定结束。


7.一种RGB图像及IR图像的自动对应标定系统，其特征在于，包括：
建立坐标系模块，用于在RGB图像上建立像素坐标系以及IR图像...

【专利技术属性】
技术研发人员：陈海波，张志强，
申请(专利权)人：深兰自动驾驶研究院山东有限公司，
类型：发明
国别省市：山东;37