基于双目可见光相机与热红外相机的目标识别方法技术

本发明专利技术公开了一种基于双目可见光相机与热红外相机的目标识别方法，其包括通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定，并获取两个摄像头在世界坐标系之间的旋转和平移矩阵位置关系；根据热红外相机采集的图像，对热红外相机的内外参数进行标定；标定双目可见光相机与热红外相机的位置关系；采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云；将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合；将信息融合结果输入已训练的深度神经网络训进行目标识别。

【技术实现步骤摘要】
基于双目可见光相机与热红外相机的目标识别方法
本专利技术涉及智能监控领域，具体涉及一种基于双目可见光相机与热红外相机的目标识别方法。
技术介绍
在视频监控中，对移动目标进行检测、识别并自动报警一直都是热门的研究问题，其在车辆安全、安全监控以及机器人技术等领域都有着重要的应用。过去十几年，行人检测技术已经有了很多成熟的算法，但至今依然存在许多问题和难点。在光照良好的情况下，仅需要可见光相机就可以获取纹理信息丰富图像，但在雨天、大雾、夜晚光照度低的情况下，可见光相机图像中目标特征不明显。红外视频图像和其他视频图像相比，其背景简单、干扰物较少，有利于检测目标轮廓。但是红外视频中的人形形态容易受外界因素干扰，比如衣服的材质、戴帽子围脖、距离的远近等，这使得镜头中的人形会出现拉伸、断裂，导致不易分辨出人形特征。
技术实现思路
针对现有技术中的上述不足，本专利技术提的基于双目可见光相机与热红外相机的目标识别方法在不同的天气环境下均具有较高的识别率。为了达到上述专利技术目的，本专利技术采用的技术方案为：提供一种基于双目可见光相机与热红外相机的目标识别方法，其包括：S1、设计具有发热材料的伪随机阵列立体靶标；S2、采用双目可见光相机与热红外相机采集伪随机阵列立体靶标的图像；S3、通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定；S4、对双目可见光相机两个摄像头进行立体矫正处理，并根据两个摄像头的内外参数，获取两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系；S5、根据热红外相机采集的图像，对热红外相机的内外参数进行标定；S6、对双目可见光相机的内外参数与热红外相机内外参数进行误差校正，并采用两个相机误差校正后的内外参数标定双目可见光相机与热红外相机的位置关系；S7、采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云；S8、将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合；S9、将信息融合结果输入已训练的深度神经网络训进行目标识别。进一步地，所述步骤S4中两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系为：其中，Ra,ta分别为世界坐标系下的旋转和平移矩阵；P1，P2分别为两个摄像头立体矫正后的矫正变换矩阵；Q1，Q2分别为两个摄像头立体矫正后的重投影矩阵；Rg,tg分别为两个摄像头矫正后，摄像头坐标系之间的旋转矩阵和平移矩阵。进一步地，所述步骤8中对热红外相机的温度信息与双目可见光相机的三维点云进行信息融合的计算公式为：Prgb＝H(RPir+T)其中，Prgb为双目可见光相机像平面坐标；H为可见光相机的单应性矩阵；R、T分别为双目可见光相机与热红外相机两者之间的旋转矩阵与平移矩阵。进一步地，所述步骤S3具体包括以下步骤：S31、获取双目可见光相机采集的图像上的图像点和伪随机阵列立体靶标在世界坐标系下、与其对应的空间点的位置关系：其中，s为非零尺度因子；A为相机内部参数矩阵；3x3的矩阵R＝[r1r2r3]和3x1矩阵t＝(txtytz)T分别为世界坐标相对于双目可见光相机坐标系中的旋转矩阵和平移矩阵，ri(i＝1,2,3)为旋转矩阵R的第i列；分别为空间点M和图像点m对应的齐次坐标；32、通过图像点与空间点之间的位置关系，构建单应性矩阵H：其中，Xw、Yw、Zw分别为空间点的坐标；r为图像像素坐标系u轴和v轴的不垂直因子；fu和fv分别为u轴和v轴上的尺度因子；(u0v0)为图像中心点像素坐标；(uv)为图像上任意一点坐标；m11至m34均为单应性矩阵H的待求解参数；S33、采用SVD奇异值分解法对单应性矩阵H进行分解，得到双目可见光相进一步地，所述步骤S5具体包括以下步骤：：S51、根据透视投影原理，获取热红外相机采集的图像上的像素点和伪随机阵列立体靶标在世界坐标系下、与其对应的空间点的位置关系：S52、采用矩阵表示红外相机采集的图像上的像素点与空间点的位置关系；S53、根据若干像素点和与其对应的空间点坐标，采用像素点与空间点的位置关系构建若干线性方程；S54、当线性方程大于设定阈值时，采用最小二乘法优化算法获取m11至m34，根据m11至m34与m34＝1构成热红外相机标定的参数矩阵；S55、采用SVD分解法对参数矩阵进行分解，得到热红外相机的旋转矩阵和平移矩阵。进一步地，所述步骤S6具体包括以下步骤：S61、采用双目可见光相机和热红外相机标定的内外参数对伪随机阵列立体靶标上的空间点通过透视投影、三角测量原理重建得到伪随机阵列立体靶标上三维空间点集和随机阵列立体靶标上的实际空间点构建误差函数：其中，G(HH′)为三维空间点和与其对应的实际空间点的误差；M′i为三维空间点集；Mi为实际空间点；||||为两点之间的欧式距离；S62、采用LM优化算法优化最小化误差函数得到双目可见光相机和热红外相机的内外参数；S63、采用双目标定原理，利用两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系标定可见光相机与热红外相机的位置关系，得到可见光相机与热红外相机两者之间的旋转矩阵与平移矩阵。进一步地，所述步骤S7具体包括以下步骤：S71、对双目可见光相机的两个摄像头采集的图像进行阈值化，并采用SIFT特征检测算法提取分别提取两幅图像的特征点，每个特征点对应一个128维的描述子；S72、对两幅图像的特征点进行极限约束，将每一对匹配点约束到一条直线上，并对匹配点采用欧式距离的相似性度量：其中，Lli和Rri分别为两个摄像头的第i个特征点对应的128维特征描述子，用于保存特征点的梯度信息；lij和rij分别为特征描述子的其中一维梯度信息；j为描述子的维数；d(Lli,Rri)为两特征描述子之间的欧式距离。S73、当距离Lli最近的点Rri与距离Lli次最近的点Rr(i+1)的比值小于设定值时，则描述子(Lli,Rri)为匹配点对；S74、基于双目立体视觉模型，根据匹配点对计算双目可见光相机的三维点云，恢复空间点在世界坐标系下的三维坐标(XwYwZw)T：其中，B为两个摄像头基线距离；f为双目可见光相机的摄像头焦距；Xleft和Yleft分别为空间点在图像上的坐标；Disparity为双目视差。进一步地，获取三维点云之前，还包括采用RANSAC算子消除所有匹配点对中的误匹配。进一步地，所述伪随机阵列立体靶标为立方体结构，每个面上均布有采用发热材料制成的环形圆点和实心圆点；采用本原多项式公式指定的移位寄存器产生5x17的伪随机序列，所述本原多项式公式为：H(x)＝xm+km-1xm-1+......+k2x2+k1x+k0其中，H(x)为本原多项式，本原多项式中的系数km-1至k0为GF(q)＝{0,1,w,w2,...,wq-1}域中的元素；w为本原；m为存储器个数；在伪随机阵列中选取7x7的子伪随机阵列窗口，每个子阵列为立方体靶标的一面。本专利技术的有益效果为：本方案与传统的二维可见光或是红外监控系统相比，将双目可见光相机得到的二维和三维信息与热红外信息融合，通过二维信息识别目标，三维信息显示物体的具体形状特征，并将三维信息和热红外信息的融合结果做为深度神经网络的输入信息，通过神经网络本文档来自技高网...

【技术保护点】
基于双目可见光相机与热红外相机的目标识别方法，其特征在于，包括：S1、设计具有发热材料的伪随机阵列立体靶标；S2、采用双目可见光相机与热红外相机采集伪随机阵列立体靶标的图像；S3、通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定；S4、对双目可见光相机两个摄像头进行立体矫正处理，并根据两个摄像头的内外参数，获取两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系；S5、根据热红外相机采集的图像，对热红外相机的内外参数进行标定；S6、对双目可见光相机的内外参数与热红外相机内外参数进行误差校正，并采用两个相机误差校正后的内外参数标定双目可见光相机与热红外相机的位置关系；S7、采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云；S8、将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合；S9、将信息融合结果输入已训练的深度神经网络训进行目标识别。

【技术特征摘要】
1.基于双目可见光相机与热红外相机的目标识别方法，其特征在于，包括：S1、设计具有发热材料的伪随机阵列立体靶标；S2、采用双目可见光相机与热红外相机采集伪随机阵列立体靶标的图像；S3、通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定；S4、对双目可见光相机两个摄像头进行立体矫正处理，并根据两个摄像头的内外参数，获取两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系；S5、根据热红外相机采集的图像，对热红外相机的内外参数进行标定；S6、对双目可见光相机的内外参数与热红外相机内外参数进行误差校正，并采用两个相机误差校正后的内外参数标定双目可见光相机与热红外相机的位置关系；S7、采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云；S8、将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合；S9、将信息融合结果输入已训练的深度神经网络训进行目标识别。2.根据权利要求1所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S4中两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系为：其中，Ra,ta分别为世界坐标系下的旋转和平移矩阵；P1，P2分别为两个摄像头立体矫正后的矫正变换矩阵；Q1，Q2分别为两个摄像头立体矫正后的重投影矩阵；Rg,tg分别为两个摄像头矫正后，摄像头坐标系之间的旋转矩阵和平移矩阵。3.根据权利要求1所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S8中对热红外相机的温度信息与双目可见光相机的三维点云进行信息融合的计算公式为：Prgb＝H(RPir+T)其中，Prgb为双目可见光相机像平面坐标；H为可见光相机的单应性矩阵；R、T分别为双目可见光相机与热红外相机两者之间的旋转矩阵与平移矩阵。4.根据权利要求1-3任一所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S3具体包括以下步骤：S31、获取双目可见光相机采集的图像上的图像点和伪随机阵列立体靶标在世界坐标系下、与其对应的空间点的位置关系：其中，s为非零尺度因子；A为相机内部参数矩阵；3x3的矩阵R＝[r1r2r3]和3x1矩阵t＝(txtytz)T分别为世界坐标相对于双目可见光相机坐标系中的旋转矩阵和平移矩阵，ri(i＝1,2,3)为旋转矩阵R的第i列；分别为空间点M和图像点m对应的齐次坐标；32、通过图像点与空间点之间的位置关系，构建单应性矩阵H：其中，Xw、Yw、Zw分别为空间点M的坐标；r为图像像素坐标系u轴和v轴的不垂直因子；fu和fv分别为u轴和v轴上的尺度因子；(u0v0)为图像中心点像素坐标；(uv)为图像上任意一点坐标；m11至m34均为单应性矩阵H的待求解参数；S33、采用SVD奇异值分解法对单应性矩阵H进行分解，得到双目可见光相机两个摄像头的内外参数矩阵。5.根据权利要求1-3任一所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S5具体包括以下步骤：S51、根据透视投影原理，获取热红外相机采集的图像上的像素点和伪随机阵列立体靶标在世界坐标系下、与其对应的空间点的位置关系：

【专利技术属性】
技术研发人员：刘桂华，曾维林，张华，徐锋，王静强，龙惠民，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：四川,51