基于单目红外立体视觉矫正的远距离目标温度精确测量方法技术

本发明专利技术涉及一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法，属于红外图像识别与检测技术领域。该方法包括：通过单目红外摄像仪获取含有温度场信息的红外图像，并将其输入到目标3D信息提取网络中，进行特征提取和红外人脸目标检测，从而得到目标三维立体信息以及温度场信息；构建人脸温度立体矫正补偿网络，并将得到的立体信息和温度场信息输入到人脸温度立体矫正补偿网络中，进行立体视觉温度矫正，从而输出带有温度信息和3D框、角度信息的红外图像。本发明专利技术能扩大检测范围，降低温度测量误差，降低成本。降低成本。降低成本。

【技术实现步骤摘要】
基于单目红外立体视觉矫正的远距离目标温度精确测量方法


[0001]本专利技术属于红外图像识别与检测
，涉及一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法。

技术介绍

[0002]在传染病疫情期间，人体温度作为判别是否感染的重要信息之一，其数据相当重要。为了做到快速筛选人体的温度，亟需一种可以在大型公共场合快速、高效、准确地测量人体温度的设备，并且这种设备要能隔断交叉感染的风险。
[0003]为解决红外测温系统存在测温时间长、精度差的问题，2017年中国科学院的研究员田棋杰提出了采用低温黑体实现红外系统的温度宽范围校准的方法。之后2019年，Oth
ó
n Gonz
áꢀ
lez
‑
Ch
á
vez又提出了利用黑体来做红外热像仪数字计数的辐射校准方法，以此来提升测温精度。2020年，上海大学通信与信息工程学院研究员翟旭平提出三种非统一校准(NUC)方法来消除非统一性，同时利用高精度黑体辐射源用于校准实验，从而提升温度精度和图像质量。然而，虽然这些采用黑体矫正的方法可以提升测温的精度，但是高精度的黑体价格往往较为昂贵，由此带来的过高的成本是不理想的，而且这些利用黑体的校准方法只适用于固定距离范围(5
‑
6m左右的区域)，测量范围较窄。
[0004]为减少成本，一种新型的采用三维信息进行温度矫正的方法被提了出来，2021年Sirajit等人提出并演示了一种温度矫正(补偿)技术，该技术结合了来自三维深度传感器的关键信息、电子温度传感器和用于实时数据反馈和控制的内置参考温度，并将其嵌入到低成本热成像温度系统中。并且通过与黑体辐射源为对象的实验演示证实，这种补偿下的测量温度与有黑体辐射源矫正下的测量温度非常一致。然而，这种方法默认了一些关键的温度信息与距离是呈现的简单的线性关系，而真实场景当中，它们却是一种复杂的非线性关系，从而造成某些距离条件下测温精度较差的问题。
[0005]为应对温度测量误差问题，2020年武汉理工大学学者冯帆在中国自动化协会第35届青年学术年会上提出了结合神经网络来做温度补偿的方法，其选择了通用BP神经网络算法，该算法通过输入采集温度和真实标签来训练网络从而达到补偿环境温度，提高温度测量准确性的目的。但是该方法只考虑到了单一场景下的温度补偿，并没有考虑在面向多场景下对测温影响较大的深度、角度等信息，而这些信息对于温度的矫正又是相当关键的，所以造成了泛化能力较差的问题。
[0006]为解决泛化能力差的问题，在温度矫正中考虑角度、深度等信息对测量结果的非线性影响，发挥深度学习的优势，本专利技术提出一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法，面向开放式场景中的非接触人体额温检测与矫正应用(矫正之后的温
度测量误差保持在
±
0.3℃以内，优于当前红外测温仪本身的测量误差
±
0.5℃)，设计了基于深度神经网络的多目标、高精度测温矫正模型，用于解决红外测温仪的有效测量范围有限(仅5
‑
6m)、误差较大的问题，通过非线性神经网络模型矫正目标红外辐射温度测量值随目标与传感器相对距离、方位角度变化带来的误差，实现了开放场景、多目标、任意位置精确的额温测量。从而减少疫情防控中的错检、漏检情况，对疫情防控工作的开展也意义重大。
[0008]为达到上述目的，本专利技术提供如下技术方案：
[0009]一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法，具体包括以下步骤：
[0010]S1：通过单目红外摄像仪获取含有温度场信息的红外图像，并将其输入到构造的目标3D信息提取网络中，其中，利用红外特征提取及检测模块进行红外人脸目标检测，并得到相应的人脸目标温度场信息；同时，利用三维信息估计模块基于单目红外图像提取目标三维立体信息；
[0011]S2：构建人脸温度立体矫正补偿网络，将得到的人脸温度场信息输入到卷积神经网络进行温度信息整合，并将整合后的温度值、深度与角度信息、3D框长宽高信息、3D框中心点坐标信息输入到人脸温度立体矫正补偿网络中，从而进行立体视觉温度矫正，输出带有温度信息和3D框角度信息的红外图像。
[0012]进一步，步骤S1中，通过红外特征提取及检测模块进行红外人脸目标检测，得到相应的的特征信息，确定目标人脸位置和区域，同时获取人脸目标等三维立体信息。具体包括以下步骤：
[0013]S101：通过将目标红外图像作为样本输入数据，标注了红外目标人脸真实位置和偏向的图像作为样本标签；本专利技术以去掉全连接层的VGG
‑
16作为主干提取网络，利用13个卷积层和3个最大池化层构造网络；结合BP神经网络算法，利用平均交叉熵函数和L1范数之和作为损失函数，反向传播更新神经网络权值参数，直至网络迭代达到收敛从而达到对网络的训练，估计出目标红外图像的人脸位置；
[0014]S102：当目标行人进入设置的测温范围时，设备就会自动进行红外人脸检测，红外摄像仪就开始采集目标人脸区域的有效温度值，并记录二维红外人脸的位置信息。
[0015]S103：得到人脸位置及温度信息后，三维信息估计模块首先会根据目标人脸相对大小和偏向，计算出目标深度信息d，再根据公式可以将二维人脸位置映射为三维人脸框，其中，d表示得到的深度信息，f表示摄像机的焦距，θ和是红外摄像仪的关键点参数信息，利用这些信息再估计出目标3D框中8个顶点的位置坐标信息，A(X1,Y1,Z1),B(X2,Y1,Z1),C(X2,Y2,Z1),D(X1,Y2,Z1),E(X1,Y1,Z2),F(X2,Y1,Z2),G(X2,Y2,Z2),H(X1,Y2,Z2)。
[0016]S104：基于这些顶点坐标信息计算出3D框中心点坐标信息，目标3D框的长宽高信息，角度信息α。
[0017]步骤S2中，构建人脸温度立体矫正补偿网络进行温度矫正，具体包括：将人脸目标温度场信息输入到卷积神经网络中得到温度值；然后将得到的温度信息、3D框长宽高信息和3D框中心点坐标信息作为输入数据，通过多层非线性全连接神经网络进行温度矫正。需
要注意的是将较为关键的深度信息、角度信息输入到神经网络的最后一层，以重点突出这些关键信息对于温度矫正的贡献。
[0018]进一步，步骤S2中，通过将步骤S1中得到的三维立体信息和温度信息输入人脸温度立体矫正补偿网络，对得到的温度值进行补偿和矫正，输出带有温度信息和3D框角度信息的红外图像。具体步骤如下：
[0019]S201：首先构造一个卷积神经网络，其由多个卷积层、激活层、批归一化(BN)层、池化层和一个全连接层构成；
[0020]S202：将目标人脸温度场信息作为样本输入到卷积神经网络当中得到适当的温度值；
[0021]S203：将得到的温度信息、3D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法，其特征在于，该方法具体包括以下步骤：S1：通过单目红外摄像仪获取含有温度场信息的红外图像，并将其输入到构造的目标3D信息提取网络中，其中，利用红外特征提取及检测模块进行红外人脸目标检测，并得到相应的人脸目标温度场信息；同时，利用三维信息估计模块基于单目红外图像提取目标三维立体信息；S2：构建人脸温度立体矫正补偿网络，将得到的人脸目标温度场信息输入到卷积神经网络进行温度信息整合，并将整合后的温度值、深度与角度信息、3D框长宽高信息、3D框中心点坐标信息输入到人脸温度立体矫正补偿网络中，从而进行立体视觉温度矫正，输出带有温度信息和3D框角度信息的红外图像。2.根据权利要求1所述的远距离目标温度精确测量方法，其特征在于，步骤S1中，获取人脸目标温度信息和三维立体信息，具体包括：通过红外特征提取及检测模块得到目标人脸位置及温度信息之后，继续将特征信息输入到三维信息估计模块，计算得到人脸的角度、深度和3D框包含的三维立体信息。3.根据权利要求1所述的远距离目标温度测量方法，其特征在于，步骤S1中，进行红外人脸目标检测，确定目标人脸位置和区域，具体包括以下步骤：S101：通过将目标红外图像作为样本输入数据，标注了红外目标人脸真实位置和偏向的图像作为样本标签；以去掉全连接层的VGG
‑
16作为主干提取网络，利用13个卷积层和3个最大池化层构造网络；结合BP神经网络算法，利用平均交叉熵函数和L1范数之和作为损失函数，反向传播更新神经网络权值参数，直至网络迭代达到收敛从而达到对目标3D信息提取网络的训练，估计出目标红外图像的人脸位置；S102：当目标行人进入设置的测温范围时，设备自动进行红外人...

【专利技术属性】
技术研发人员：周喜川，雷东山，刘海军，
申请(专利权)人：重庆大学，
类型：发明
国别省市：