本申请公开了一种基于图像融合的双波段智能测温装置和智能测温方法，采用双波段图像融合方法进行人脸检测，只需要进行单次目标检测即可分别获得红外和可见光图像中多位人脸的位置，同时基于人脸位置和双波段双目视觉模型还可以同步估计出人脸的距离。基于测温感兴趣区域一方面在人脸范围内进行体温测量，另一方面根据距离对测温结果进行补偿以提高测温相机的测温精度。此外测温相机还综合修正了环境温度对测温结果造成的影响。由于采用双波段图像融合的方式进行人脸检测和测距，不但降低了直接采用红外图像进行人脸检测的困难，而且降低了双波段视觉目标检测任务的算法复杂度。降低了双波段视觉目标检测任务的算法复杂度。降低了双波段视觉目标检测任务的算法复杂度。
【技术实现步骤摘要】
一种基于图像融合的双波段智能测温装置和智能测温方法
[0001]本申请涉及计算机视觉与数字图像处理领域，具体涉及一种基于图像融合的双波段智能测温装置和智能测温方法。
技术介绍
[0002]当前，大多数红外测温相机多半采用一部红外相机和一部可见光相机来实现面部测温和人脸检测，首先通过可见光相机进行人脸检测，然后再根据双目视觉系统结构将可见光相机探测到的人脸区域映射到红外图像相对应的区域，以此来探测人体热辐射。最终将探测到的热红外图像灰度值与测温黑体灰度值关联起来进行体温估计与高温警示和筛查，若发现疑似高温热源再进行重点排查，整个系统以瀑布级联式的检测算法流程先后完成红外和可见光人脸检测和测温。相较于传统的水银温度计、额温枪、耳温仪等测温技术，双波段测温相机具有非接触、测量过程和结果数字可视化、检测视场大、多点探测、测量分辨率高和测量速度快等优点，其被广泛使用在医疗卫生、环保安防、工业监测等领域，是实现工业自动化监测、医疗设备数字化、环保安防无人看管等领域的一项关键技术。
[0003]如图1所示，为现有红外相机测温技术方案的系统结构组成图，其中包括第一可见光成像单元1、红外热成像单元2、第二可见光成像单元3、异源相机标定模块4、第一可见光图像模块5、红外图像模块6、第二可见光图像模块7、人脸检测模块8、双目视觉测距模块9、温度转换模块10、测温修正模块11、测温黑体模块12和人机交互单元13组成，其中模块4到模块12组成的单元称之谓图像处理单元。第一可见光成像单元1提供用于人脸检测的可见光图像IMG
‑<br/>RGB，红外成像单元2用于采集人体热辐射图像IMG
‑
IR。第二可见光成像单元用于与第一可见光成像单元组成双目立体相机，对人体位置进行三维定位。第一可见光图像模块5使用IMG
‑
RGB图像进行人脸检测，再将检测到的人脸区域映射到红外图像模块6中，以获取测温感兴趣位置(额头)，然后温度转换模块10在上述感兴趣区域内将红外灰度值转换为温度。测温修正单元11结合测温黑体模块12的灰度值对温度转换模块10的输出结果进行修正，最终通过人机交互单元13对红外和可见光图像及测量结果进行显示和人机交互功能。
[0004]现有技术存在如下缺点：
[0005]1、由于红外热辐射随距离的增长呈衰减趋势。因此，红外测温相机精度受距离的影响较大，测温结果需要进行距离修正。未经距离修正的测量结果通常具有较大的测量误差，因此只能在固定的位置才能测得相对准确的温度值。尤其在一些现有测温系统一般只配备一部可见光相机，因此不得已采用人脸面积的大小来估计观测者相对测温相机的距离，但由于人脸面积易受到面部姿态、背景光照等外界干扰因素的影响，因此，通过面积估测得到的距离精度较低。
[0006]2、因受限于当前边缘计算移动终端算力的影响，现有的测温相机需要分别运行红外和可见光两种人脸检测模型，导致红外测温相机的实时性和人脸定位精度均不佳，难以在边缘计算移动终端或微计算平台落地，且生产成本高昂。
[0007]3、现有的红外测温相机多半先采用可见光图像进行人脸检测，再将检测到的人脸位置映射到红外图像中进行测温，会导致一些附加问题，一方面在不同距离和区域会产生不同的映射误差，而且可见光人脸检测容易受环境光照强弱的影响；另一方面由于采用瀑布级联型的算法检测流程，导致算法实时性较差。
[0008]4、现有红外测温技术，测温黑体多采用专用型高精度黑体，成本高昂、体积庞大。此外，测温黑体与测温相机之间呈开环状态，系统也没有将环境温度对测温结果的影响纳入系统分析，因此当环境发生变化时容易出现漂移或误测的现象，且通常需要部署两部测温黑体。
技术实现思路
[0009]本申请解决的技术问题是：就如何提高红外测温相机的测温准确度和双波段相机人脸定位效率的问题，本申请提供一种基于图像融合的双波段智能测温装置和智能测温方法。
[0010]本申请技术方案主要通过红外和可见光的融合图像进行人脸检测、红外测温及测温修正，最终得到可靠的体温值。
[0011]根据本申请的第一方面，本申请提供一种基于图像融合的双波段智能测温装置，包括可见光成像单元、红外成像单元、图像处理单元和人机交互单元；
[0012]所述可见光成像单元用于采集受测对象的IMG
‑
RGB图像；
[0013]所述红外成像单元用于同时采集受测对象的红外图像；
[0014]所述图像处理单元与所述可见光成像单元、所述红外成像单元信号连接，用于对双目同时采集的所述IMG
‑
RGB图像和所述红外图像进行像素级的融合处理以得到融合图像，以及根据所述融合图像检测出所述受测对象的人脸感兴趣区域，通过对所述人脸感兴趣区域内的像素进行灰度换算以得到所述受测对象的体温值；
[0015]所述人机交互单元与所述图像处理单元连接，用于输出所述IMG
‑
RGB图像所述红外图像、所述融合图像中的一者或多者，以及输出所述受测对象的体温值。
[0016]在一实施例中，所述图像处理单元包括异源相机标定模块、图像转换模块、图像融合模块、人脸检测模块、坐标变换模块、双目测距模块和温度转换模块；
[0017]所述图像转换模块用于对所述红外图像对应的原始数据进行温度值高低的映射，或色轮转换处理，得到红外灰度图或伪彩色图像，并用IMG
‑
IR表示；
[0018]所述异源相机标定模块用于获取所述可见光成像单元的相机内外参数，并通过异源相机标定和极线矫正使所述IMG
‑
RGB图像和所述IMG
‑
IR图像达到极线对齐的状态，以消除所述IMG
‑
RGB图像和所述IMG
‑
IR图像中的光学镜头畸变；
[0019]所述图像融合模块用于将经过极线对齐后的所述IMG
‑
RGB图像和所述IMG
‑
IR图像进行像素级的加权融合处理，得到融合图像；
[0020]所述人脸检测模块用于检测所述融合图像中所述受测对象的人脸位置，并获取人脸感兴趣区域；
[0021]所述双目视觉测距单元用于将所述融合图像中的人脸位置转换为视差大小，并通过立体视觉几何关系进行测距，得到视差距离；所述视差距离用于直接接入温度转换模块并参与热辐射衰减量的修正；
[0022]所述坐标变换模块用于对所述融合图像中所述受测对象的人脸位置进行坐标变换，得到人脸位置分别在所述IMG
‑
RGB图像和所述IMG
‑
IR图像的人脸区域中像素坐标的位置；
[0023]所述温度转换单元用于在所述红外图像的人脸区域位置约束下，对所述红外图像对应的原始数据中对应于人脸区域的高灰阶原始图像数据进行温度换算，并将换算得到的温度值作为所述受测对象的体温值。
[0024]在一实施例中，所述图像处理单元还包括测温修正模块、测温黑体模块和环境温湿度模块；...
【技术保护点】
【技术特征摘要】
1.一种基于图像融合的双波段智能测温装置，其特征在于，包括：可见光成像单元、红外成像单元、图像处理单元和人机交互单元；所述可见光成像单元用于采集受测对象的IMG
‑
RGB图像；所述红外成像单元用于同时采集受测对象的红外图像IMG
‑
IR；所述图像处理单元与所述可见光成像单元、所述红外成像单元信号连接，用于对双目同时采集的所述IMG
‑
RGB图像和所述红外图像IMG
‑
IR进行像素级的融合处理以得到融合图像，以及根据所述融合图像检测出所述受测对象的人脸感兴趣区域，通过对所述人脸感兴趣区域内的像素进行灰度换算以得到所述受测对象的体温值；所述人机交互单元与所述图像处理单元连接，用于控制输出或选择输出所述IMG
‑
RGB图像、所述红外图像IMG
‑
IR、所述融合图像中的一者或多者，以及输出所述受测对象的体温值。2.如权利要求1所述的双波段智能测温装置，其特征在于，所述图像处理单元包括异源相机标定模块、图像转换模块、图像融合模块、人脸检测模块、坐标变换模块、双目测距模块和温度转换模块；所述图像转换模块用于对所述红外图像对应的原始数据进行温度值高低的映射，或采用色轮进行转换处理，以得到红外灰度图或伪彩色图；所述红外灰度图或伪彩色图用IMG
‑
IR图像表示；所述异源相机标定模块用于获取所述可见光成像单元的相机内外参数，并通过异源相机标定和极线矫正使所述IMG
‑
RGB图像和所述IMG
‑
IR图像达到极线对齐的状态，以消除所述IMG
‑
RGB图像和所述IMG
‑
IR图像中的光学镜头畸变；所述图像融合模块用于将经过极线对齐后的所述IMG
‑
RGB图像和所述IMG
‑
IR图像进行像素级的加权融合处理，得到融合图像；所述人脸检测模块用于检测所述融合图像中所述受测对象的人脸位置，并获取人脸感兴趣区域；所述双目视觉测距单元用于将所述融合图像中的人脸位置转换为视差大小，并通过立体视觉几何关系进行测距，得到视差距离；所述视差距离用于参与热辐射衰减量的修正；所述坐标变换模块用于对所述融合图像中所述受测对象的人脸位置进行坐标变换，得到人脸位置分别在所述IMG
‑
RGB图像、所述红外图像IMG
‑
IR中的区域位置；所述温度转换单元用于在所述红外图像的区域位置约束下，对所述红外图像中对应区域的像素灰度进行换算，并将换算得到的温度值作为所述受测对象的体温值。3.如权利要求2所述的双波段智能测温装置，其特征在于，所述图像处理单元还包括测温修正模块、测温黑体模块和环境温湿度模块；所述测温黑体模块用于配置恒温黑体的黑体温度；所述环境温湿度模块用于检测环境空间的环境温度和环境湿度；所述测温修正模块依据所述黑体温度、所述环境温度、所述环境湿度对所述体温值进行综合修正，得到修正后的体温值。4.如权利要求3所述的双波段智能测温装置，其特征在于，所述测温修正模块包括核心处理器，所述测温黑体模块通过IIC总线与所述核心处理器进行通信，所述测温黑体模块通过2.4G无线链路与所述核心处理器进行通信；
所述测温黑体模块包括TEC温控半导体，能够依据自身的高精度温控特性设定所述黑体温度。5.如权利要求1
‑
4中任一项所述的双波段智能测温装置，其特征在于，所述可见光成像单元包括至少一个可见光传感器，所述可见光传感器用于提供分辨率为640
×
480的...
【专利技术属性】
技术研发人员：李希才，朱嘉禾，夏心仪，
申请(专利权)人：南京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。