红外和可见光视频图像融合识别火灾的方法技术

本发明专利技术涉及一种红外和可见光视频图像融合识别火灾的方法，通过红外图像预处理模块、判断可疑红外图像模块、确定红外图像中存在火焰模块和融合可见光综合判断模块进行识别。红外图像预处理模块对图像进行灰度化处理，区域联通，二值化和膨胀运算。判断可疑红外图像模块对灰度图和二值化图像做差值运算，确定场景有变化的可疑图像。确定红外图像中存在火焰模块对前后帧可疑图像做相似度计算，确认火焰是否存在。融合可见光综合判断模块结合火焰在RGB颜色空间的模型，判断相应可见光图像上的RGB值是否满足火焰的颜色模型，终判火情是否发生。本发明专利技术实现了红外图像和可见光图像的融合识别，避免了火灾的漏报和误报，提高了火情识别的准确性。

【技术实现步骤摘要】

本专利技术属于生产安全监测
，涉及一种红外和可见光视频图像融合识别火灾的方法。
技术介绍
目前预防火灾发生有多种技术和手段，应用比较广泛的有烟雾报警器、紫外火焰探测器等。烟雾报警器适合室内烟雾的监测和预警，但不适合视频监控和户外使用。紫外火焰探测器探测波长200～300nm以下的引起的高温火灾，用于检测热油快速燃烧引起的火焰，对瞬时强光发出时监测火焰非常有效，适合爆炸性火灾的监测和预警，但是紫外火焰探测器器监测场景角度窄，在强太阳光下误报率较高。因此两种火灾探测仪器自都有局限性。采用红外技术进行火灾探测近几年探索较多，但市场应用尚不成熟，识别方法局限在实验室内或者近距离火焰的探测识别。目前尚未有红外图像融合可见光图像进行火灾识别的算法，多数利用红外图像识别火焰后，在可见光图像上显示出着火点的位置，提供给使用者清晰的现场视频。专利和非专利文献公布其红外图像识别火灾是在实验室中实现的，从识别图片看，火焰在图片中占至少30%的面积，这样的算法对于室外、复杂背景或者远距离的小火点等识别率很低。火灾监测如果只是用可见光图像进行识别，算法设计复杂、识别耗时长，且判断结果容易受外界光线和背景的影响，如局部出现强烈阳光可能就会引起误报，而且小火焰在强烈阳光下也不易被识别，容易出现漏报。若只采用红外图像进行识别，同样存在因为信息单一引起的误报，如灯光容易被误判成火焰点。
技术实现思路
本专利技术的目的是提供一种红外和可见光视频图像融合识别火灾的方法，避免火灾的漏报和误报。本专利技术的技术方案是：红外和可见光视频图像融合识别火灾的方法，红外摄像机检测火情时发出红外线，通过光学成像体系形成红外图像。利用计算机建立红外图像预处理模块、判断可疑红外图像模块、确定红外图像中存在火焰模块和融合可见光综合判断模块进行识别。红外图像预处理模块根据红外图像的特征及目标的特点进行灰度化处理、区域联通、二值化和膨胀运算。判断可疑红外图像模块利用红外图像进行火焰的识别，分别对灰度图和二值化图像做差值运算，确定场景有变化的可疑图像。确定红外图像中存在火焰模块对前后帧可疑图像做相似度计算，计算两帧图像中火焰可疑区的相似度，确认火焰是否存在。融合可见光综合判断模块结合火焰在RGB颜色空间的模型，在红外图像火焰出现后，判断相应可见光图像上的RGB值是否满足火焰的颜色模型，如果可见光图像上的RGB值满足火焰的颜色模型，终判火情发生。差值运算包括两组图像差值。一组是前后两帧红外图像灰度图做差值，一组是红外图像二值化后的两帧图像做差值，差值运算的过程为：⑴第i和第i+k帧灰度图做差值：式中：Tr为差值图像二值化阈值；Tr的范围为0～255，根据实际需要确定一个合理值；G（i,x,y）为第i帧红外图像的灰度图；G（i+k,x,y）为第i+k帧红外图像的灰度图；G（i,i+k,x,y）为结果图像，其像素值为1的区域表示G（i,x,y）和G（i+k,x,y）两帧图像有较大差异，该区域有较强亮光或红外辐射出现。⑵第i和第i+k帧二值化图像做差值，即异或运算：Pr(i,i+k,x,y)=P(i,x,y)∧P(i+k,x,y)式中：P(i,x,y)为第i帧红外图像的二值图；P(i+k,x,y)为第i+k帧红外图像的二值图；P(i,i+k,x,y)为差值结果图像，其像素值为1的区域表示P(i,x,y)和两帧图像有较大差异；此图像的二值化使用直方图分割方法；⑶对以上（1）和（2）的结果图像G(i,i+k,x,y)和P(i,i+k,x,y)做与运算，得到结果图像R（i,i+k,x,y）,R（i,i+k,x,y）=Gr（i,i+k,x,y）∩Pr（i,i+k,x,y）R（i,i+k,x,y）中像素值为1的区域表示i和i+k帧红外图像明显差异，然后统计差异区域的大小，进行以下计算：Sun(i,i+k)=∑R（i,i+k,x,y）Sum(i,i+k)表示R（i,i+k,x,y）中像素值是1的像素个数；如果第i和i+k帧图像的场景差别较大，那么Sum(i,i+k)的值较大，当大于门限值SumT时，可以怀疑场景内有火焰出现，即：Sum(i,i+k)≥SumT，则第i帧红外图像G（i,x,y）为可疑图像；而中值为1的像素点区域即为可疑火焰区域；若Sum(i,i+k)＜SumT则G（i,x,y）为正常图像，此时将基准图像调整为G（i+k,x,y），重新进行判断。前后帧可疑图像相似度计算为：如果第i帧红外图像可疑，那么继续用以上（1）（2）（3）的步骤判断后续帧是否也可疑。如果不可疑，放弃以前的结果，将基准图像调整为后续图像，从步骤（1）重新开始判断。如果可疑，对第i帧R（i,i+k,x,y）和帧R（l,i+k,x,y）做开运算，去除图像内零散、面积较小的可疑区域，连通图像面积较大的可能火焰区域，两幅图像的可疑区域做相似度计算，根据相似度判别是否火焰出现；（1）相似度计算为：式中：ε为R（i,i+k,x,y）和帧R（l,I+k,x,y）；相似度判断如果：ε＞E0表示前后帧图像i和l可疑火焰区域高度匹配，认为可疑火焰为固定红外光源；如果：εE1＜ε＜E0表示i帧和k帧可疑火焰区域匹配度较高，认为火焰出现；如果：ε＜E1表示i帧和l帧可疑或吸烟区域匹配度低，认为移动光源出现；其中：E0、E1分别为判断相似度的上下门限。融合可见光综合判断的方法为由第三模块得到的有火焰的红外图像帧找到此帧图像对应的可见光图像帧F(i,x,y)，判断F(i,x,y)中对应红外图像火焰区域的像素R、G、B值是否满足火焰空间颜色模型，如果满足则认为模块三确定的可疑图像的确发生了火情，否则没有出现火情。火焰空间颜色模型为：RG和≥G＞B，其中：R为红色，G为绿色，B为蓝色。本专利技术红外和可见光视频图像融合识别火灾的方法通过红外图像预处理模块、判断可疑红外图像模块、确定红外图像中存在火焰模块和融合可见光综合判断模块相结合，红外图像和可见光图像融合识别火灾的方利用红外图像去除大部分场景影响，初步判断出火焰是否存在，然后融合可见光图像最终综合判断火灾是否发生，实现了红外图像和可见光图像的融合识别，避免了使用某一种图像所导致的漏报和误报。采用红外摄像机和普通监控摄像机相结合的方式实时监测火灾，能监控室内和近距离火灾，也适用于户外、较远距离等情况，不受光线、天气变化、环境亮度变化等因素影响影响，运行行速度快，可在火灾发生早期及时准确的预警。本专利技术利用红外成像的特点，选用合适的红外镜片组合，拍摄的红外图像上只有很少的背景信息，更多的保留了有效信息，先采用红外图像初步判断出起火视频图像后，再根据火焰颜色模型，利用可见光图像进一步确认火灾发生的图像，提高了识别的准确性。附图说明图1为本法本专利技术红外和可见光视频图像融合识别火灾的流程示意图；图2为第一组两帧红外图像G(1,x本文档来自技高网...

【技术保护点】
一种红外和可见光视频图像融合识别火灾的方法，红外摄像机检测火情时发出红外线，通过光学成像体系形成红外图像，其特征是：利用计算机建立红外图像预处理模块（1）、判断可疑红外图像模块（2）、确定红外图像中存在火焰模块（3）和融合可见光综合判断模块（4）进行识别；所述红外图像预处理模块根据红外图像的特征及目标的特点进行灰度化处理、区域联通、二值化和膨胀运算；所述判断可疑红外图像模块利用红外图像进行火焰的识别，分别对灰度图和二值化图像做差值运算，确定场景有变化的可疑图像；所述确定红外图像中存在火焰模块对前后帧可疑图像做相似度计算，计算两帧图像中火焰可疑区的相似度，确认火焰是否存在；所述融合可见光综合判断模块结合火焰在RGB颜色空间的模型，在红外图像火焰出现后，判断相应可见光图像上的RGB值是否满足火焰的颜色模型，如果可见光图像上的RGB值满足火焰的颜色模型，终判火情发生。

【技术特征摘要】
1.一种红外和可见光视频图像融合识别火灾的方法，红外摄像机检测火情时发出红外线，通过光学成像体系形成红外图像，其特征是：利用计算机建立红外图像预处理模块（1）、判断可疑红外图像模块（2）、确定红外图像中存在火焰模块（3）和融合可见光综合判断模块（4）进行识别；所述红外图像预处理模块根据红外图像的特征及目标的特点进行灰度化处理、区域联通、二值化和膨胀运算；所述判断可疑红外图像模块利用红外图像进行火焰的识别，分别对灰度图和二值化图像做差值运算，确定场景有变化的可疑图像；所述确定红外图像中存在火焰模块对前后帧可疑图像做相似度计算，计算两帧图像中火焰可疑区的相似度，确认火焰是否存在；所述融合可见光综合判断模块结合火焰在RGB颜色空间的模型，在红外图像火焰出现后，判断相应可见光图像上的RGB值是否满足火焰的颜色模型，如果可见光图像上的RGB值满足火焰的颜色模型，终判火情发生。
2.根据权利要求1所述的红外和可见光视频图像融合识别火灾的方法，其特征是：所述差值运算包括两组图像差值；一组是前后两帧红外图像灰度图做差值，一组是红外图像二值化后的两帧图像做差值，差值运算的过程为：
⑴第i和第i+k帧灰度图做差值：
式中：
Tr为差值图像二值化阈值；Tr的范围为0～255，根据实际需要确定一个合理值；G（i,x,y）为第i帧红外图像的灰度图；
G（i+k,x,y）为第i+k帧红外图像的灰度图；
G（i,i+k,x,y）为结果图像，其像素值为1的区域表示G（i,x,y）和G（i+k,x,y）两帧图像有较大差异，该区域有较强亮光或红外辐射出现；
⑵第i和第i+k帧二值化图像做差值，即异或运算：
Pr(i,i+k,x,y)=P(i,x,y)∧P(i+k,x,y)
式中：
P(i,x,y)为第i帧红外图像的二值图；
P(i+k,x,y)为第i+k帧红外图像的二值图；
P(i,i+k,x,y)为差值结果图像，其像素值为1的区域表示P(i,x,y)和两帧图像有较大差异；此图像的二值化使用直方图分割方法；
⑶对以上（1）和（2）的结果图像G(i,i+k,x,y)和P(i,i+k,x,y)做与运算，得到结果图像R（i,i+k,x,y）,
R（i,i+k,x,y）=Gr（i,i+k,x...

【专利技术属性】
技术研发人员：李长伟，王志侃，郭锐，霍建竹，
申请(专利权)人：中国石油化工股份有限公司，
类型：发明
国别省市：北京;11