一种应用于自主灭火机器人的火焰检测方法技术

本发明专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于机器人自主灭火的火焰视频检测算法。该算法首先结合多种传感器来进行实现初步判断，然后综合火焰的动态特征等，使用混合高斯模型分割出运动目标区域，结合火焰的静态特征提取运动区域的候选火焰目标，并进行分割。最后结合双目摄像头来实现跟踪摄像机火焰运动在三维空间的位置和方向，提取其深度信息，提供机器人自主灭火的路径等信息，实现对火焰比较精准的检测。

【技术实现步骤摘要】
一种应用于自主灭火机器人的火焰检测方法
本专利技术涉及计算机视觉的图像处理，特别是图像识别检测这一部分。
技术介绍
目前主要通过两方面来实现对火焰的检测，包括火焰传感器检测和计算机视觉检测。人们已经利用多种传感器开发出非常多的烟火监测系统。常规的监测器主要针对烟雾、热和辐射3类对象，多数采用的都是针对颗粒、温度、空气湿度、透明度、烟雾等物理采样的点式传感器，也有传统的紫外或红外光谱测量仪。但这些近距传感器和光电设备在操作难度、可靠性、检测效率、场地适用性、成本和通用性等方面都存在局限性。而通过计算机视觉来检测火焰，通常通过火焰的静态特征研究，即指对含有火焰的图像进行色彩、轮廓、能量、纹理等角度的特征提取。以上静态特征的检测算法均存在一定的缺陷：①如基于颜色的检测特征，模型简单但虚警率很高，且容易受成像设备的局限而产生漏检及误检；②火焰的非刚性特征极大制约其轮廓提取，无法做到通用环境下的高检测率；③光学设备的精度和火源距离的限制使得火焰本身的精细纹理提取困难，且纹理特征计算量大，应用性受到局限。杨骏等人针对视频火焰技术提出了视频火焰检测的几个主要方面，包括其相对传统检测器的优势、火焰特性的分类与描述、代表性的检测方法、典型的系统方案及其发展趋势等；探讨了其中涉及的系统通用性、实时性、智能性、评测标准和多传感器融合等关键问题；还介绍了一种新的基于层次注意的视频火焰检测模型及多源感知信息的显著性融合框架，尝试借助显著性特征描述和低冗余计算来提升烟火监测系统的效率和主动性。现有技术文献杨俊,王润生.基于计算机视觉的视频火焰检测技术[J].中国图象图形学报.2008,13(7):1222-1234.
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于机器人自主灭火的火焰视频检测算法。该算法首先结合多种传感器来进行实现初步判断，然后综合火焰的动态特征等，使用混合高斯模型分割出运动目标区域，结合火焰的静态特征提取运动区域的候选火焰目标，并进行分割。最后结合双目摄像头来实现跟踪摄像机火焰运动在三维空间的位置和方向，提取其深度信息，提供机器人自主灭火的路径等信息，实现对火焰比较精准的检测。附图说明图1为火焰检测方法流程框图；图2为RGB颜色空间；图3为火焰尖角结构元素；图4为零散非火焰像素点示例图(a)-(c)均为火焰像素点,(d)-(f)均不是火焰像素点；图5为火焰检测效果图；图6为混合高斯模型提取火焰运动区域图；图7为立体视觉图；图8为打火机例子1；图9为打火机例子2。具体实施方式以下参考附图来说明本专利技术的具体实施方式。A.首先说明本专利技术的第1实施方式。图1示出了自主灭火机器人火焰检测方法流程框图。主要包括传感器检测、动态、静态等特征的视觉检测、提取深度信息、提供路径等六个方面。自主灭火机器人在灭火过程中用到的硬件设备，主要是一些传感器和双目摄像头的结合实现对火焰的检测。传感器包括DS18B20TO-92温度传感器、烟雾传感器MQ-2、滨松火焰传感器R2868，双目摄像头采用ZED相机。B.接下来说明本专利技术的第2实施方式。图2示出了RGB颜色空间，颜色空间作为特定事物的色彩在特定空间内的表达形式。火焰可视化表现的众多特征中，颜色特征最直接、最明显，因此火焰也有其视觉上的颜色具体化描述。检测视频场景中出现的火焰区域，必须将其颜色在特定空间内具体参数化。通过对大量火焰像素和火焰块区域进行采样分析，可以建立通用性非可控火焰模型。同时利用这些火焰颜色检测模型，可以检测出满足疑似火焰颜色区域，为后续检测提供精确定位的疑似火焰区域，提高检测效率。RGB颜色空间利用了物理学中的三原色叠加从而组成产生各种不同颜色的原理。在RGB颜色空间中，3个轴分别是为R、G、B三个分量。则任意色光F都可以用R、G、B三色不同分量的相加混合而成：F＝r[R]+g[G]+b[B]任一色彩F是这个立方体坐标中的一点，调整三色系数r、g、b中的任一系数都会改变F的坐标值，也即改变了F的色值。也即是说，任何一种颜色都可以用三种基本颜色按照不同的比例混合得到。其中，各个分量的数值越小，亮度越低。数值越大，亮度越高；如：原点对应为黑色(0，0，0)，离原点最远的定点为白色(255，255，255)。且由黑到白的灰度分布在原点到最远点间的连线上，每一种颜色独有其唯一的RGB指与它对应。RGB色彩空间采用物理三基色表示，是根据人眼识别的颜色定义出的空间。在分析大量的火焰像素区域后，可以得到了红绿蓝三通道间的规律，即红色通道值不仅比绿色通道值高，而且远比蓝色通道值高，具体条件表示如下：条件1：R＞RT条件2：R≥G＞B条件3：S≥(255-R)*ST/RT其中RT是红色通道的值，S是饱和度值，且当R取得RT时，ST即是该像素的饱和度值。当满足上述条件时，认为该像素点是火焰像素。图3示出了火焰尖角结构元素。火焰是非刚性物体，其形态持续变化取决于燃料或空气流动等周围因素，故常规的形状分析方法很难有效描述火焰的形状及其演化。观察发现，火焰轮廓的时变特性主要集中于外焰形态变化，而外焰中最为显著的特征就是火焰尖角，寻找外焰轮廓中含有尖角结构形态元素的数量(见图5)是一种很实用的方法，在检测到火焰的时候，同时对火焰特有的尖角特征进行检测，针对火焰的尖角具有一定的角度，这样可以检测出是否有尖角，从而判断一些区域是否是火焰区域。图4为零散非火焰像素点示例图，其中(a)-(c)均为火焰像素点,(d)-(f)均不是火焰像素点。摄像头检测到的火焰像素点均以不定形状块的形式存在，所以一些受光照或噪声点等影响的零散像素点不能当成火焰点，必须将其滤除。此时，可以将图像分成3*3的小块，在每一块中，中间的像素点必须检测为火焰点，同时其周边的8个相邻域像素点也必须超过一定的数量才能算是火焰像素点。对于这样一个3*3块，分别编号为1-4、X(中心点)、5-8。当检测到X位置时，必须同时满足两个条件：当X为火焰像素点；且当标记了1-8中8个邻域中必须有至少两个是火焰像素点，这时才能确定X是火焰像素点。火焰在燃烧过程中会逐渐变大，而不仅仅是一个零散点。只有类似于LED指示灯等在图像很远时拍摄的视频图像才会是一个小小的点。如图中火焰点存在均是连通成块的，因此通过对前面检测到的疑似火焰部分检测后，再对每个像素点进行筛选即可滤除那些零散非火焰像素点，这样就保留了不定形状和面积的成块的火焰部分。在检测火焰轮廓的同时，可以检测火焰在视频窗口中的面积百分比，对于大小的火焰大小的面积，在检测火焰大小的时候，设置检测到火焰的面积的值，如果在视频窗口中只是一小部分的话，就忽略不计。为了更方便的分别对火焰候选区域进行特征判别，首先我们得对处理后的结果中的各个分离部分进行标记。这里采用了8连通邻域(像素的邻域即像素周围的八个点)来确定某一像素所属的标签。假设图像的总面积为area，其各个候选区域的面积area(i)，(其中i＝1,2,…N)时，当其面积比例N小于(在这里设置为0.005)时，我们便可以认为此块区域并非是火焰位置，很有可能是一些较小的图像噪声等等，这样就可以根据面积比例来删除一些虚假区域，可以实现较好的图像效果处理。经过上述的原理检测后，使用小型的火焰进行了测试，火焰静态特征检测效果本文档来自技高网...

【技术保护点】
一种应用于自主灭火机器人的火焰检测方法，其特征在于，包括如下步骤：第一步、结合多种传感器进行初步检测；第二步、进行视觉检测，并发出警报；第三步、混合高斯模型提取火焰运动区域；第四步、结合火焰静态特征进行筛选；第五步、结合双目摄像头，提取深度信息；第六步、提取火焰区域，并提供灭火路径。

【技术特征摘要】
1.一种应用于自主灭火机器人的火焰检测方法，其特征在于，包括如下步骤：第一步、结合多种传感器进行初步检测；第二步、进行视觉检测，并发出警报；第三步、混合高斯模型提取火焰运动区域；第四步、结合火焰静态特征进行筛选；第五步、结合双目摄像头，提取深度信息；第六步、提取火焰区域，并提供灭火路径。2.根据权利要求1所述的应用于自主灭火机器人的火焰检测方法，其特征在于，针对火焰本身特有的发射的紫外线和...

【专利技术属性】
技术研发人员：张伟，陈佳腾，曾碧，林伟，曹军，卿都，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44