一种大范围尺度空间下的自适应烟雾根节点检测方法技术

本发明专利技术属于森林防火和视频目标检测领域，尤其涉及一种基于视频的烟雾源根节点检测方法。本发明专利技术首先对输入的视频图像帧进行计数判定，视情况执行动态区域提取算法和远距离目标检测区域提取算法，然后对动态图像信息进行融合，得出动态图像下的分割区域图，对远距离图像进行信息融合，得出远距离信息下的分割区域图。接下来对两张分割区域图统计贝叶斯计算所需的概率，得出贝叶斯概率结果，并根据概率结果对两套分割区域图进行融合，得出远近距离条件下的全尺度检测结果图。最后，对融合结果进行骨骼图像提取，并得出最后烟雾根节点像素级候选位置。整套计算流程以流水线形式执行，延迟时间约25帧，即算法自执行开始，需25帧后得出正确结果。

An Adaptive Smoke Root Node Detection Method in Large Scale Space

【技术实现步骤摘要】
一种大范围尺度空间下的自适应烟雾根节点检测方法
本专利技术属于森林防火和视频目标检测领域，尤其涉及一种基于视频的烟雾源根节点检测方法。
技术介绍
森林火灾的监控和检测方法目前阶段主要分为四种基本实现形式，分别为：基于摄像头视频处理的检测方法、基于卫星视觉的大范围检测方法、基于火灾传感器的拓扑检测方法、基于雷达的远距离检测方法。在这四种方法中，基于摄像头视频处理的检测方法因为具有检测距离广、维护成本低、开发周期快等特点被广泛采用。基于视频的检测方法，往往需要对待检测区域进行候选区域的提取计算，并加以筛选后，得到候选区域中的真实目标区域。筛选过程往往采用颜色、纹理、动态背景等方法进行。这些方法对图像的细节要求较高，在远距离的前提条件下，基于动态背景的方法往往检测出的动态目标仅仅有很少的像素点，难以运用形态学等方式进行后续的处理计算；基于纹理和颜色的方法在一定程度上难以区分云朵和烟雾的差异，导致误检测现象的发生。由此可见，远距离条件下的烟雾检测方法存在很大的挑战。专利申请号为CN201910490504.9，专利技术名称为“一种基于MSER的远距离复杂环境下的烟雾根节点检测方法”的中国专利。该专利技术在采用MSER算法对远距离烟雾场景进行候选区域提取，并通过角点提取算法和凸包检测算法对图像中可能存在干扰项进行排除，然后通过骨骼提取算法对候选区域提取烟雾根节点候选点，最后采用连续帧的帧间信息提取出烟雾根节点。该算法虽然对远距离烟雾效果突出，但对于近距离烟雾缺存在天然缺陷：MSER算法和核心思想基于灰度图像灰度值在一定范围内趋于稳定的特性提取MSER候选区域。近距离烟雾在动态条件下进行扩散，仅仅在烟雾中心部分灰度值趋于稳定，烟雾边缘灰度值频繁发生变化，导致MSER算法不能完整提取出烟雾轮廓，这种结果直接导致后续的烟雾根节点提取位置会产生于烟雾中心的某个部分，不符合正确的结论。所以远距离目标检测方法对近距离目标并不一定获取好的效果。专利申请号为CN201711440134，专利技术名称为“一种基于特征根和流体力学的森林火灾烟视频目标检测方法”的中国专利。该专利技术在权利要求书“步骤1”图像预处理部分采用了帧间差分算法进行动态背景的提取。如上文所说，该方法对远距离目标存在缺陷，远距离条件下烟雾运动缓慢，动态背景提取效果不明显。根据该专利后续对候选区域处理过程，若真实烟雾区域仅仅有个别像素点，或者未能成功提取烟雾候选区域范围，将无法对待检测目标进行烟雾根节点的提取和流体力学模拟的计算。专利申请号为CN201811318766，专利技术名称为“一种基于最小二乘法的烟雾根节点检测方法”的中国专利。该专利技术在烟雾源(燃烧源)提取过程中(权利要求书第一步、第二步)同样需要对烟雾候选区的连通域采取计算，并采用了帧间差分的动态区域提取算法。若未能成功提取到待检测烟雾的候选区域，该专利提出的山崩算法将无法分割出崩塌计算的山崖区域，导致检测失败。综上所述，如何发挥远距离目标检测的优势，并且保留动态目标或者近距离目标检测的优点也是一个不容忽视的问题。
技术实现思路
本专利技术提供了一种大范围尺度空间下的烟雾根节点检测方法，目的在于充分发挥远距离目标检测算法的优势和近距离检测算法的精确度。通过对固定的林火监控摄像头图像的处理，并采用远近距离图像融合方法，对烟雾区域候选点进行识别，并检测烟雾根节点。根据图1所示的流程图，燃烧源根节点的检测方法如下：第一步，系统初始化：通过对系统的各个变量容器初始状态赋值，以达到能够准确进行后续循环操作的目的；第二步(分支1)，动态区域提取：将采集到的RGB图像进行灰度图转换，并采用vibe算法进行动态区域的提取，将提取的动态区域图像进行二值化后存入长度为4的堆栈；第三步(分支2)，MSER+区域提取：将采集到的RGB图像进行高斯金字塔下采样计算，在下采样两层后，分别对三张不同尺度的金字塔进行Shi-Tomas角点检测，对三张金字塔图像中角点密度较大的区域进行自动聚类算法的标记，并对原始尺度图像中被标记区域进行凸包计算，将计算完毕后的凸包区域在原始图像中删除，并将删除区域用像素0(黑色)进行填充，得到填充后的分割图后，进行MSER+算法的计算，得出经过MSER+算法计算后的图像，存入缓存容器后，对缓存容器中的五张MSER+图像进行融合计算，得出一张融合区域图像；第四步，将四帧动态背景图和一帧MSER+图进行图像融合：融合算法采用朴素贝叶斯融合理论进行，分别对四幅动态图像进行概率统计，得出不同像素区域先验概率，其次对MSER+图像的不同像素区域进行条件概率统计，最后通过贝叶斯公式计算出各个像素区域的活跃概率，并对超过活跃阈值的区域进行像素级的融合计算，得出融合后的图像；第五步，骨骼图像提取区域的代表坐标：对融合得到的单通道二值图像连通域进行骨骼图像提取，并计算出骨骼图像的端点坐标，记录该图像中所有的骨骼图像端点坐标，该坐标记录即为当前帧图像的候选区域代表坐标；第六步，将第五步得出的骨骼图像候选区域代表坐标进行连续五帧的统计，若存在连续帧图像端点坐标在范围区域内稳定存在，并浮动于小半径范围内，则该小范围内所有端点坐标的平均值(包括X轴方向和Y轴方向)为烟雾根节点。系统初始化的具体执行方法为：步骤101，对图像帧计数器初始化，对Vibe算法执行初始化，对MSER算法执行初始化，对图像存储容器初始化；步骤102，在图像容器初始化的过程中，Vibe图像缓存容器长度为4，即每4帧Vibe图像作为动态背景信息进行后续贝叶斯概率提取的模板，Vibe图像容器初始放入3张Vibe图像；步骤103，在图像容器初始化的过程中，MSER图像缓存容器长度为3，即每3帧MSER图像作为远距离背景信息进行后续贝叶斯概率提取的模板，MSER图像容器初始放入2张MSER图像，并将其中(容器中的2张)任意一张作为基础MSER_Img在MSER_Init()中执行；步骤104，在图像容器初始化的过程中，Roots_Img_Vector图像缓存容器长度为5，即每5帧根节点图像作为一次烟雾根的判定依据，初始化过程先存入4张大小为480*320P的纯黑色单通道图像。第三步中，将采集到的RGB图像进行高斯金字塔下采样计算，在下采样两层后，分别对三张不同尺度的金字塔进行Shi-Tomas角点检测，具体执行方法为：步骤301，读取当前帧图像后，对图像帧计数器进行当前轮数判定，若为第5张图像，则对当前图像进行MSER算法下的远距离信息提取过程；步骤302，对读入图像做高斯金字塔计算处理，得出3张逐次下采样条件下的高斯金字塔模型，即：尺度1：与输入帧图像大小相同，尺度2：图像的长和宽各为输入图像尺度的1/2，高斯滤波过程采用3X3卷积核进行，尺度3：图像的长和宽各为输入图像尺度的1/4，高斯滤波过程采用3X3卷积核进行，并将三张不同尺度下的图像存入GP_Vector容器；步骤303，将三张高斯金字塔图像中的最小尺寸图片划分为偶数个判定区域，本专利技术采用480*320P的图像分辨率，分为24个最小区域感受野，每个感受野的分辨率为20*20像素，并确定例如图3所示的对应关系；步骤304，分别对三张不同尺度的图像进行Shi-Tomas角点的检测，分别得出各个图像在各个匹配感受野区域中的角点本文档来自技高网...

【技术保护点】
1.一种大范围尺度空间下的自适应烟雾根节点检测方法，其特征在于，包含以下步骤：第一步，系统初始化：通过对系统的各个变量容器初始状态赋值，以达到能够准确进行后续循环操作的目的；第二步(分支1)，动态区域提取：将采集到的RGB图像进行灰度图转换，并采用vibe算法进行动态区域的提取，将提取的动态区域图像进行二值化后存入长度为4的堆栈；第三步(分支2)，MSER+区域提取：将采集到的RGB图像进行高斯金字塔下采样计算，在下采样两层后，分别对三张不同尺度的金字塔进行Shi‑Tomas角点检测，对三张金字塔图像中角点密度较大的区域进行自动聚类算法的标记，并对原始尺度图像中被标记区域进行凸包计算，将计算完毕后的凸包区域在原始图像中删除，并将删除区域用像素0(黑色)进行填充，得到填充后的分割图后，进行MSER+算法的计算，得出经过MSER+算法计算后的图像，存入缓存容器后，对缓存容器中的五张MSER+图像进行融合计算，得出一张融合区域图像；第四步，将四帧动态背景图和一帧MSER+图进行图像融合：融合算法采用朴素贝叶斯融合理论进行，分别对四幅动态图像进行概率统计，得出不同像素区域先验概率，其次对MSER+图像的不同像素区域进行条件概率统计，最后通过贝叶斯公式计算出各个像素区域的活跃概率，并对超过活跃阈值的区域进行像素级的融合计算，得出融合后的图像；第五步，骨骼图像提取区域的代表坐标：对融合得到的单通道二值图像连通域进行骨骼图像提取，并计算出骨骼图像的端点坐标，记录该图像中所有的骨骼图像端点坐标，该坐标记录即为当前帧图像的候选区域代表坐标；第六步，将第五步得出的骨骼图像候选区域代表坐标进行连续五帧的统计，若存在连续帧图像端点坐标在范围区域内稳定存在，并浮动于小半径范围内，则该小范围内所有端点坐标的平均值(包括X轴方向和Y轴方向)为烟雾根节点。...

【技术特征摘要】
1.一种大范围尺度空间下的自适应烟雾根节点检测方法，其特征在于，包含以下步骤：第一步，系统初始化：通过对系统的各个变量容器初始状态赋值，以达到能够准确进行后续循环操作的目的；第二步(分支1)，动态区域提取：将采集到的RGB图像进行灰度图转换，并采用vibe算法进行动态区域的提取，将提取的动态区域图像进行二值化后存入长度为4的堆栈；第三步(分支2)，MSER+区域提取：将采集到的RGB图像进行高斯金字塔下采样计算，在下采样两层后，分别对三张不同尺度的金字塔进行Shi-Tomas角点检测，对三张金字塔图像中角点密度较大的区域进行自动聚类算法的标记，并对原始尺度图像中被标记区域进行凸包计算，将计算完毕后的凸包区域在原始图像中删除，并将删除区域用像素0(黑色)进行填充，得到填充后的分割图后，进行MSER+算法的计算，得出经过MSER+算法计算后的图像，存入缓存容器后，对缓存容器中的五张MSER+图像进行融合计算，得出一张融合区域图像；第四步，将四帧动态背景图和一帧MSER+图进行图像融合：融合算法采用朴素贝叶斯融合理论进行，分别对四幅动态图像进行概率统计，得出不同像素区域先验概率，其次对MSER+图像的不同像素区域进行条件概率统计，最后通过贝叶斯公式计算出各个像素区域的活跃概率，并对超过活跃阈值的区域进行像素级的融合计算，得出融合后的图像；第五步，骨骼图像提取区域的代表坐标：对融合得到的单通道二值图像连通域进行骨骼图像提取，并计算出骨骼图像的端点坐标，记录该图像中所有的骨骼图像端点坐标，该坐标记录即为当前帧图像的候选区域代表坐标；第六步，将第五步得出的骨骼图像候选区域代表坐标进行连续五帧的统计，若存在连续帧图像端点坐标在范围区域内稳定存在，并浮动于小半径范围内，则该小范围内所有端点坐标的平均值(包括X轴方向和Y轴方向)为烟雾根节点。2.根据权利要求1所述的一种大范围尺度空间下的自适应烟雾根节点检测方法，其特征在于所述第一步中，系统初始化的具体执行方法为：步骤101，对图像帧计数器初始化，对Vibe算法执行初始化，对MSER算法执行初始化，对图像存储容器初始化；步骤102，在图像容器初始化的过程中，Vibe图像缓存容器长度为4，即每4帧Vibe图像作为动态背景信息进行后续贝叶斯概率提取的模板，Vibe图像容器初始放入3张Vibe图像；步骤103，在图像容器初始化的过程中，MSER图像缓存容器长度为3，即每3帧MSER图像作为远距离背景信息进行后续贝叶斯概率提取的模板，MSER图像容器初始放入2张MSER图像，并将其中(容器中的2张)任意一张作为基础MSER_Img在MSER_Init()中执行；步骤104，在图像容器初始化的过程中，Roots_Img_Vector图像缓存容器长度为5，即每5帧根节点图像作为一次烟雾根的判定依据，初始化过程先存入4张大小为480*320P的纯黑色单通道图像。3.根据权利要求1所述的一种大范围尺度空间下的自适应烟雾根节点检测方法，其特征在于所述的第三步中，将采集到的RGB图像进行高斯金字塔下采样计算，在下采样两层后，分别对三张不同尺度的金字塔进行Shi-Tomas角点检测，具体执行方法为：步骤301，读取当前帧图像后，对图像帧计数器进行当前轮数判定，若为第5张图像，则对当前图像进行MSER算法下的远距离信息提取过程；步骤302，对读入图像做高斯金字塔计算处理，得出3张逐次下采样条件下的高斯金字塔模型，即：尺度1：与输入帧图像大小相同，尺度2：图像的长和宽各为输入图像尺度的1/2，高斯滤波过程采用3X3卷积核进行，尺度3：图像的长和宽各为输入图像尺度的1/4，高斯滤波过程采用3X3卷积核进行，并将三张不同尺度下的图像存入GP_Vector容器；步骤303，将三张高斯金字塔图像中的最小尺寸图片划分为偶数个判定区域，本发明采用480*320P的图像分辨率，分为24个最小区域感受野，每个感受野的分辨率为20*20像素，并确定例如图3所示的对应关系；步骤304，分别对三张不同尺度的图像进行Shi-Tomas角点的检测，分别得出各个图像在各个匹配感受野区域中的角点数目，计算尺度变换下角点的保持度；设感受野等级1区域1(例如图3高斯金字塔等级1的红色区域)中，角点检测数目为L1N1，匹配感受野等级2区域1(高斯金字塔等级2的红色区域)中，角点检测数目为L2N1，同理，匹配感受野等级3区域1中，角点检测数目为L3N1，保持度计算公式如下：步骤305，对衰减度进行阈值判定，若Keep值为0，则在对应于匹配感受野等级3的区域中删除所有角点信息，相应区域所有的角点清空，不保留角点信息，若Keep值大于0.6，则将匹配感受野等级3的区域中所有角点保留，若Keep值小于0.6但大于0，则将匹配感受野等级3中的角点随机删除，直到剩余角点数量和匹配感受野等级2中的角点数目一致。4.根据权利要求1所述的一种大范围尺度空间下的自适应烟雾根节点检测方法，其特征在于所述的第三步中，存入缓存容器后，对缓存容器中的五张MSER+图像进行融合计算，得出一张融合图像，具体执行方法为：步骤315，对分割图执行MSER+算法的计算，由于MSER+算法仅仅能提取出图像中白色的最大极值稳定区域，所有被凸包标记，并填充为0的像素值均不会被检测到，以达到除去干扰物的作用，得到MSER+算法下的远距离检测图像；步骤316，将得到的MSER+图像存入MSER_Vector向量，并对MSER_Vector中的三张MSER+图像进行融合，首先，对三张MSER+图像进行二值化处理，并进行区域分割，每张图像分为48*32个像素为10*10的小区域；步骤317，每个区域共有100颗像素点，三张图像相同位置的小区域图像进行“与”操作计算，公式如下：AreaMSER(i，j)＝Area_MSER1(i，j)&Area_MSER2(i，j)&Area_MSER3(i，j)(2)其中AreaMSER(i，j)是融合后的MSER+图像位于(i，j)位置的小区域图像，由于每张图小区域共有48*32个，即imax＝48，jmax＝32，Area_MSERn(i，j)，为编号为n的MSER+图像位于(i，j)位置的小区域，由于小区域均为二值化区域，该操作本质即保留MSER+三张图像中重叠的255白色区域；步骤318，将步骤317中选出的各个位置的小区域重新存储，即MSER_Area，为后续贝叶斯概率计算做准备；步骤319，将MSER_Vector中的第一个元素删除，为后续MSER图像存入Vector让出存储空间。5.根据权利要求1所述的一种大范围尺度空间下的自适应烟雾根节点检测方法，其特征在于所述的第四步中，将四帧动态背景图和一帧MSER+图进行图像融合：融合算法采用朴素贝叶斯融合理论进行，分别对四幅动态图像进行概率统计，得出不同像素区域先验概率，其次对MSER+图像的不同像素区域进行条件概率统计，最后通过贝叶斯公式计算出各个像素区域的活跃概率，并对超过活跃阈值的区域进行像素级的融合计算，得出融合后的图像，具体执行方法为：步骤401，对步骤201中存入Vibe_Vector的Vibe图像进行二值化处理，并进行区域分割，每张图像分为48*32个像素为10*10的小区域；步骤402，对四张图像的所有区域进行融合操作，并将4张Vibe图像融合为1张动态图像，首先，对每张图像的48*32个小区域进行活跃度统计，每个区域共有100颗像素点，每个区域的活跃度计算公式如下：Act＝∑Pixel_mark(i，j)(3)其中，Act为区域活跃度，当坐标为(i，j)的像素值不为0(imax＝10，jmax＝10)，则该点的Pixel_mark＝1，计算出4张图片所有区域的Act值，并计算这些Act值对应4块小区域的最大值Actmax，计算公式如下：Actmax＝max(Act(i，j)n)(4)其中，Act(i，j)代表图像中位置为(i，j)的小区域的...

【专利技术属性】
技术研发人员：程朋乐，高宇，闫磊，李晓慧，
申请(专利权)人：北京林业大学，
类型：发明
国别省市：北京,11