一种基于图像目标检测的火焰检测方法技术

本发明专利技术提出一种基于图像目标检测的火焰检测方法，属于图像处理、火灾检测和视频监控领域。该方法首先建立包含火焰图片和每张图片标注信息的火焰检测数据集，并划分为训练集和测试集；构建深度卷积神经网络模型，利用训练集对模型进行迭代更新，利用测试集对更新的模型计算损失函数，若当前模型的损失函数不再下降，则模型训练完毕；拍摄实时视频，利用训练完毕的模型对每一帧画面进行检测，若存在火焰，则模型输出火焰在画面中的坐标位置，并用矩形框进行标记。本发明专利技术无需手工设计特征生成疑似火焰的候选区域，能够直接使用深度卷积神经网络对整张图片进行火焰检测，得到火焰的位置信息，从而早期预警火灾发生，最大限度减小火灾带来的危害。

A method of flame detection based on image target detection

The invention provides a flame detection method based on image target detection, which belongs to the field of image processing, fire detection and video monitoring. Firstly, the flame detection data set including flame images and annotation information of each picture is established, and is divided into training set and test set; then, the depth convolution neural network model is constructed, which is updated iteratively by training set, and the loss function is calculated by testing set, if the loss function of the current model is used. If there is a flame, the model outputs the coordinate position of the flame in the picture and marks it with a rectangular frame. The invention does not need to design features manually to generate candidate regions of suspected flame, and can directly use depth convolution neural network to detect the flame in the whole picture and obtain the position information of the flame, thereby early warning fire occurrence and minimizing the fire hazards.

【技术实现步骤摘要】
一种基于图像目标检测的火焰检测方法
本专利技术涉及图像处理、火灾检测和视频监控领域，特别涉及一种基于图像目标检测的火焰检测方法。
技术介绍
火灾是一类严重危害人民生命财产安全的频发灾害，早期预警火灾的发生能够避免火灾的蔓延，最大限度地减小火灾带来的危害。对于火焰检测任务尤其是室外和大型室内空间等场景的火焰检测任务，普通的物理传感器不能有效地完成，因此，基于图像处理技术的火焰检测方法是目前安全工程领域的一个重要研究方向。基于图像处理技术的火焰检测方法的发展主要有两个阶段。第一个阶段是根据火焰的颜色、形状、纹理等视觉特征，结合模式识别中的分类算法，判断图像中是否存在火焰。这些手工设计特征的方法检测速度快，但是稳定性和泛化能力差，检测与火焰颜色相近的物体时容易出现误报，检测颜色超出设定阈值的火焰时也容易出现漏报。为了解决这类方法存在的问题，近年来研究人员开始利用深度卷积神经网络来进行火焰检测。深度卷积神经网络是近五年在计算机视觉领域研究和应用最广泛的方法，通常利用卷积层、池化层、批规范层(BatchNormalization,BN)等从图像中自动提取特征，并利用全连接层进行分类，判断图像中是否存在火焰。该类方法的优点是不需要手工设计特征，可以利用神经网络来实现图像特征提取和模式分类的任务。相比于传统火焰检测方法，基于深度卷积神经网络的技术具有更高的准确率、召回率和更强的泛化能力。近年来，随着CPU、GPU等硬件计算能力的发展，该类方法的计算速度已经能够满足火焰检测的实时性要求。现有的基于深度卷积神经网络的火焰检测方法的问题在于，仍然需要从原始图像中生成疑似火焰的候选区域，再利用神经网络对候选区域进行分类判断是否存在火焰。目前有研究提出了一种基于深度卷积神经网络的火焰检测方法，该方法首先提取彩色图像中的疑似火焰点，将疑似火焰点作为前景获取二值图像，利用连通区域法获取一系列的连通区域，经过筛选得到候选区域，再利用卷积神经网络对候选区域是否有火焰进行分类判断。该方法的问题在于，疑似火焰候选区域的生成过程仍然由手工设计特征来实现。该过程仍然需要利用火焰的颜色特征和动态特征，这导致其检测方法对环境变化的适应能力较差。到目前为止，尚未出现能够完全不依赖手工设计特征来实现图像火焰检测方法。
技术实现思路
本专利技术的目的是为克服现有方法的不足之处，提出一种基于图像目标检测的火焰检测方法。本专利技术不需要利用手工设计特征生成疑似火焰的候选区域，能够直接使用深度卷积神经网络对整张图片进行火焰检测，并得到火焰的位置信息，从而早期预警火灾的发生，最大限度地减小火灾带来的危害。本专利技术提出一种基于图像目标检测的火焰检测方法，其特征在于，该方法包括以下步骤：1)收集N张带有火焰画面的彩色图片建立火焰图片数据集Fimage，N≥5000；2)对步骤1)建立的火焰图片数据集Fimage中每张图片的火焰区域位置坐标用矩形框进行人工标注，得到火焰区域位置的真实标注框以及真实标注框在每张图片中的4个坐标值为：l＝1，2...，N，其中为第l张图片真实标注框左上角顶点的位置坐标，为第l张图片真实标注框右下角顶点的位置坐标；将每张图片真实标注框的信息保存为一个xml文件，所有的火焰图片对应的xml文件构成火焰标注数据集Fannotation；Fimage和Fannotation构成火焰检测数据集F0；3)将步骤2)中得到的火焰检测数据集F0随机划分为训练集Ftrain和测试集Ftest，其中训练集Ftrain所占火焰检测数据集F0的比例为a，0.6≤a≤0.9；4)构建一个深度卷积神经网络模型并对模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：4-1)对训练集和测试集的每张图片进行标准化和归一化处理；对步骤1)建立的训练集和测试集的每张图片进行标准化处理，设标准宽度和高度分别为W和H，400≤W≤800，400≤H≤800，通道数Ch＝3；取标准化处理后任意图片的第t个通道、坐标为(x，y)的像素值为I(t，x，y)，0≤I(t，x，y)≤255，则利用式(1)计算归一化后的像素值I′(t，x，y),0≤I′(t，x，y)≤1：4-2)构建一个深度卷积神经网络模型，该模型包括依次连接的输入层、特征提取部分和输出层；其中，特征提取部分由卷积层和池化层组合而成，包括3～6个池化层，每个池化层之前包括1～5层卷积层，并在每个卷积层后增加批规范层；4-3)对步骤4-2)建立的模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：4-3-1)将经过步骤4-1)标准化和归一化处理完毕的训练集每张图片依次输入步骤4-2)建立的模型；令输入为第l张图片，则深度卷积神经网络中倒数第二层卷积层的输出该图片对应的特征图，特征图大小为s×s个单元，每个单元对应输入图片的不同位置区域，再将倒数第二层卷积层的输出通过最后一层卷积层连接到整个模型的输出层，输出为输入图片s×s个不同位置区域中k，5≤k≤9，个预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量1≤i≤s2，1≤j≤k，其中，i表示第i个位置区域，j表示该位置区域的第j个预测候选框；标准尺寸框相对于整张输入图片的宽度和高度由Fimage全部图片的真实标注框相对于其原始图片的宽度和高度通过k-means法聚类得到，令分别表示第j个标准尺寸框相对于整张输入图片的宽度和高度；每个标准尺寸框的中心即为该标准尺寸框所在图片位置区域的中心；每个标准尺寸框对应一个预测候选框；其中，表示第l张图片第i个位置区域第j个预测候选框中存在火焰的概率，取值范围为0～1；表示第l张图片第i个位置区域第j个预测候选框中心相对于对应标准尺寸框中心的坐标偏移量，取值范围为0～1，(Δwij，Δhij)表示第l张图片第i个位置区域第j个预测候选框的宽度和高度相对于对应标准尺寸框的宽度和高度偏移量，取值范围为0～1；4-3-2)将步骤4-3-1)输入图片的s×s×k个标准尺寸框划分为正负样本；设每张图片中真实标注框为G，该图片任意标准尺寸框为T，则T与G的交并比IoU计算表达式如下：其中，area表示区域；设定正负样本的阈值η，0.5≤η≤0.7，并对每张图片对应的s×s×k个标准尺寸框进行判定：若IoU≥η，则标准尺寸框中存在火焰，是正样本；若IoU＜η，则标准尺寸框中不存在火焰，是负样本；4-3-3)根据损失函数计算模型输出信息与真实标注信息之间的误差；根据步骤4-3-1)得到的模型输出第l张图片对应的s×s×k个预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量，计算该图片预测信息与对应的真实标注信息之间的误差；第l张图片损失函数定义如下：其中，表示第l张图片第i个位置区域第j个预测候选框对应的真实类别，若该预测候选框对应的标准尺寸框为正样本，则取值为1；若该预测候选框对应的标准尺寸框为负样本，则取值为0；表示第l张图片真实标注框中心相对于第i个位置区域第j个标准尺寸框中心的坐标偏移量，表示第l张图片真实标注框的宽度和高度分别相对于第i个位置区域第j个标准尺寸框的宽度和高度的偏移量；第l张图片真实标注框的相对偏移量计算表达式分别如下：其中，分别表示第l张图片对应的Fimage中原始图片的宽度和高度；为第l张图片第i个位置区域第j本文档来自技高网...

【技术保护点】
1.一种基于图像目标检测的火焰检测方法，其特征在于，该方法包括以下步骤：1)收集N张带有火焰画面的彩色图片建立火焰图片数据集Fimage，N≥5000；2)对步骤1)建立的火焰图片数据集Fimage中每张图片的火焰区域位置坐标用矩形框进行人工标注，得到火焰区域位置的真实标注框以及真实标注框在每张图片中的4个坐标值为：

【技术特征摘要】
1.一种基于图像目标检测的火焰检测方法，其特征在于，该方法包括以下步骤：1)收集N张带有火焰画面的彩色图片建立火焰图片数据集Fimage，N≥5000；2)对步骤1)建立的火焰图片数据集Fimage中每张图片的火焰区域位置坐标用矩形框进行人工标注，得到火焰区域位置的真实标注框以及真实标注框在每张图片中的4个坐标值为：其中为第l张图片真实标注框左上角顶点的位置坐标，为第l张图片真实标注框右下角顶点的位置坐标；将每张图片真实标注框的信息保存为一个xml文件，所有的火焰图片对应的xml文件构成火焰标注数据集Fannotation；Fimage和Fannotation构成火焰检测数据集F0；3)将步骤2)中得到的火焰检测数据集F0随机划分为训练集Ftrain和测试集Ftest，其中训练集Ftrain所占火焰检测数据集F0的比例为a，0.6≤a≤0.9；4)构建一个深度卷积神经网络模型并对模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：4-1)对训练集和测试集的每张图片进行标准化和归一化处理；对步骤1)建立的训练集和测试集的每张图片进行标准化处理，设标准宽度和高度分别为W和H，400≤W≤800，400≤H≤800，通道数Ch＝3；取标准化处理后任意图片的第t个通道、坐标为(x，y)的像素值为I(t，x，y)，0≤I(t，x，y)≤255，则利用式(1)计算归一化后的像素值I′(t，x，y),0≤I′(t，x，y)≤1：4-2)构建一个深度卷积神经网络模型，该模型包括依次连接的输入层、特征提取部分和输出层；其中，特征提取部分由卷积层和池化层组合而成，包括3～6个池化层，每个池化层之前包括1～5层卷积层，并在每个卷积层后增加批规范层；4-3)对步骤4-2)建立的模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：4-3-1)将经过步骤4-1)标准化和归一化处理完毕的训练集每张图片依次输入步骤4-2)建立的模型；令输入为第l张图片，则深度卷积神经网络中倒数第二层卷积层的输出该图片对应的特征图，特征图大小为s×s个单元，每个单元对应输入图片的不同位置区域，再将倒数第二层卷积层的输出通过最后一层卷积层连接到整个模型的输出层，输出为输入图片s×s个不同位置区域中k，5≤k≤9，个预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量1≤i≤s2，1≤j≤k，其中，i表示第i个位置区域，j表示该位置区域的第j个预测候选框；标准尺寸框相对于整张输入图片的宽度和高度由Fimage全部图片的真实标注框相对于其原始图片的宽度和高度通过k-means法聚类得到，令分别表示第j个标准尺寸框相对于整张输入图片的宽度和高度；每个标准尺寸框的中心即为该标准尺寸框所在图片位置区域的中心；每个标准尺寸框对应一个预测候选框；其中，表示第l张图片第i个位置区域第j个预测候选框中存在火焰的概率，取值范围为0～1；表示第l张图片第i个位置区域第j个预测候选框中心相对于对应标准尺寸框中心的坐标偏移量，取值范围为0～1，(Δwij，Δhij)表示第l张图片第i个位置区域第j个预测候选框的宽度和高度相对于对应标准尺寸框的宽度和高度偏移量，取值范围为0～1；4-3-2)将步骤4-3-1)输入图片的s×s×k个标准尺寸框划分为正负样本；设每张图片中真实标注框为G，该图片任意标准尺寸框为T，则T与G的交并比IoU计算表达式如下：其中，area表示区域；设定正负样本的阈值η，0.5≤η≤0.7，并对每张图片对应的s×s×k个标准尺寸框进行判定：若IoU≥η，则标准尺寸框中存在火焰，是正样本；若IoU＜η，则标准尺寸框中不存在火焰，是负样本；4-3-3)根据损失函数计算模型输出信息与真实标注信息之间的误差；根据步骤4-3-1)得...

【专利技术属性】
技术研发人员：赵劲松，吴昊，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11