基于CN和三通道胶囊网络的森林火灾识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于CN和三通道胶囊网络的森林火灾识别方法和装置，识别方法包括以下步骤：构建森林火灾火焰的初始样本集合；获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；创建三通道CapsNet网络模型；通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；应用CN算法构建火焰样本集合描述的主元颜色空间向量。本发明专利技术提高了火灾检测的实时性和有效性。

Forest fire identification method and device based on CN and three channel capsule network

【技术实现步骤摘要】
基于CN和三通道胶囊网络的森林火灾识别方法及装置
本专利技术涉及图像处理
，尤其涉及一种基于CN和三通道胶囊网络的森林火灾识别方法和装置。
技术介绍
森林火灾是一种严重影响生态环境的因素之一。它给森林带来的危害是毁灭性的，给环境带来的危害也是毁灭性的。森林火灾一旦发生，扑灭难度较大。因此，对森林火灾的及时预警显得格外重要。随着科技的进步，对森林火灾的预警取得了长足的进步。森林火灾检测方法有多种，基于图像识别的森林火灾检测算法较多。其中，有多种算法是基于颜色空间的火灾检测与识别算法。基于颜色的火灾识别算法在检测过程中无法摆脱颜色空间固有的缺陷——颜色容易受到光照的影响，最终造成基于颜色空间的火灾检测算法存在较高的误报率。传统的卷积神经网络特征是基于局部信息的，而胶囊网络提取的特征是基于整体的，在数字识别，自然语言的理解中胶囊网络的优越性得到了有效的验证。胶囊网络不但能够提取到识别对象的局部特征，同时能够提取局部特征之间的相对信息，因此，将胶囊网络引入于火灾的识别。火焰的不同位置特征之间存在某种约束关系，基于局部纹理的火灾识别类方法已经初步验证了火焰图像不同分布区域之间存在的约束关系。由于胶囊网络模型自身的应用局限性，如果直接应用CapsNet网络对整帧图像进行检测，则需要将整帧图像分块为不同的区域，然后针对不同的区域块应用预训练的火焰检测CapsNet网络进行检测，检测效率低下，应对实时性要求较高的场合则不能够满足要求。同时传统的CapsNet网络应用在手写数字识别中时，由于手写数字是单通道的灰度图像，因此，CapsNet网络为单通道模型。火灾检测过程中，针对火焰区域的RGB三通道图像，RGB三通道之间存在一定的约束关系，因此，在识别火焰时为了提高识别的精确度，不但要考虑火焰图像局部区域之间的约束关系，同时也需要考虑不同通道之间的约束关系。
技术实现思路
为了克服基于颜色空间对火焰检测过程中受光照变换的影响，造成基于颜色空间描述的火灾检测算法误报率较高的缺陷，传统的卷积神经网络对局部特征之间约束关系相对较弱的描述能力，本专利技术提供一种基于CN和三通道胶囊网络的森林火灾识别方法和装置。第一方面，本专利技术实施例公开了一种基于CN和三通道胶囊网络的森林火灾识别方法，其包括以下步骤：选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本；创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个CapsNet网络和一个总全连接层，所述总连接层用于对三个CapsNet网络的输出进行连接；通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中的每一个CapsNet网络中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，获取所述疑似火焰图像的RGB图像，并将所述疑似火焰图像的RGB图像输入所述火灾识别模型，得到最终的识别结果。作为一种优选实施例，应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量，包括：将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。作为一种优选实施例，将所述目标图像在所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域，包括：将采集到的目标图像转换为RGB的三通道图像，将所述RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。作为一种优选实施例，将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果，包括：将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为则表示所述疑似火焰图像中存在火焰；如果输出结果为则表明所述疑似火焰图像中不存在火焰。作为一种优选实施例，所述森林火灾识别方法还包括对所述识别结果进行判断：如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。第二方面，本专利技术实施例公开了一种基于CN和三通道胶囊网络的森林火灾识别装置，其包括：选择模块，用于选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；获取模块，用于获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本；创建模块，用于创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个CapsNet网络和一个总全连接层，所述总连接层用于对三个CapsNet网络的输出进行连接；训练模块，本文档来自技高网...

【技术保护点】
1.一种基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，其包括以下步骤：/n选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；/n获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本；/n创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个CapsNet网络和一个总全连接层，所述总连接层用于对三个CapsNet网络的输出进行连接；/n通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中的每一个CapsNet网络中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；/n应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；/n采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；/n提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，获取所述疑似火焰图像的RGB图像，并将所述疑似火焰图像的RGB图像输入所述火灾识别模型，得到最终的识别结果。/n...

【技术特征摘要】
1.一种基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，其包括以下步骤：
选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本；
创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个CapsNet网络和一个总全连接层，所述总连接层用于对三个CapsNet网络的输出进行连接；
通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中的每一个CapsNet网络中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；
应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，获取所述疑似火焰图像的RGB图像，并将所述疑似火焰图像的RGB图像输入所述火灾识别模型，得到最终的识别结果。


2.如权利要求1所述的基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量，包括：
将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。


3.如权利要求2所述的基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，将所述目标图像在所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域，包括：
将采集到的目标图像转换为RGB的三通道图像，将所述RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。


4.如权利要求1-3任一项所述的基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果，包括：
将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为则表示所述疑似火焰图像中存在火焰；如果输出结果为则表明所述疑似火焰图像中不存在火焰。


5.如权利要求4所述的基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，所述森林火灾识别方法还包括对所述识别结果进行判断：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标...

【专利技术属性】
技术研发人员：赵运基，周梦林，张楠楠，范存良，孔军伟，刘晓光，张新良，
申请(专利权)人：河南理工大学，
类型：发明
国别省市：河南;41