消防水炮射流轨迹的提取方法、落点定位方法及系统技术方案

本发明专利技术属于人工智能技术领域，具体涉及一种消防水炮射流轨迹的提取方法、落点定位方法及系统。该方案在SwinTransformer基础上，引入可形变注意力模块和空间卷积神经网络模块，并最终设计出能够更精确地捕捉水炮射流轨迹的图像分割网络。在此基础上，本发明专利技术通过双目相机采集水炮射流末端的实况图像，利用图像分割网络从实况图像中的单目图像中提取出射流轨迹的分割结果，并利用基于IGEV++模型的立体匹配深度估计方案从双目的立体图像中估算出像素的深度信息，最后从分割图像中识别出射流轨迹落点的像素点，进而结合像素位置及其深度信息实现对水炮射流落点进行定位。本发明专利技术方案解决了现有方案中消防水炮的轨迹和落点的预测精度不足，易受到环境干扰等问题。

【技术实现步骤摘要】

本专利技术属于人工智能，具体涉及一种消防水炮射流轨迹的提取方法、基于图像的消防水炮射流落点的定位方法、消防水炮射流落点定位模块，以及自动化的消防水炮系统。

技术介绍

1、在一些受限的消防救援场景中，需要基于现场回传的图像实现对火情以及消防水炮的落点进行评估，然而，目前能够实现对消防水炮轨迹的落点进行预测的方案较少，现有方案大多采用射流轨迹计算和图像处理的方法来解决这一问题。例如，高广珠等就利用水柱中心线和水柱边缘灰度值不同的特点，使用hough变换提取水柱中心线，并计算不同角度下水柱中心线的交点得到水柱落点。陈静使用传统的图像处理分割方法分割水炮射流图像。在此基础上，对水炮射流轨迹曲线计算分析拟合，得到轨迹落点。王冬月等也是先通过传统图像处理方法提取水炮射流轨迹的边缘梯度特征，再对其进一步分析处理得到轨迹落点。周俊杰等用一个轻量级的深度学习语义分割网络对水炮射流分割。根据轮廓梯度和射流射击方位等先验知识得到概率最大的射流落点。田红提出混合空洞卷积的mobilenetv2模型对射流轨迹进行分割，接着使用曲线拟合等方法得到射流轨迹落点。p>

2、以上提本文档来自技高网...

【技术保护点】

1.一种消防水炮射流轨迹的提取方法，其特征在于，其包括：

2.如权利要求1所述的消防水炮射流轨迹的提取方法，其特征在于：在所述骨干网络中，第一个特征提取层的输入为RGB图片，其余特征提取层的输入为上一层中最后一个SwinWater Block的输出；第一个特征提取层中的线性嵌入层将输入图像切成小块并嵌入到Embedding中；与输入特征相比所述骨干网络中的各特征提取层的输出特征的高度和宽度减半，通道数翻倍。

3.如权利要求1所述的消防水炮射流轨迹的提取方法，其特征在于：在两个交替的所述SwinTransformer模块中，依次包括依次连接的LN层、W-MSA模块、...

【技术特征摘要】

1.一种消防水炮射流轨迹的提取方法，其特征在于，其包括：

2.如权利要求1所述的消防水炮射流轨迹的提取方法，其特征在于：在所述骨干网络中，第一个特征提取层的输入为rgb图片，其余特征提取层的输入为上一层中最后一个swinwater block的输出；第一个特征提取层中的线性嵌入层将输入图像切成小块并嵌入到embedding中；与输入特征相比所述骨干网络中的各特征提取层的输出特征的高度和宽度减半，通道数翻倍。

3.如权利要求1所述的消防水炮射流轨迹的提取方法，其特征在于：在两个交替的所述swintransformer模块中，依次包括依次连接的ln层、w-msa模块、ln层、mlp模块、ln层、sw-msa模块、ln层、mlp模块；其中，w-msa模块、sw-msa模块和两个mlp模块的输出分别与其相邻的前一个ln层的输入进行残差连接。

4.如权利要求3所述的消防水炮射流轨迹的提取方法，其特征在于：两个交替的swintransformer模块的数据处理过程如下：

5.如权利要求1所述的消防水炮射流轨迹的提取方法，其特征在于：所述mask2former网络中包括一个与骨干网络相对应的四层的pixel解码器以及一个三层的transformer解码器；pixel解码器的前三层与transformer解码器的对应层跳跃连接；transfo...

【专利技术属性】
技术研发人员：张启兴，鹿子健，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：