车载矿用视频监测的动态图谱模态语义分割方法及系统技术方案

技术编号:44655344 阅读:20 留言:0更新日期:2025-03-17 18:47
本申请涉及计算机视觉领域,提供了一种车载矿用视频监测的动态图谱模态语义分割方法及系统。本发明专利技术通过车载摄像头捕获矿区视频,利用预训练的第一卷积神经网络深度提取视频帧特征并融合多层特征以增强表示能力,而后构建时间维度动态图谱和空间维度动态图谱,融合后形成动态图谱模态,并引入注意力机制,依据特征向量相似度分配权重,聚焦关键区域间的相关性。利用全局平均池化层提取上下文信息,与加权后的原始特征图结合融合全局与动态图谱信息。此外,还结合局部上下文信息以增强特征理解。基于全面融合的特征图输出精确的语义分割结果,为每个像素分配代表其所属物体或背景类别的标签,实现了对矿区视频信息的深度理解与高效解析。

【技术实现步骤摘要】

本申请涉及计算机视觉领域,具体而言,涉及车载矿用视频监测的动态图谱模态语义分割方法及系统


技术介绍

1、本部分的内容仅提供了与本申请相关的背景信息,其可能并不构成现有技术。

2、在矿产资源的开采过程中,对矿区的实时监测是确保安全生产和提高开采效率的关键环节。传统上,矿区的监测依赖于人工巡检,这种方式不仅耗时费力,而且难以实现对矿区的全面、实时覆盖。随着计算机视觉和深度学习技术的快速发展,车载视频监测系统逐渐成为矿区监测的重要手段。然而,现有的车载视频监测方法在处理复杂的矿区环境时仍面临诸多挑战。

3、首先,矿区环境复杂多变,包括不同光照条件、遮挡物以及多变的地形地貌,这些都对视频的清晰度和准确性提出了很高的要求。其次,矿区中的物体种类繁多,如矿石堆、设备、人员等,这些物体的形态、大小和颜色各异,使得传统的图像处理方法难以准确地进行识别和分类。此外,矿区的监测视频往往数据量庞大,如何高效地处理和分析这些数据,提取有用的信息,是另一个亟待解决的问题。

4、为了解决上述问题,现有技术中,研究人员开始探索利用深度学习技术进行矿本文档来自技高网...

【技术保护点】

1.一种车载矿用视频监测的动态图谱模态语义分割方法,其特征在于,包括:

2.根据权利要求1所述的一种车载矿用视频监测的动态图谱模态语义分割方法,其特征在于,所述利用预训练的第一卷积神经网络模型对视频帧进行特征提取,并将不同卷积层的特征进行融合的步骤,具体包括:

3.根据权利要求1所述的一种车载矿用视频监测的动态图谱模态语义分割方法,其特征在于,所述将时间维度和空间维度的动态图谱进行融合,形成动态图谱模态,具体包括:

4.根据权利要求1所述的一种车载矿用视频监测的动态图谱模态语义分割方法,其特征在于,所述计算每个区域特征向量与其他区域特征向量的相似度,基...

【技术特征摘要】

1.一种车载矿用视频监测的动态图谱模态语义分割方法,其特征在于,包括:

2.根据权利要求1所述的一种车载矿用视频监测的动态图谱模态语义分割方法,其特征在于,所述利用预训练的第一卷积神经网络模型对视频帧进行特征提取,并将不同卷积层的特征进行融合的步骤,具体包括:

3.根据权利要求1所述的一种车载矿用视频监测的动态图谱模态语义分割方法,其特征在于,所述将时间维度和空间维度的动态图谱进行融合,形成动态图谱模态,具体包括:

4.根据权利要求1所述的一种车载矿用视频监测的动态图谱模态语义分割方法,其特征在于,所述计算每个区域特征向量与其他区域特征向量的相似度,基于相似度分配注意力权重的步骤,具体包括:

5.根据权利要求1所述的一种车载矿用视频监测的动态图谱模态语义分割方法,其特征在于,所述输...

【专利技术属性】
技术研发人员:焦敏彭斌王进罗茂耘赵光绪武玉梁
申请(专利权)人:成都科瑞特电气自动化有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1