【技术实现步骤摘要】
本专利技术涉及深度学习领域，具体涉及一种基于动态特征记忆的端到端船载监控视频密集描述方法及系统。
技术介绍
1、在航运行业中，船载监控视频起到了至关重要的作用。船舶作为一种重要的交通工具，承载着货物运输、人员安全和航行监管等重要任务。然而，船舶在航行过程中面临着各种潜在的风险和挑战，如碰撞、火灾、货物损坏等。因此，为了确保船舶的安全和顺利运行，船舶监控系统被广泛应用于船舶上。船载监控视频是船舶监控系统中重要的组成部分之一。通过在船舶上安装摄像头并记录航行过程中的实时视频，船舶管理人员和相关部门能够实时监测船舶的状态、航行情况以及货物运输过程。这些监控视频可以提供重要的证据和数据，帮助船舶管理人员进行船舶运营管理、安全监控和事故调查等工作。然而，船载监控视频也面临着一些挑战和问题。其中之一是视频的抖动和模糊现象，这可能由船舶震动、摄像头位置和固定、环境因素以及摄像头本身的性能等多个因素造成。这些问题会降低视频的可视质量，依靠传统人工观看监控视频的方法，对后续的视频理解、分析和处理产生不利影响，同时也给迅速检索视频带来困难。
2、到目前为止，主要的解决方法是获取视频中的图像，通过对图像运行相关的目标识别算法，以一种静态的方式来对视频中的事物进行识别，在绝大多数情况下可以使用计算机视觉和机器学习等技术来识别到图像中的特定事物。目标识别算法通过提取目标的特征表示，并将其与预定义的类别进行匹配，从而确定目标的类别或标签。常见的目标识别算法包括基于特征描述子的方法，如尺度不变特征变换(scale invariant featur
3、在现如今的船载监控视频中，人们更希望得到的是视频中记录到的事件，如船舶发生碰撞、触礁等事故的过程，火灾和爆炸的起火点、火势蔓延和扑灭过程，船舶装载和货物被异常堆放的过程等等事件，所以仅仅依靠简单的目标识别的方法不能解决这个方式，它不能帮助人们在监控视频存在抖动、模糊等情况下自动化记录下完整事件，识别到的目标最终还是要依靠人们将其联系起来并仔细分析其中的事件情况。
技术实现思路
1、本专利技术是为了解决上述问题而进行的，目的在于提供一种基于动态特征记忆的端到端船载监控视频密集描述方法及系统。
2、本专利技术提供了一种基于动态特征记忆的端到端船载监控视频密集描述方法，具有这样的特征，包括以下步骤：步骤1，使用预训练的特征提取网络从监控视频中提取特征，并利用卷积处理得到多尺度特征；步骤2，将多尺度特征加上位置编码，并输入到编码网络中进行编码，输出得到编码后的多尺度特征；步骤3，将编码后的多尺度特征输入到动态特征记忆网络中，对动态特征记忆网络中的记忆存储器进行更新，得到更详细的特征；步骤4，将n个可学习嵌入与更详细的特征共同输入解码网络，将n个可学习嵌入转换成一个特征输出；步骤5，将特征输出输入到三个并行的预测模块，根据三个并行的预测模块分别预测事件提议、描述和事件个数，其中，三个并行的预测模块为定位模块、描述模块以及事件计数模块。
3、在本专利技术提供的基于动态特征记忆的端到端船载监控视频密集描述方法中，还可以具有这样的特征：其中，步骤1具体包括以下步骤：步骤1-1，将监控视频分成不重叠的片段，每个片段有64个帧；步骤1-2，将片段分别在预训练的c3d、tsn、i3d特征提取网络提取视频特征，获取片段级的视频特征序列；步骤1-3，将片段级的视频特征序列通过插值算法将特征图的时间维度缩放到固定长度f，得到新的片段级的视频特征序列；步骤1-4，将新的片段级的视频特征序列经过l个卷积层，获得从f到f/2l的多个分辨率的多尺度特征序列。
4、在本专利技术提供的基于动态特征记忆的端到端船载监控视频密集描述方法中，还可以具有这样的特征：其中，步骤2具体包括以下步骤：步骤2-1，将空间位置编码和多尺度特征经过多尺度可变形自注意力层处理，得到多尺度特征图对应的注意力特征向量；步骤2-2，将注意力特征向量进行残差连接和归一化操作，得到归一化后的特征向量；步骤2-3，将归一化后的特征向量输入到前馈网络中进行加权处理，得到与输入向量维度相同的特征向量；步骤2-4，将与输入向量维度相同的特征向量进行残差和归一化处理，得到表示多尺度视频片段特征之间关系的特征向量。
5、在本专利技术提供的基于动态特征记忆的端到端船载监控视频密集描述方法中，还可以具有这样的特征：其中，步骤3具体包括以下步骤：步骤3-1，将编码后的多尺度特征输入到动态特征记忆网络中；步骤3-2，动态特征记忆网络根据新输入的特征对记忆存储器进行更新。
6、在本专利技术提供的基于动态特征记忆的端到端船载监控视频密集描述方法中，还可以具有这样的特征：其中，步骤3-2中，动态特征记忆网络中通过两个机制的操作对记忆存储器进行更新，两个机制的操作为特征记忆添加机制的“添加”操作和过度访问衰减机制的“删除”操作。
7、在本专利技术提供的基于动态特征记忆的端到端船载监控视频密集描述方法中，还可以具有这样的特征：其中，步骤4具体包括以下步骤：步骤4-1，可学习嵌入设为100个向量，采用“0+位置编码”的方式随机初始化，得到初始化后的可学习嵌入向量；步骤4-2，将初始化后的可学习嵌入向量通过自注意力层，对可学习嵌入的位置和范围进行优化，使每个可学习嵌入的范围尽量不重复，得到优化后的可学习嵌入；步骤4-3，将优化后的可学习嵌入与动态特征记忆网络的更详细的特征共同输入到多尺度可变形交叉注意力层中，经过残差归一化和前馈网络层处理后，分别得到注意力权重及隐藏状态，将n个可学习嵌入被转换成一个特征输出；步骤4-4，将注意力权重以及隐藏状态反馈到动态特征记忆网络中进行训练，获得学到更多事件逻辑结构的特征。
8、在本专利技术提供的基于动态特征记忆的端到端船载监控视频密集描述方法中，还可以具有这样的特征：其中，步骤5中，将n个可学习嵌入转换成的特征输出输入到定位模块、描述模块和事件计数模块，其中，在定位模块中，利用多层感知机为每个可学习嵌入做边界框预测和二分类操作，在描述模块中，首先通过可学习嵌入获得参考点，作为事件中心点的参考位置，然后在中心点周围继续采样，将采样限制在一个区域内，保证生成单词的序列都在描述同一个事件，接着继续预测在采样点上的注意力权重，进而辅助长短期记忆网络生成描述，在事件计数模块中，首先将可学习嵌入的最显著信息压缩成一个全局特征向量，然后预测一个固定大小的向量r，其中每个值表示一个特定数字的可能性。
9、在本专利技术提供的基于动态特征记忆的端到端船载监控视频密集描述方法中，还可以具有这样的特征：其中，边界框预测旨在预测事件实际片段相对于参考点的相对本文档来自技高网...
【技术保护点】
1.一种基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
3.根据权利要求1所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
4.根据权利要求1所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
5.根据权利要求4所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
6.根据权利要求1所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
7.根据权利要求1所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
8.根据权利要求7所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
9.根据权利要求7所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
10.一种基于动态特征记忆的端到端船载监控视频密集描述系统，其特征在于，包括：
【技术特征摘要】
1.一种基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
3.根据权利要求1所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
4.根据权利要求1所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
5.根据权利要求4所述的基于动态特征记忆的端到端船载监控视频密集描述方法，其特征在于：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。