【技术实现步骤摘要】
本申请涉及视频处理，且更为具体地，涉及一种超大内存多视频按时间轴同时显示的系统及其方法。
技术介绍
1、超大内存多视频按时间轴同时显示意指在拥有大内存的计算机系统上，能够同时显示多个视频，并呈现在同一个界面上。这种功能可以帮助用户快速比较不同视频的内容或者进行多个视频的同步分析。目前，被广泛应用于视频监控系统。
2、视频监控系统可以有效地监视现场和记录证据，而且还可以借助视频分析技术帮助用户分析事件。目前，视频监控系统多采用将不同方位的摄像机拍摄的实时图像分区同步显示在监视器上，但由于设备和网络的原因，经常会出现视频不同步播放的情况，这会给用户对视频的分析造成困扰。
3、因此，期待一种超大内存多视频按时间轴同时显示的系统及方法。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种超大内存多视频按时间轴同时显示的系统及其方法，其基于机器视觉技术，使用vit模型提取多个视频在时间轴上同一位置的图像帧的语义信息，再分别利用上下文编码器和双向长短期记忆神经网络捕捉图像之间的长距离和中距离依赖关系，并基于此判断所有视频是否同步播放。这样，可以实时并准确地判断视频是否同步播放，并基于判断结果协调多个视频在时间轴上的显示，确保它们进行同步播放。
2、相应地，根据本申请的一个方面，提供了一种超大内存多视频按时间轴同时显示的系统，其包括：
3、图像帧采集模块，用于获取多个视频在时间轴上同一位置的图像帧；
4、图像
5、长距离依赖图像特征提取模块，用于将所述多个图像语义特征向量通过基于转换器的上下文编码器以得到长距离依赖图像特征向量；
6、中距离依赖图像特征提取模块，用于将所述多个图像语义特征向量通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量；
7、融合模块，用于对所述长距离依赖图像特征向量和所述中距离依赖图像特征向量进行参数化特征的几何先验约束性融合以得到分类特征向量；
8、分析结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示所有视频是否同步播放。
9、在上述超大内存多视频按时间轴同时显示的系统中，所述图像语义特征提取模块，包括：分块单元，用于对所述各个图像帧进行图像分块处理以得到图像块的序列；嵌入编码单元，用于使用所述vit模型的嵌入层分别对所述图像块的序列中各个图像块进行嵌入编码以得到图像块嵌入向量的序列；转换编码单元，用于将所述图像块嵌入向量的序列输入所述vit模型的转换器模块以得到所述图像语义特征向量。
10、在上述超大内存多视频按时间轴同时显示的系统中，所述转换编码单元，包括：一维排列子单元，用于将所述图像块嵌入向量的序列进行一维排列以得到图像全局嵌入向量；自注意力子单元，用于计算所述图像全局嵌入向量与所述图像块嵌入向量的序列中各个图像块嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化自注意力子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；注意力计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过分类函数以得到多个概率值；注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述图像块嵌入向量的序列中各个图像块嵌入向量进行加权以得到多个图像特征向量；级联子单元，用于将所述多个图像特征向量进行级联以得到所述图像语义特征向量。
11、在上述超大内存多视频按时间轴同时显示的系统中，所述长距离依赖图像特征提取模块，用于：使用所述上下文编码器的基于转换器的bert模型对所述多个图像语义特征向量中各个图像语义特征向量进行基于时序全局的上下文语义编码以得到所述长距离依赖图像特征向量。
12、在上述超大内存多视频按时间轴同时显示的系统中，所述融合模块，包括：矩阵形式表示单元，用于将所述长距离依赖图像特征向量和所述中距离依赖图像特征向量分别表示为矩阵形式以得到长距离依赖图像特征矩阵和中距离依赖图像特征矩阵，其中，所述长距离依赖图像特征矩阵中每一列向量对应于所述长距离依赖图像特征向量中一个位置的特征值，所述中距离依赖图像特征矩阵中每一列向量对应于所述中距离依赖图像特征向量中一个位置的特征值；奇异值分解单元，用于对所述长距离依赖图像特征矩阵和所述中距离依赖图像特征矩阵进行奇异值分解，用公式表示为：a＝u1∑1v1且b＝u2∑2v2，其中，u1和v1表示第一正交矩阵，σ1为第一对角矩阵，所述第一对角矩阵的对角线上的元素为所述长距离依赖图像特征矩阵的奇异值；u2和v2表示第二正交矩阵，σ2为第二对角矩阵，所述第二对角矩阵的对角线上的元素为所述中距离依赖图像特征矩阵的奇异值；融合矩阵构造单元，用于基于几何先验约束构造融合矩阵以使得所述融合矩阵在以所述第一正交矩阵u1和所述第二正交矩阵u2的基下的投影分别为所述长距离依赖图像特征矩阵和所述中距离依赖图像特征矩阵；主成分分析单元，用于对所述融合矩阵进行主成分分析以得到所述分类特征向量。
13、在上述超大内存多视频按时间轴同时显示的系统中，所述分析结果生成模块，用于：使用所述分类器以如下分类公式对所述分类特征向量进行处理以生成分类结果；
14、其中，所述分类公式为：
15、o＝softmax{(wn,bn):…:(w1,b1)|x}
16、其中，w1到wn为权重矩阵，b1到bn为偏置向量，x为所述分类特征向量，softmax表示归一化指数函数，o表示所述分类结果。
17、根据本申请的另一个方面，提供了一种超大内存多视频按时间轴同时显示的方法，其包括：
18、获取多个视频在时间轴上同一位置的图像帧；
19、将所述多个图像帧通过包含嵌入层的vit模型以得到多个图像语义特征向量；
20、将所述多个图像语义特征向量通过基于转换器的上下文编码器以得到长距离依赖图像特征向量；
21、将所述多个图像语义特征向量通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量；
22、对所述长距离依赖图像特征向量和所述中距离依赖图像特征向量进行参数化特征的几何先验约束性融合以得到分类特征向量；
23、将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示所有视频是否同步播放。
24、在上述超大内存多视频按时间轴同时显示的方法中，将所述多个图像帧通过包含嵌入层的vit模型以得到多个图像语义特征向量，包括：对所述各个图像帧进行图像分块处理以得到图像块的序列；使用所述vit模型的嵌入层分别对所述图像块的序列中各个图像块进行嵌入编码以得到图像块嵌入向量的序列；将所述图像块嵌入向量的序列输入所述vit模型的转换器模块以得到所述图像语义特征向量。<本文档来自技高网...
【技术保护点】
1.一种超大内存多视频按时间轴同时显示的系统，其特征在于，包括：
2.根据权利要求1所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述图像语义特征提取模块，包括：
3.根据权利要求2所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述转换编码单元，包括：
4.根据权利要求3所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述长距离依赖图像特征提取模块，用于：使用所述上下文编码器的基于转换器的Bert模型对所述多个图像语义特征向量中各个图像语义特征向量进行基于时序全局的上下文语义编码以得到所述长距离依赖图像特征向量。
5.根据权利要求4所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述融合模块，包括：
6.根据权利要求5所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述分析结果生成模块，用于：使用所述分类器以如下分类公式对所述分类特征向量进行处理以生成分类结果，其中，所述分类公式为：
7.一种超大内存多视频按时间轴同时显示的方法，其特征在于，包括：
8.
9.根据权利要求8所述的超大内存多视频按时间轴同时显示的方法，其特征在于，将所述图像块嵌入向量的序列输入所述ViT模型的转换器模块以得到所述图像语义特征向量，包括：
10.根据权利要求9所述的超大内存多视频按时间轴同时显示的方法，其特征在于，将所述多个图像语义特征向量通过基于转换器的上下文编码器以得到长距离依赖图像特征向量，包括：使用所述上下文编码器的基于转换器的Bert模型对所述多个图像语义特征向量中各个图像语义特征向量进行基于时序全局的上下文语义编码以得到所述长距离依赖图像特征向量。
...【技术特征摘要】
1.一种超大内存多视频按时间轴同时显示的系统，其特征在于，包括：
2.根据权利要求1所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述图像语义特征提取模块，包括：
3.根据权利要求2所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述转换编码单元，包括：
4.根据权利要求3所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述长距离依赖图像特征提取模块，用于：使用所述上下文编码器的基于转换器的bert模型对所述多个图像语义特征向量中各个图像语义特征向量进行基于时序全局的上下文语义编码以得到所述长距离依赖图像特征向量。
5.根据权利要求4所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述融合模块，包括：
6.根据权利要求5所述的超大内存多视频按时间轴同时显示的系统，其特征在于，所述分析结果生成模块，用于：使用所述分类器以如下分类...
【专利技术属性】
技术研发人员：段江衡，付伟，
申请(专利权)人：湖南云上栏山数据服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。