【技术实现步骤摘要】
本申请涉及智能检测领域，且更为具体地，涉及一种多机位视频数据对时剪辑处理系统及方法。
技术介绍
1、多机位视频数据对时剪辑包括以下步骤：首先从多个摄像机中获取多机位的视频数据；接着将不同摄像机的视频数据进行时间同步，以确保多机位视频的时间一致性；然后对多机位视频进行编辑处理，包括视频裁剪、拼接、剪辑等；紧接着，可以对多机位视频进行增加视频特效，如过渡效果、滤镜、调色等；最后将编辑完成的视频数据输出，以供后续处理使用。对剪辑完成后的视频进行检查是非常重要的一个步骤，是为了确保剪辑的质量，通常由专业编辑人员进行目视检查，观察视频编辑是否平滑，过渡是否自然等，这种方法比较耗时且主观性较强，存在主观偏差和疏漏。
2、因此，需要一种优化的多机位视频数据对时剪辑处理方案。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种多机位视频数据对时剪辑处理系统及方法，其采用基于深度学习的人工智能检测技术，通过对剪辑完成后的视频进行特征提取从而来判断剪辑视频的平滑性。这样，改善了对剪辑视频的检查过程，实现了自动化剪辑视频效果的分析，降低人工检查主观性的同时还提高了检测的效率。
2、根据本申请的一个方面，提供了一种多机位视频数据对时剪辑处理系统，其包括：
3、视频数据获取模块，用于获取剪辑完成后的视频；
4、采样模块，用于对所述剪辑完成后的视频进行关键帧提取以得到多个剪辑视频关键帧；
5、剪辑视频特征提取模块，用于将所
6、剪辑视频变化特征提取模块，用于将所述多个剪辑视频特征矩阵聚合为三维输入张量后通过使用三维卷积核的第二卷积神经网络模型以得到剪辑视频变化特征张量；
7、优化模块，用于对所述剪辑视频变化特征张量进行基于秩序性的先验化以得到优化剪辑视频变化特征张量；
8、剪辑效果判断模块，用于将所述优化剪辑视频变化特征张量输入到分类器以获得分类结果，所述分类结果用于表示多机位视频对时剪辑处理的是否平滑。
9、在上述多机位视频数据对时剪辑处理系统中，所述采样模块，用于：以预定采样频率从所述剪辑完成后的视频提取以得到所述多个剪辑视频关键帧。
10、在上述多机位视频数据对时剪辑处理系统中，所述剪辑视频特征提取模块，用于：使用所述第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：基于卷积核对所述输入数据进行卷积处理以得到卷积特征图；将所述卷积特征图通过空间注意力模块以得到所述空间注意力得分矩阵；将所述空间注意力得分矩阵与所述差分特征图沿通道维度的各个特征矩阵进行按位置点乘以所述空间注意力特征图；对所述空间注意力特征图进行沿通道维度的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的第一层的输入为所述多个剪辑视频关键帧，所述第一卷积神经网络模型的最后一层的输出为所述多个剪辑视频特征矩阵。
11、在上述多机位视频数据对时剪辑处理系统中，所述剪辑视频变化特征提取模块，用于：所述使用三维卷积核的第二卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行：对所述输入数据进行基于三维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部矩阵的均值池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述剪辑视频变化特征张量，所述第二卷积神经网络模型的第一层的输入为所述三维输入张量。
12、在上述多机位视频数据对时剪辑处理系统中，所述优化模块，包括：秩序轴线单元，用于沿着通道维度对所述剪辑视频变化张量进行全局均值池化以得到秩序轴线特征向量；特征展平单元，用于将所述剪辑视频变化张量的沿通道维度的各个特征矩阵进行特征展平化以得到多个剪辑视频变化局部特征向量；关联编码单元，用于分别将所述多个剪辑视频变化局部特征向量和所述秩序轴线特征向量进行关联编码以得到多个秩序性关联矩阵；秩序性量化单元，用于将所述多个秩序性关联矩阵通过softmax函数以得到多个秩序性量化概率值；归一化处理单元，用于对所述多个秩序性量化概率值进行归一化处理以得到多个秩序性先验权重值；加权单元，用于以所述多个秩序性先验权重值作为权重，并分别对所述剪辑视频变化张量的沿通道维度的各个特征矩阵进行加权以得到所述优化剪辑视频变化张量。
13、在上述多机位视频数据对时剪辑处理系统中，所述剪辑效果判断模块，用于：使用所述分类器以如下分类公式对所述优化剪辑视频变化特征张量进行处理以生成所述分类结果；其中，所述分类公式为：
14、o＝softmax{(wn,bn):…:(w1,b1)|project(f)}
15、其中o为所述分类结果，project(f)表示将所述优化剪辑视频变化特征张量投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置向量，softmax为归一化指数函数。
16、根据本申请的另一方面，提供了一种多机位视频数据对时剪辑处理方法，其包括：
17、获取剪辑完成后的视频；
18、对所述剪辑完成后的视频进行关键帧提取以得到多个剪辑视频关键帧；
19、将所述多个剪辑视频关键帧的各个关键帧通过使用空间注意力机制的第一卷积神经网络模型以得到多个剪辑视频特征矩阵；
20、将所述多个剪辑视频特征矩阵聚合为三维输入张量后通过使用三维卷积核的第二卷积神经网络模型以得到剪辑视频变化特征张量；
21、对所述剪辑视频变化特征张量进行基于秩序性的先验化以得到优化剪辑视频变化特征张量；
22、将所述优化剪辑视频变化特征张量输入到分类器以获得分类结果，所述分类结果用于表示多机位视频对时剪辑处理的是否平滑。
23、根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的多机位视频数据对时剪辑处理方法。
24、根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的多机位视频数据对时剪辑处理方法。
25、与现有技术相比，本申请提供的多机位视频数据对时剪辑处理系统及方法，其采用基于深度学习的人工智能检测技术，通过对剪辑完成后的视频进行特征提取从而来判断剪辑视频的平滑性。这样，改善了对剪辑视频的检查过程，实现了自动化剪辑视频效果的分析，降低人工检查主观性的同时还提高了检测的效率。
本文档来自技高网...【技术保护点】
1.一种多机位视频数据对时剪辑处理系统，其特征在于，包括：
2.根据权利要求1所述的多机位视频数据对时剪辑处理系统，其特征在于，所述采样模块，用于：以预定采样频率从所述剪辑完成后的视频提取以得到所述多个剪辑视频关键帧。
3.根据权利要求2所述的多机位视频数据对时剪辑处理系统，其特征在于，所述剪辑视频特征提取模块，用于：
4.根据权利要求3所述的多机位视频数据对时剪辑处理系统，其特征在于，所述剪辑视频变化特征提取模块，用于：
5.根据权利要求4所述的多机位视频数据对时剪辑处理系统，其特征在于，所述优化模块，包括：
6.根据权利要求5所述的多机位视频数据对时剪辑处理系统，其特征在于，所述剪辑效果判断模块，用于：使用所述分类器以如下分类公式对所述优化剪辑视频变化特征张量进行处理以生成所述分类结果；
7.一种多机位视频数据对时剪辑处理方法，其特征在于，包括：
8.根据权利要求7所述的多机位视频数据对时剪辑处理方法，其特征在于，对所述剪辑完成后的视频进行关键帧提取以得到多个剪辑视频关键帧，包括：以预定采样频
9.根据权利要求8所述的多机位视频数据对时剪辑处理方法，其特征在于，将所述多个剪辑视频关键帧的各个关键帧通过使用空间注意力机制的第一卷积神经网络模型以得到多个剪辑视频特征矩阵，包括：
10.根据权利要求9所述的多机位视频数据对时剪辑处理方法，其特征在于，将所述优化剪辑视频变化特征张量输入到分类器以获得分类结果，所述分类结果用于表示多机位视频对时剪辑处理的是否平滑,包括：使用所述分类器以如下分类公式对所述优化剪辑视频变化特征张量进行处理以生成所述分类结果；
...【技术特征摘要】
1.一种多机位视频数据对时剪辑处理系统，其特征在于，包括：
2.根据权利要求1所述的多机位视频数据对时剪辑处理系统，其特征在于，所述采样模块，用于：以预定采样频率从所述剪辑完成后的视频提取以得到所述多个剪辑视频关键帧。
3.根据权利要求2所述的多机位视频数据对时剪辑处理系统，其特征在于，所述剪辑视频特征提取模块，用于：
4.根据权利要求3所述的多机位视频数据对时剪辑处理系统，其特征在于，所述剪辑视频变化特征提取模块，用于：
5.根据权利要求4所述的多机位视频数据对时剪辑处理系统，其特征在于，所述优化模块，包括：
6.根据权利要求5所述的多机位视频数据对时剪辑处理系统，其特征在于，所述剪辑效果判断模块，用于：使用所述分类器以如下分类公式对所述优化剪辑视频变化特征张量进行处理以生成所述分类结果；
...【专利技术属性】
技术研发人员：段江衡，付伟，
申请(专利权)人：湖南云上栏山数据服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。