切割帧确定方法、网络训练方法、装置、设备及存储介质制造方法及图纸

本公开提供一种切割帧确定方法、网络训练方法、装置、设备及存储介质，涉及云计算领域，包括将待处理的视频划分为多个视频单元；将视频单元的首帧画面和尾帧画面输入预设的分类网络，并通过分类网络确定首帧画面和尾帧画面的相似度；在相似度满足预设条件的目标视频单元中，确定切割帧画面。本公开提供的方案中，通过将视频切分为视频单元的方式，能够过滤掉一部分不存在切割帧画面的视频单元，从而仅对包括切割帧画面的视频单元进行进一步的处理，能够降低数据处理量。此外，本公开提供的方案利用预设分类网络确定画面帧之间的相似度，非现有技术中仅利用低层次特征识别画面帧之间的相似度，从而能够更好的理解画面内容，降低漏检情况的发生。

【技术实现步骤摘要】
切割帧确定方法、网络训练方法、装置、设备及存储介质
本公开涉及人工智能技术，尤其涉及云计算领域。
技术介绍
视频序列的镜头分割，亦称镜头变化检测，是视频数据库技术中的关键技术之一。视频镜头边界检测技术就是将完整的视频按镜头边界划分为一系列的镜头片段。现有的关于视频的分割方法，首先通过提取视频帧的特征，比如颜色、纹理、形状、运动等，通过对视频帧之间的相似度关系进行判断，从而找到视频的镜头边界。但是，在确定相似度时，需要对视频帧进行两两比对，造成处理速度较慢的问题。
技术实现思路
本公开提供一种切割帧确定方法、网络训练方法、装置、设备及存储介质。本公开第一个方面提供了一种在视频中的切割帧画面确定方法，包括：将待处理的视频划分为多个视频单元；将所述视频单元的首帧画面和尾帧画面输入预设的分类网络，并通过所述分类网络确定所述首帧画面和所述尾帧画面的相似度；在相似度满足预设条件的目标视频单元中，确定切割帧画面。在一种可选的实施例中，所述通过所述分类网络确定所述首帧画面和所述尾帧画面的相似度，包括：本文档来自技高网...

【技术保护点】
1.一种在视频中的切割帧画面确定方法，其特征在于，包括：/n将待处理的视频划分为多个视频单元；/n将所述视频单元的首帧画面和尾帧画面输入预设的分类网络，并通过所述分类网络确定所述首帧画面和所述尾帧画面的相似度；/n在相似度满足预设条件的目标视频单元中，确定切割帧画面。/n

【技术特征摘要】
1.一种在视频中的切割帧画面确定方法，其特征在于，包括：
将待处理的视频划分为多个视频单元；
将所述视频单元的首帧画面和尾帧画面输入预设的分类网络，并通过所述分类网络确定所述首帧画面和所述尾帧画面的相似度；
在相似度满足预设条件的目标视频单元中，确定切割帧画面。


2.根据权利要求1所述的方法，其特征在于，所述通过所述分类网络确定所述首帧画面和所述尾帧画面的相似度，包括：
通过所述分类网络中全连接层之前的部分提取所述首帧画面的第一特征、所述尾帧画面的第二特征；
根据所述第一特征、所述第二特征确定所述首帧画面和所述尾帧画面的相似度。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征、所述第二特征确定所述首帧画面和所述尾帧画面的相似度，包括：
将所述第一特征与所述第二特征的欧式距离确定为所述首帧画面和所述尾帧画面的相似度。


4.根据权利要求1所述的方法，其特征在于，所述在相似度满足预设条件的目标视频单元中，确定切割帧画面，包括：
根据所述相似度确定首帧画面与尾帧画面不相似的所述目标视频单元；
在所述目标视频单元中确定所述切割帧画面。


5.根据权利要求4所述的方法，其特征在于，所述根据所述相似度确定首帧画面与尾帧画面不相似的目标视频单元，包括：
将所述相似度大于预设阈值的视频单元确定为所述目标视频单元。


6.根据权利要求1-5任一项所述的方法，其特征在于，确定所述切割帧画面，包括：
将所述目标视频单元中相邻的两帧画面输入所述分类网络，通过所述分类网络确定所述相邻的两帧画面的相似度；
根据所述相邻的两帧画面的相似度，在所述目标视频单元中确定切割帧画面。


7.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
根据预设视频中标注的切割帧画面对所述预设视频进行切割，得到多个视频片段；
根据所述视频片段中的内容对所述视频片段进行分类；
对所述视频片段进行拆分得到多个帧画面，并利用所述帧画面及其所属的所述视频片段的类别对预先搭建的网络进行训练，得到所述分类网络。


8.一种分类网络的训练方法，其特征在于，包括：
根据预设视频中标注的切割帧画面对所述预设视频进行切割，得到多个视频片段；
根据所述视频片段中的内容对所述视频片段进行分类；
对所述视频片段进行拆分得到多个帧画面，并利用所述帧画面及其所属的所述视频片段的类别对预先搭建的网络进行训练，得到分类网络。


9.根据权利要求8所述的方法，其特征在于，所述根据所述视频片段中的内容对所述视频片段进行分类，包括：
将下述视频内容相同的所述视频片段分为一类：
主体、场景、活动。


10.根据权利要求8所述的方法，其特征在于，所述利用所述帧画面及其所属的所述视频片段的类别对预先搭建的网络进行训练，包括：
利用所述帧画面及其所属的所述视频片段的类别训练Resnet网络。


11.根据权利要求10所述的方法，其特征在于，训练过程中使用tripletloss作为损失函数。


12.根据权利要求8-10任一项所述的方法，其特征在于，还包括：
将待处理的视频划分为多个视频单元；
将所述视频单元的首帧画面和尾帧画面输入训练完成的所述分类网络，并通过所述分类网络确定所述首帧画面和所述尾帧画面的相似度；
在相似度满足预设条件的目标视频单元中，确定切割帧画面。


13.一种在视频中的切割帧画面确定装置，其特征在于，包括：
切割模块，用于将待处理的视频划分为多个视频单元；
相似度确定模块，用于将所述视频单元的首帧画面和尾帧画面输入预设的分类网络，并通过所述分类网络确定所述首帧画面...

【专利技术属性】
技术研发人员：张沁怡，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11