一种视频情节分段方法及系统技术方案

本发明专利技术提供了一种视频情节分段方法及系统，对待分段视频进行镜头分段，得到多个待处理镜头；提取每个待处理镜头的特征数据；从多个待处理镜头中确定起始镜头；基于镜头表征特征，确定与起始镜头相同的待处理镜头并将其作为第一镜头，利用起始镜头、第一镜头、及起始镜头至第一镜头之间的待处理镜头，构建初始视频情节分段；基于人脸表征特征、人体表征特征、场景表征特征和音频表征特征，从不属于初始视频情节分段的待处理镜头中，确定满足预设条件的待处理镜头，并将所有满足预设条件的待处理镜头添加至初始视频情节分段中，得到起始镜头对应的最终视频情节分段。不需要以人工分段的方式对待分段视频进行情节分段，提高情节分段的效率和准确率。效率和准确率。效率和准确率。

【技术实现步骤摘要】
一种视频情节分段方法及系统


[0001]本专利技术涉及视频处理
，具体涉及一种视频情节分段方法及系统。

技术介绍

[0002]在诸如电影和电视剧等视频的制作中，通常采用镜头和情节将故事线分成易于理解的部分，为在不影响视频的观看体验的基础上开展业务(如寻找广告插入点)，需对视频进行情节分段。
[0003]目前对视频进行情节分段的方式为：业务人员观看完整的视频，并采用人工判断的方式对视频进行情节分段。但是，一方面由于视频的数量较多，业务人员需要花费大量的时间观看视频，情节分段的效率较低，另一方面，人工进行情节分段容易出现纰漏，情节分段的准确率较低。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种视频情节分段方法及系统，以解决现有情节分段方式存在的效率较低和准确率较低等问题。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]本专利技术实施例第一方面公开一种视频情节分段方法，所述方法包括：
[0007]对待分段视频进行镜头分段，得到多个待处理镜头；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频情节分段方法，其特征在于，所述方法包括：对待分段视频进行镜头分段，得到多个待处理镜头；提取每个所述待处理镜头的镜头表征特征、人脸表征特征、人体表征特征、场景表征特征和音频表征特征；从多个所述待处理镜头中确定起始镜头；基于所述镜头表征特征，确定与所述起始镜头相同的所述待处理镜头并将其作为第一镜头，利用所述起始镜头、所述第一镜头、及所述起始镜头至所述第一镜头之间的所述待处理镜头，构建初始视频情节分段；基于所述人脸表征特征、所述人体表征特征、所述场景表征特征和所述音频表征特征，从不属于所述初始视频情节分段的所述待处理镜头中，确定满足预设条件的所述待处理镜头，并将所有满足所述预设条件的所述待处理镜头添加至所述初始视频情节分段中，得到所述起始镜头对应的最终视频情节分段。2.根据权利要求1所述的方法，其特征在于，所述提取每个所述待处理镜头的镜头表征特征、人脸表征特征、人体表征特征、场景表征特征和音频表征特征，包括：抽取每个所述待处理镜头的指定帧位的图像，所述指定帧位的图像包含：起始帧图像、中间帧图像和终止帧图像；针对每个待处理镜头，对所述待处理镜头的所述指定帧位的图像进行人脸数量的检测，确定人脸数量最少的所述指定帧位的图像为第一图像，以及确定人脸数量最多的所述指定帧位的图像为第二图像；针对每个待处理镜头，利用预先训练得到的人脸检测模型从所述待处理镜头的第二图像中提取人脸表征特征，及利用预先训练得到的人体检测模型从所述待处理镜头的第二图像中提取人体表征特征，及利用预先训练得到的场景识别模型从所述待处理镜头的第一图像中提取场景表征特征，及利用预先训练得到的镜头特征提取模型从所述待处理镜头的中间帧图像中提取镜头表征特征，及利用预先训练得到的音频特征提取模型从所述待处理镜头中提取音频表征特征；其中，所述人脸检测模型、所述人体检测模型、所述场景识别模型、所述镜头特征提取模型和所述音频特征提取模型分别为基于对应的样本数据训练神经网络模型得到。3.根据权利要求1所述的方法，其特征在于，所述基于所述镜头表征特征，确定与所述起始镜头相同的所述待处理镜头并将其作为第一镜头，利用所述起始镜头、所述第一镜头、及所述起始镜头至所述第一镜头之间的所述待处理镜头，构建初始视频情节分段，包括：基于所述镜头表征特征，从与所述起始镜头左相邻的N个所述待处理镜头以及与所述起始镜头右相邻的N个所述待处理镜头中，确定与所述起始镜头相同的第一镜头；利用所述起始镜头、所述第一镜头、及所述起始镜头至所述第一镜头之间的所述待处理镜头，构建第一视频情节分段；重复执行以下步骤，直至将所有与第二镜头相同且不属于所述第一视频情节分段的所述待处理镜头添加至所述第一视频情节分段，得到初始视频情节分段，所述第二镜头为所述第一视频情节分段中除所述起始镜头外的所述待处理镜头；所述以下步骤包括：针对每个第二镜头，基于所述镜头表征特征，从与所述第二镜头左相邻的N个所述待处
理镜头以及与所述第二镜头右相邻的N个所述待处理镜头中，确定与所述第二镜头相同的所述待处理镜头并将其添加至所述第一视频情节分段。4.根据权利要求1所述的方法，其特征在于，基于所述人脸表征特征、所述人体表征特征、所述场景表征特征和所述音频表征特征，从不属于所述初始视频情节分段的所述待处理镜头中，确定满足预设条件的所述待处理镜头，并将所有满足所述预设条件的所述待处理镜头添加至所述初始视频情节分段中，得到所述起始镜头对应的最终视频情节分段，包括：从不属于所述初始视频情节分段的所述待处理镜头中，确定与所述初始视频情节分段的边界相邻的第一个所述待处理镜头并将其作为第三镜头；从所述初始视频情节分段中确定与所述第三镜头最近的M个第四镜头，所述第四镜头为所述初始视频情节分段中的所述待处理镜头；基于所述第三镜头和M个第四镜头对应的所述人脸表征特征、所述人体表征特征、所述场景表征特征和所述音频表征特征，若确定所述第三镜头满足预设条件，将所述第三镜头添加至所述初始视频情节分段，返回执行确定与所述初始视频情节分段的边界相邻的第一个所述待处理镜头并将其作为第三镜头这一步骤，直至所确定的所述第三镜头不满足所述预设条件，得到所述起始镜头对应的最终视频情节分段。5.根据权利要求4所述的方法，其特征在于，确定所述第三镜头满足预设条件的过程，包括：分别比对所述第三镜头和M个第四镜头之间的所述人脸表征特征以及所述人体表征特征，得到第一比对结果；当所述第一比对结果指示所述第三镜头与M个第四镜头中任一所述第四镜头之间存在相同人物，比对所述第三镜头和M个第四镜头之间的所述场景表征特征，得到第二比对结果；当所述第二比对结果指示所述第三镜头与M个第四镜头中任一所述第四镜头之间存在相同场景，确定所述第三镜头满足预设条件；当所述第一比对结果指示所述第三镜头与M个第四镜头之...

【专利技术属性】
技术研发人员：杨杰，胡玮，余意，王心莹，宋施恩，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：