基于深度学习的视频拆条方法技术

本发明专利技术公开了一种基于深度学习的视频拆条方法，包括以下步骤：步骤1：视频数据初始化；步骤2：利用人脸识别技术进行人脸检测，得到连续出现相似人脸的时间片段作为候选拆条片段；步骤3：在候选的拆条片段中，提取声音特征；步骤4：利用声音识别技术和所述声音特征细化候选拆条片段的拆条时间点，得到最终的拆条时间点。本发明专利技术中利用深度学习算法对人脸和声音两个特征进行识别，提高了拆条的准确性，且可同时对多个视频片段进行人脸和声音识别，速度极快。此外，深度学习算法可以对视频进行智能拆条，减少了人力的投入。

【技术实现步骤摘要】
基于深度学习的视频拆条方法
本专利技术涉及媒资管理
，更具体的说，涉及一种基于深度学习的视频拆条方法。
技术介绍
随着电视节目生产全流程的数字化，网络化、信息化以及电视节目的不断发展，积累了大量的多媒体数据，面对海量的多媒体资源无法深度开发和利用以及我国对电视节目的监管要求不断提升，拆条技术应运而生。而互联网的不断发展，使得视频素材量呈现爆炸式增长，直播、小视频、网络电视节目、移动多媒体等不是进行完整的节目播出，而是需要拆分或精简小视频，用户对互联网内容的碎片化需求不断增加，拆条在新媒体中也有越来越广泛的应用。传统拆条方法是人工拆条即人工逐帧预览手工拆条，需要大量的人力投入且效率太低。现有技术是基于云架构的拆条方法，和传统的拆条方式比效率有所提高，在内容产出的时效性和软件成本方面有较大的优势，但需要大量的人力投入，并没有将人力从大量低质量的重复劳动中解放出来。
技术实现思路
有鉴于此，本专利技术提供一种可以降低拆条工作中人力投入的基于深度学习的视频拆条方法，用于解决现有技术中需要大量的人力投入的问题。本专利技术提供了一种基于深度学习的视频拆条方法，包括以下步骤：步骤1：视频数据初始化；步骤2：利用人脸识别技术进行人脸检测，得到连续出现相似人脸的时间片段作为候选拆条片段；步骤3：在候选的拆条片段中，提取声音特征；步骤4：利用声音识别技术和所述声音特征细化候选拆条片段的拆条时间点，得到最终的拆条时间点。可选的，所述步骤1中视频数据初始化包括获取视频数据中的音频波形数据和图像数据。可选的，所述步骤2中的人脸识别技术包括：使用深度学习算法对人脸进行编码，比较视频数据中各个图像帧人脸的相似性。可选的，所述步骤4中声音识别技术包括：使用深度学习算法在候选拆条片段的拆条时间点前后一定范围中寻找与所述提取声音特征具有相似特征的声音。可选的，所述使用深度学习算法对人脸进行编码过程包括：训练深度神经网络模型，使其能够对输入的人脸提取特征；输入视频数据的图像数据到所述深度神经网络模型，提取图像数据的高维度人脸特征；进行编码，即将高维度人脸特征映射为低维度的向量；根据低维度的向量，辨别视频数据中的人脸相似或不同。本专利技术中与现有技术相比，具有以下优点：本专利技术中利用深度学习算法对人脸和声音两个特征进行识别，提高了拆条的准确性，且可同时对多个视频片段进行人脸和声音识别，速度极快。此外，深度学习算法可以对视频进行智能拆条，减少了人力的投入。附图说明图1为本专利技术基于深度学习的视频拆条方法的流程图。具体实施方式以下结合附图对本专利技术的优选实施例进行详细描述，但本专利技术并不仅仅限于这些实施例。本专利技术涵盖任何在本专利技术的精神和范围上做的替代、修改、等效方法以及方案。为了使公众对本专利技术有彻底的了解，在以下本专利技术优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本专利技术。在下列段落中参照附图以举例方式更具体地描述本专利技术。需说明的是，附图均采用较为简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的。本专利技术提供了一种基于深度学习的视频拆条方法，如图1所示，包括以下步骤：步骤1：视频数据初始化；步骤2：利用人脸识别技术进行人脸检测，得到连续出现相似人脸的时间片段作为候选拆条片段；步骤3：在候选的拆条片段中，提取声音特征；步骤4：利用声音识别技术和所述声音特征细化候选拆条片段的拆条时间点，得到最终的拆条时间点。所述步骤1中视频数据初始化包括获取视频数据中的音频波形数据和图像数据。所述步骤2中的人脸识别技术包括：使用深度学习算法对人脸进行编码，比较视频数据中各个图像帧人脸的相似性，将出现相似人脸的的连续时间片段视为一个拆条片段，故可以得到多个拆条片段。所述步骤4中声音识别技术包括：使用深度学习算法在候选拆条片段的拆条时间点前后一定范围中寻找与所述提取声音特征具有相似特征的声音。所述使用深度学习算法对人脸进行编码过程包括：训练深度神经网络模型，使其能够对输入的人脸提取特征；输入视频数据的图像数据到所述深度神经网络模型，提取图像数据的高维度人脸特征；进行编码，即将高维度人脸特征映射为低维度的向量；根据低维度的向量，辨别视频数据中的人脸相似或不同。通过将多张人脸图像信息映射成低维度向量，模型可以辨别出两张人脸是相似或相同。在实际过程中，可以先利用分布式算法对视频进行分析和处理，将视频以指定秒数（如10秒）为粒度，划分为若干片段。而后将这些片段分配给可用的服务器同时进行人脸和声音的检测，速度极快，可以实现秒级短视频生产。以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的视频拆条方法，其特征在于，包括以下步骤：步骤1：视频数据初始化；步骤2：利用人脸识别技术进行人脸检测，得到连续出现相似人脸的时间片段作为候选拆条片段；步骤3：在候选的拆条片段中，提取声音特征；步骤4：利用声音识别技术和所述声音特征细化候选拆条片段的拆条时间点，得到最终的拆条时间点。

【技术特征摘要】
1.一种基于深度学习的视频拆条方法，其特征在于，包括以下步骤：步骤1：视频数据初始化；步骤2：利用人脸识别技术进行人脸检测，得到连续出现相似人脸的时间片段作为候选拆条片段；步骤3：在候选的拆条片段中，提取声音特征；步骤4：利用声音识别技术和所述声音特征细化候选拆条片段的拆条时间点，得到最终的拆条时间点。2.根据权利要求1所述的基于深度学习的视频拆条方法，其特征在于：所述步骤1中视频数据初始化包括获取视频数据中的音频波形数据和图像数据。3.根据权利要求1所述的基于深度学习的视频拆条方法，其特征在于，所述步骤2中的人脸识别技术包括：使用深度学习算法对人脸进行编码...

【专利技术属性】
技术研发人员：倪攀，姜子琛，彭梅，刘睿，刘宜飞，
申请(专利权)人：杭州星犀科技有限公司，
类型：发明
国别省市：浙江,33