视频关键场景提取方法及装置制造方法及图纸

本发明专利技术为了解决视频关键场景提取过程中语义鸿沟、大规模数据和快速处理中的问题，提供了一种视频关键场景提取方法，包括的步骤：获取视频流信息，转化为视频帧集和音频信号；进行聚类形成镜头集；根据镜头集的时间索引对所述音频信号进行时间划分，形成镜头音频段信号；对所述镜头音频段信号提取高级能量特征值；根据所述高级能量特征值和所述高级能量特征值的变化率求出复合高级能量值，并对所述镜头集对应的复合高级能量值进行排序，获取关键镜头集；进行扩展形成关键场景集；根据所述关键场景集的情感丰富度和高级能量特征值求出所述视频关键场景；同时提供了相应的装置、设备和介质。能够面对大规模的视频数据进行快速处理，获取关键场景。

【技术实现步骤摘要】
视频关键场景提取方法及装置
本专利技术属于视频处理
，具体而言，涉及一种视频关键场景提取方法、提取装置、计算机可读介质及电子设备。
技术介绍
近年来随着网络技术和多媒体技术的飞速发展，视频应用网站已经快速融入人们的日常生活中。随之而来的是大量视频数据在网络上涌现。可以说视频数据是互联网上信息量最为丰富，但又是最难以分析的重要媒介。由于视频通常是一种没有固定格式的非结构化数据，通常具有复杂的艺术表现形式与精妙的拍摄编排，因此如何面对大量的视频数据自动地进行组织、存储和检索自然成为视频技术的三个关键问题。在各种形式的数字视频中，影视视频是人们在日常生活中最容易接触且不可或缺的视频形式。其同其他数字视频一样，影视视频在形式上是一种非结构化数据，但是与一般的视频内容相比(如新闻视频)，影视视频在内容上往往具有很强的情节结构，这给视频检索带来了新的难度。目前大多数的数字视频都需要通过人工方式进行结构的分割和语义分析及标注，从而实现高效的分类存储和检索。但是，随着影视视频等视频内容数量的急速膨胀，手工进行视频结构分割和语义标注的形式，由于人力、物力和时间资源的限制而越来越不现实，难以满足井本文档来自技高网...

【技术保护点】
1.一种视频关键场景提取方法，其特征在于，包括如下步骤：获取视频流信息，将所述视频流信息转化为视频帧集和音频信号；根据所述视频帧集的图像特征进行聚类形成镜头集；根据镜头集的时间索引对所述音频信号进行时间划分，形成镜头音频段信号；对所述镜头音频段信号提取高级能量特征值；根据所述高级能量特征值和所述高级能量特征值的变化率求出复合高级能量值，并对所述镜头集对应的复合高级能量值进行排序，获取前N个复合高级能量值所对应的镜头集，作为关键镜头集，所述N代表正整数；对所述关键镜头集进行扩展形成关键场景集；根据所述关键场景集的情感丰富度和高级能量特征值求出所述视频关键场景。

【技术特征摘要】
1.一种视频关键场景提取方法，其特征在于，包括如下步骤：获取视频流信息，将所述视频流信息转化为视频帧集和音频信号；根据所述视频帧集的图像特征进行聚类形成镜头集；根据镜头集的时间索引对所述音频信号进行时间划分，形成镜头音频段信号；对所述镜头音频段信号提取高级能量特征值；根据所述高级能量特征值和所述高级能量特征值的变化率求出复合高级能量值，并对所述镜头集对应的复合高级能量值进行排序，获取前N个复合高级能量值所对应的镜头集，作为关键镜头集，所述N代表正整数；对所述关键镜头集进行扩展形成关键场景集；根据所述关键场景集的情感丰富度和高级能量特征值求出所述视频关键场景。2.根据权利要求1所述的视频关键场景提取方法，其特征在于，所述根据所述视频帧集的图像特征进行聚类形成镜头集的步骤包括如下步骤：判断当前视频帧与下一视频帧在图像中心区域或者边框区域的平均RGB相似度值小于相似度阈值时，将所述当前视频帧与下一视频帧归属于同一个镜头集。3.根据权利要求1所述的视频关键场景提取方法，其特征在于，所述对所述镜头音频段信号提取高级能量特征值的步骤包括：均分所述镜头音频段信号，获取单位镜头音频段信号，对所述单位镜头音频段信号提取短时能量均值、短时能量方差、短时过零率均值、短时过零率方差和平均幅值，形成单位高级能量特征向量，对所述镜头音频段信号所对应的单位高级能量特征向量进行求和处理获取高级能量特征，所述高级能量特征值为所述高级能量特征的模长。4.根据权利要求1所述的视频关键场景提取方法，其特征在于，所述N为3。5.根据权利要求1所述的视频关键场景提取方法，其特征在于，所述对所述关键镜头集进行扩展形成关键场景集的步骤包括：获取当前关键镜头集的第一视频帧、中间视频帧、最后视频帧；获取当前关键镜头集的上一镜头集的第一视频帧、中间视频帧；获取当前关键镜头集的下一镜头集的中间视频帧、最后视频帧；根据所述上一镜头集的第一视频帧、中间视频帧和当前关键镜头集的第一视频帧获取第一复合相似度；根据所述下一镜头集的最后视频帧、中间视频帧和当前关键镜头集的最后视频帧获取第二复合相似度；迭代执行判断所述第一复合相似度大于所述第二复合相似度时，将所述上一镜头集与所述当前关键镜头集进行合并形成新的当前关键镜头集，否则将所述下一镜头集与当前关键镜头集进行合并形成当前关键镜头集，直至所述当前关键镜头集的高级能量特征值大于等于能量阈值；迭代执行判断所述第一复合相似度大于所述第二复合相似度时，将所述下一镜头集与当前关键镜头集进行合并形成当前关键镜头集，否则将所述上一镜头集与所述当前关键镜头集进行合并形成新的当前关键镜头集，直至所述当前关键镜头集的高级能量特征值大于等于所述能量阈值一半；将所述当前关键镜头集作为关键场景集。6.根据权利要求5所述的视频关键场景提取方法，其特征在于，获取所述第一复合相似度的步骤包括：根据上一镜头集的第一视频帧、中间视频帧和当前关键镜头集的第一视频帧获取第一HSV空间相似度，根据上一镜头集的第一视频帧、中间视频帧和当前关键镜头集的第一视频帧对应的音频信号获取第一高级能量相似度，根据所述第一HSV空间相似度和所述第一高级能量相似度获取第一复合相似度；获取所述第二复合相似度的步骤包括：根据下一镜头集的最后视频帧、中间视频帧和当前关键镜头集的最后视频帧获取第二HSV空间相似度，根据下一镜头集的最后视频帧、中间视频帧和当前关键镜头集的最后视频帧对应的音频信号获取第二高级能量相似度，根据所述第二HSV空间相似度和所述第二高级能量相似度获取第二复合相似度。7.根据权利要求1所述的视频关键场景提取方法，其特征在于，根据所述关键场景集的情感丰富度和高级能量特征值求出所述视频关键场景的步骤包括：根据所述关键场景集的场景镜头切变率、场景色调效能和场景亮度特征获取所述情感丰富度；对所述关键场景集中镜头集的高级能量特征值进行求和处理获取所述关键场景集的高级能量特征值...

【专利技术属性】
技术研发人员：危明，陈棣成，姜大志，田泽康，吴勇，
申请(专利权)人：易视腾科技股份有限公司，
类型：发明
国别省市：江苏,32