一种视频关键帧智能提取系统技术方案

本发明专利技术涉及视频关键帧处理技术领域，公开了一种视频关键帧智能提取系统，包括：帧提取模块，其用于从动漫视频中提取帧单元；预处理模块，其对帧单元的图像进行二值化处理获得二值图像；轮廓处理模块，其基于预处理模块获得的二值图像处理获得帧单元的图像的轮廓，一个二值化图像包括一个以上的轮廓，两个轮廓之间不存在相交的像素点；序列生成模块，其基于帧单元的图像的轮廓将其映射到序列集合；第一筛选模块、第二筛选模块和第三筛选模块基于预定的策略基于轮廓从提取的帧单元中筛选关键帧；本发明专利技术基于动漫视频的制作特点设计基于图像轮廓的关键帧提取系统，针对于动漫视频能够获得优于基于内容的关键帧提取方法提取关键帧的效果。的效果。的效果。

【技术实现步骤摘要】
一种视频关键帧智能提取系统


[0001]本专利技术涉及动漫视频处理
，更具体地说，它涉及一种视频关键帧智能提取系统。

技术介绍

[0002]动漫视频与普通拍摄的视频在制作方式和素材来源存在较大的差异，动漫视频所包含的内容更加富有想象力，更加超越现实，因此应用于一般视频的基于内容的关键帧提取方法应用于动漫视频的关键帧提取的效果不佳。

技术实现思路

[0003]本专利技术提供一种视频关键帧智能提取系统，解决相关技术中一般视频的基于内容的关键帧提取方法应用于动漫视频的关键帧效果不佳的技术问题。
[0004]根据本专利技术的一个方面，提供了一种视频关键帧智能提取系统，包括：帧提取模块，其用于从动漫视频中提取帧单元；预处理模块，其对帧单元的图像进行二值化处理获得二值图像；轮廓处理模块，其基于预处理模块获得的二值图像处理获得帧单元的图像的轮廓，一个二值化图像包括一个以上的轮廓，两个轮廓之间不存在相交的像素点；序列生成模块，其基于帧单元的图像的轮廓将其映射到序列集合；第一筛选模块，其用于计算帧单元的图像的轮廓与帧单元的图像边框轮廓之间的距离，删除距离小于第一阈值的帧单元的图像的轮廓，生成第一轮廓集；第二筛选模块，其用于计算第一轮廓集内的轮廓的距离；通过以下步骤对第一轮廓集进行整理生成第二轮廓集：步骤S101，从第一轮廓集中生成第一中间集，第一中间集中的轮廓与同一个第一中间集中的一个以上的轮廓的距离小于第二阈值；步骤S102，对第一中间集进行处理，第一中间集中属于一个动漫剧集的同一集，并且时间值的差值小于第三阈值的轮廓只保留其中一个，所有第一中间集保留的轮廓的集合即为第二轮廓集；第三筛选模块，其基于第二轮廓集生成内层轮廓集和外层轮廓集，内层轮廓集的轮廓所要满足的条件是：对于内层轮廓集的一个A轮廓，A轮廓关联的帧单元的图像内存在两个以上的轮廓，并且在该图像内A轮廓的外部存在一个以上的轮廓；外层轮廓集的轮廓所要满足的条件是：对于外层轮廓集的一个B轮廓，B轮廓关联的帧单元的图像内存在两个以上的轮廓，并且在该图像内B轮廓的外部不存在轮廓；第一帧单元处理模块，其提取与第二轮廓集关联的帧单元之后生成第一帧集；从第一帧集中提取不包含外层轮廓集和内层轮廓集的轮廓的帧单元生成第二帧
集；从第一帧集中提取不属于第二帧集的帧单元生成第三帧集；从外层轮廓集中提取满足以下条件的轮廓生成第三轮廓集：外层轮廓集中与提取的轮廓的距离小于第六阈值的轮廓的数量大于第五阈值；从内层轮廓集中提取与第三轮廓集的轮廓属于相同的帧单元的图像的轮廓生成第四轮廓集；从第四轮廓集中生成小集合，小集合中的轮廓与同一小集合的其他一个以上的轮廓的距离小于第七阈值，且小集合中的轮廓与小集合之外的轮廓的距离大于或等于第七阈值；第四轮廓集中的每个小集合中随机选择一个轮廓生成第五轮廓集；从第三帧集中提取关联第五轮廓集的轮廓的帧单元生成第四帧集；关键帧生成模块，其将第二帧集和第四帧集取并集得到关键帧集，关键帧集中的帧单元即是所提取的关键帧。
[0005]进一步地，轮廓处理模块生成帧单元的图像的轮廓时删除与帧单元的图像边框轮廓的距离小于基准阈值的轮廓，基准阈值小于第一阈值。
[0006]进一步地，序列生成模块预先将帧单元的图像边框轮廓映射到一个序列集合。
[0007]进一步地，一个轮廓的序列集合为A={a1,a2...a
n
}；a
n
表示轮廓的一个像素。
[0008]进一步地，外层轮廓集与内层轮廓集之间不存在交集，外层轮廓集与内层轮廓集的并集小于或等于第二轮廓集。
[0009]进一步地，第二筛选模块对第二轮廓集进行进一步处理，包括以下步骤：步骤S201，从第二轮廓集中生成第二中间集，第二中间集中的轮廓与同一个第二中间集中的一个以上的轮廓的距离小于第二阈值；步骤S202，对第二中间集进行处理，一个第二中间集中只保留一个轮廓；所有第二中间集中保留的轮廓的集合作为新的第二轮廓集。
[0010]进一步地，步骤S102中的时间值的差值小于1s。
[0011]进一步地，第一筛选模块和第二筛选模块计算轮廓的距离的方法包括：计算两个轮廓序列集合的序列单元之间的距离获得第一距离矩阵；第一距离矩阵的元素u
ij
表示一个轮廓的序列集合的第i个序列单元与另一个轮廓的序列集合的第j个序列单元的距离；计算轮廓的距离的公式如下：其中，n和m分别表示两个轮廓的序列集合的序列单元的总数，d
nm
表示第一距离矩阵的第n行第m列的元素的值。
[0012]进一步地，一个轮廓的序列集合的第i个序列单元与另一个轮廓的序列集合的第j个序列单元的距离的计算公式如下：其中x
i
和y
i
为第i个序列单元的两个坐标，x
j
和y
j
为第j个序列单元的两个坐标；d
ij
即为第一距离矩阵的元素u
ij
的值。
[0013]进一步地，还包括核心帧提取模块，其用于执行以下步骤生成核心帧集：步骤S301，建立一个N*N矩阵，，其中R为关键帧集的关键帧的数量；步骤S302，从关键帧集中随机选择N*N个关键帧作为矩阵的元素；步骤S303，从关键帧集中随机选择一个不属于矩阵的元素的关键帧，然后计算该关键帧与矩阵元素之间的相似度，选择与其相似度最大的矩阵元素作为中心元素；标记中心元素以及矩阵中与中心元素距离小于2的元素为标记元素；矩阵的元素的距离的计算公式如下：其中为u
H1
和u
H2
分别为两个矩阵元素的行值，u
L1
和u
L2
分别为两个矩阵元素的列值；步骤S304，依次更新标记元素的属性值，更新的公式如下：其中t表示更新标记元素的次数，表示更新之后的标记元素的第k项属性的值，表示更新之前的标记元素的第k项属性的值，表示步骤S303中提取的关键帧的第k项属性的值；k≤3，关键帧的三项属性分别为第一属性、第二属性和第三属性；第一属性的取值为关键帧包含的轮廓的数量；第二属性的取值为关键帧包含的内轮廓的数量；第三属性的取值为关键帧的播放时间值；步骤S305，迭代执行步骤S303和步骤S304，迭代执行的次数为，R为关键帧集的关键帧的数量；步骤S306，提取与矩阵的元素相似度大于第八阈值的关键帧集中的关键帧作为核心帧，生成核心帧集。
[0014]本专利技术的有益效果在于：本专利技术基于动漫视频的制作特点设计基于图像轮廓的关键帧提取系统，针对于动漫视频能够获得优于基于内容的关键帧提取方法提取关键帧的效果。
附图说明
[0015]图1是本专利技术的一种视频关键帧智能提取系统的模块示意图一；图2是本专利技术的对第一轮廓集进行整理生成第二轮廓集的流程图；图3是本专利技术的第二筛选模块对第二轮廓集进行进一步处理的流程图；图4是本专利技术的一种视频关键帧智能提取系统的模块示意图二；图5是本专利技术的核心帧提取模块生成核心帧集的流程图。
[0016]图中：帧提取模块101，预处理模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频关键帧智能提取系统，其特征在于，包括：帧提取模块，其用于从动漫视频中提取帧单元；预处理模块，其对帧单元的图像进行二值化处理获得二值图像；轮廓处理模块，其基于预处理模块获得的二值图像处理获得帧单元的图像的轮廓，一个二值化图像包括一个以上的轮廓，两个轮廓之间不存在相交的像素点；序列生成模块，其基于帧单元的图像的轮廓将其映射到序列集合；第一筛选模块，其用于计算帧单元的图像的轮廓与帧单元的图像边框轮廓之间的距离，删除距离小于第一阈值的帧单元的图像的轮廓，生成第一轮廓集；第二筛选模块，其用于计算第一轮廓集内的轮廓的距离；通过以下步骤对第一轮廓集进行整理生成第二轮廓集：步骤S101，从第一轮廓集中生成第一中间集，第一中间集中的轮廓与同一个第一中间集中的一个以上的轮廓的距离小于第二阈值；步骤S102，对第一中间集进行处理，第一中间集中属于一个动漫剧集的同一集，并且时间值的差值小于第三阈值的轮廓只保留其中一个，所有第一中间集保留的轮廓的集合即为第二轮廓集；第三筛选模块，其基于第二轮廓集生成内层轮廓集和外层轮廓集，内层轮廓集的轮廓所要满足的条件是：对于内层轮廓集的一个A轮廓，A轮廓关联的帧单元的图像内存在两个以上的轮廓，并且在该图像内A轮廓的外部存在一个以上的轮廓；外层轮廓集的轮廓所要满足的条件是：对于外层轮廓集的一个B轮廓，B轮廓关联的帧单元的图像内存在两个以上的轮廓，并且在该图像内B轮廓的外部不存在轮廓；第一帧单元处理模块，其提取与第二轮廓集关联的帧单元之后生成第一帧集；从第一帧集中提取不包含外层轮廓集和内层轮廓集的轮廓的帧单元生成第二帧集；从第一帧集中提取不属于第二帧集的帧单元生成第三帧集；从外层轮廓集中提取满足以下条件的轮廓生成第三轮廓集：外层轮廓集中与提取的轮廓的距离小于第六阈值的轮廓的数量大于第五阈值；从内层轮廓集中提取与第三轮廓集的轮廓属于相同的帧单元的图像的轮廓生成第四轮廓集；从第四轮廓集中生成小集合，小集合中的轮廓与同一小集合的其他一个以上的轮廓的距离小于第七阈值，且小集合中的轮廓与小集合之外的轮廓的距离大于或等于第七阈值；第四轮廓集中的每个小集合中随机选择一个轮廓生成第五轮廓集；从第三帧集中提取关联第五轮廓集的轮廓的帧单元生成第四帧集；关键帧生成模块，其将第二帧集和第四帧集取并集得到关键帧集，关键帧集中的帧单元即是所提取的关键帧。2.根据权利要求1所述的一种视频关键帧智能提取系统，其特征在于，轮廓处理模块生成帧单元的图像的轮廓时删除与帧单元的图像边框轮廓的距离小于基准阈值的轮廓，基准阈值小于第一阈值。3.根据权利要求2所述的一种视频关键帧智能提取系统，其特征在于，序列生成模块预
先将帧单元的图像边框轮廓映射到一个序列集合。4.根据权利要求1所述的一种视频关键帧智能提取系统，其特征在于，一个轮廓的序列集合为A={a1,a2...a
n
}；a
n
表示轮廓的一个像素。5.根据权利要求1所述的一种视频关键帧智能提取系统，其特征在于，外层轮廓集与内层轮廓集之间不存在交集，外层轮廓集与内层轮廓集的并集小于或等于第二轮廓集。6.根据权利要求1...

【专利技术属性】
技术研发人员：江学如，王岩岩，江峰，
申请(专利权)人：安徽米娱科技有限公司，
类型：发明
国别省市：