视频的关键帧提取方法、计算机可读存储介质及电子设备技术

本发明专利技术公开了一种视频的关键帧提取方法、计算机可读存储介质及电子设备，涉及视频处理技术领域；该方法包括以下的步骤：S10、特征提取与聚类，通过预训练模型ResNet

【技术实现步骤摘要】
视频的关键帧提取方法、计算机可读存储介质及电子设备


[0001]本专利技术涉及视频处理
，更具体的说，本专利技术涉及一种视频的关键帧提取方法、计算机可读存储介质及电子设备。

技术介绍

[0002]视频可以包括一连串的视频帧，每个视频帧包含图像场景的视频快照。一连串的视频帧可以以适当的帧速率在显示器上再现，以提供视频的回放。
[0003]视频系统可以包括提取视频的视频帧子集以用作关键帧的能力。例如，可以从视频中提取一组关键帧从而为视频构建情节串连图板(storyboard)。通过将所提取的关键帧再现为一连串的缩略图像来构建情节串连图板，一连串的缩略图像向观众提供视频内容的可视指示。
[0004]在部件级实景三维中，常常使用无人机对部件（如建筑物等）通过倾斜摄影、优视摄影等进行视频数据的采集。然后从采集的数据中选取关键帧，并围绕关键帧对部件进行三维建模。因此关键帧的提取对于部件级的实景三维建模至关重要。

技术实现思路

[0005]为了克服现有技术的不足，本专利技术提供一种视频的关键帧提取方法，该方法使得关键帧的提取更加准确，减小了计算量。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种视频的关键帧提取方法，其改进之处在于，该方法包括以下的步骤：S10、特征提取与聚类，通过预训练模型ResNet
‑
18对无人机影像的每一帧进行特征提取，并对无人机影像中的帧进行聚类；S20、时间分割初始化，将聚类后的帧映射到原影像中的位置，获得时间分割；S30、关键帧初始化，在每一个时间分割中通过基于信息熵的目标函数，计算提取能够有效表达该时间分割的帧，作为初始化的视频关键帧；S40、时间分割的更新，通过相邻帧之间的关系，进行时间分割的更新和关键帧的提取，重新确定每一对相邻关键帧之间的边界，完成时间分割的更新；S50、关键帧的更新，采用步骤S30中的方式进行关键帧的提取；S60、迭代更新，迭代步骤S40的时间分割的更新和步骤S50的关键帧的更新，直至时间分割不再更新时迭代停止。
[0007]进一步的，步骤S10中，采用预训练模型ResNet
‑
18对无人机影像的每一帧进行pool5层的特征提取，特征维度为512维；此后采用DBSCAN对无人机影像中的帧进行聚类，获得多个聚类。
[0008]进一步的，步骤S20中，获得多个时间分割。
[0009]进一步的，步骤S30包括以下步骤：S301、设定某时间分割中的视频帧的集合为A，从A中提取的关键帧为，该时间
分割中剩余的帧，其中\表示为去除计算，其目标函数为：；其中，H1(p|Q)为变量集合Q条件下变量p的信息熵，|表示条件；S302、步骤S301中目标函数的求解，使用贪婪的方式遍历该时间分割中的每一个帧，来获得关键帧；同时求解过程中使用ResNet
‑
18提取的各帧的特征向量进行条件熵的计算；S303、步骤S302中使用高斯过程，特征向量集合Q条件下特征向量p的信息熵H1(p|Q)：；；其中，K(
•
,
•
)为两个特征向量的协方差计算。
[0010]进一步的，步骤S40中，包括以下步骤：S401、设定两个关键帧及其之间的帧构成的集合为B，一个边界将其划分为左半边和右半边，其目标函数表示为：；其中，H2(P|Q)为变量集合Q条件下变量集合P的信息熵；S402、步骤S401中目标函数的求解，使用贪婪的方式遍历集合B的每一种划分，以获取最优划分；同时求解过程中使用ResNet
‑
18提取各帧的特征向量进行条件熵的计算；S403、特征向量集合Q条件下特征向量集合P的信息熵H2(P|Q)：；；其中，K(
•
,
•
)为两个特征向量的协方差计算；S404、依次重新确定每一对关键帧之间的边界，完成时间分割的更新。
[0011]进一步的，所述步骤S50中，在时间分割和关键帧的提取中，大量使用两帧的协方差，通过提前计算两帧之间的协方差并进行存储。
[0012]进一步的，步骤S50中，迭代步骤S40的时间分割的更新和步骤S50的关键帧的更新时，计算中通过查询的方式获得两帧之间的协方差。
[0013]进一步的，步骤S60中，迭代结束时的关键帧则是最终的关键帧，该关键帧用于部件级的实景三维建模。
[0014]本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，其改进之处在于，所述计算机程序被处理器执行时实现如上所述的视频的关键帧提取方法。
[0015]本专利技术还提供了一种电子设备，其改进之处在于，包括：处理器；
存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如上所述的视频的关键帧提取方法。
[0016]本专利技术的有益效果是：本专利技术采用分级提取的方式，先对视频进行时间分割，再在时间分割中提取关键帧，相比整个视频中提取关键帧，对视频进行粗精度（时间分割）到细粒度（帧）的逐层分析，使得关键帧提取更加准确，同时也使得计算量减小。
附图说明
[0017]图1为本专利技术的一种视频的关键帧提取方法的流程示意图。
[0018]图2为本专利技术中一种视频的关键帧提取方法的具体实施例图。
[0019]图3为本专利技术中预训练模型ResNet
‑
18的结构示意图。
[0020]图4为本专利技术中两个时间分割的边界划分的示意图。
具体实施方式
[0021]下面结合附图和实施例对本专利技术进一步说明。
[0022]以下将结合实施例和附图对本专利技术的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本专利技术的目的、特征和效果。显然，所描述的实施例只是本专利技术的一部分实施例，而不是全部实施例，基于本专利技术的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本专利技术保护的范围。另外，本专利技术中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本专利技术创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
[0023]参照图1所示，本专利技术提供了一种视频的关键帧提取方法，是一种应用于无人机采集的部件级实景三维视频的关键帧提取技术。本专利技术通过对部件级实景三维视频进行时间分割进行初始化，然后在每个时间分割中提取关键帧，完成关键帧的初始化；然后不断迭代进行时间分割的更新和关键帧的更新。本专利技术的关键帧提取思想是：提取的关键帧能够最有效的表达该时间分割中剩余的帧；时间分割思想是相邻的两个时间分割之间具备很强的独立性。
[0024]基于此，结合图1、图2所示，本专利技术提供的一种视频的关键帧提取方法，包括以下步骤：S10、特征提取与聚类，通过预训练模型ResNet
‑
18对无人机影像的每一帧进行特征提取，并对无人机影像中的帧进行聚类；本方案中，使用如图3所示的ResNet
...

【技术保护点】

【技术特征摘要】
1.一种视频的关键帧提取方法，其特征在于，该方法包括以下的步骤：S10、特征提取与聚类，通过预训练模型ResNet
‑
18对无人机影像的每一帧进行特征提取，并对无人机影像中的帧进行聚类；S20、时间分割初始化，将聚类后的帧映射到原影像中的位置，获得时间分割；S30、关键帧初始化，在每一个时间分割中通过基于信息熵的目标函数，计算提取能够有效表达该时间分割的帧，作为初始化的视频关键帧；S40、时间分割的更新，通过相邻帧之间的关系，进行时间分割的更新和关键帧的提取，重新确定每一对相邻关键帧之间的边界，完成时间分割的更新；S50、关键帧的更新，采用步骤S30中的方式进行关键帧的提取；S60、迭代更新，迭代步骤S40的时间分割的更新和步骤S50的关键帧的更新，直至时间分割不再更新时迭代停止。2.根据权利要求1所述的视频的关键帧提取方法，其特征在于，步骤S10中，采用预训练模型ResNet
‑
18对无人机影像的每一帧进行pool5层的特征提取，特征维度为512维；此后采用DBSCAN对无人机影像中的帧进行聚类，获得多个聚类。3.根据权利要求2所述的视频的关键帧提取方法，其特征在于，步骤S20中，获得多个时间分割。4.根据权利要求2所述的视频的关键帧提取方法，其特征在于，步骤S30包括以下步骤：S301、设定某时间分割中的视频帧的集合为A，从A中提取的关键帧为，该时间分割中剩余的帧，其中表示为去除计算，其目标函数为：；其中，H1(p|Q)为变量集合Q条件下变量p的信息熵，|表示条件；S302、步骤S301中目标函数的求解，使用贪婪的方式遍历该时间分割中的每一个帧，来获得关键帧；同时求解过程中使用ResNet
‑
18提取的各帧的特征向量进行条件熵的计算；S303、步骤S302中使用高斯过程，特征向量集合Q条件下特征向量p的信息熵H1(p|Q)：；；其中，K(
...

【专利技术属性】
技术研发人员：彭越华，李翔，王志刚，张红，廖剑，魏霞，
申请(专利权)人：江西啄木蜂科技有限公司，
类型：发明
国别省市：