【技术实现步骤摘要】
图像处理方法、装置、电子设备以及存储介质
[0001]本公开涉及计算机视觉
，具体涉及一种图像处理方法、装置、电子设备以及存储介质。
技术介绍
[0002]视频关键帧抽取是指在视频流中挑选出一帧或者多帧最具代表性的视频帧，视频关键帧抽取在各场景中具有广泛应用。例如，交通视频、展会视频的关键帧抽取，可以快速定位可疑事件，缩短视频回放时间；又例如，娱乐视频、新闻视频的关键帧抽取，可以快速检索出用户感兴趣的视频片段。
[0003]相关技术中，可以基于深度学习网络(DNN，Deep Neural Networks)实现视频流的关键帧抽取，目前，基于DNN的视频关键帧抽取效果不佳。
技术实现思路
[0004]为提高视频关键帧的抽取效果，本公开实施方式提供了一种图像处理方法、装置、电子设备以及存储介质。
[0005]第一方面，本公开实施方式提供了一种图像处理方法，包括：
[0006]对视频流序列进行特征提取，得到所述视频流序列的图像特征序列以及针对帧间图像的差异特征序列；
[0007...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：对视频流序列进行特征提取，得到所述视频流序列的图像特征序列以及针对帧间图像的差异特征序列；基于所述图像特征序列和所述差异特征序列进行融合处理，得到第一融合特征序列；根据帧间图像的相关性权值对所述第一融合特征序列进行处理，得到第二融合特征序列；根据所述第二融合特征序列，从所述视频流序列中确定至少一帧关键帧图像。2.根据权利要求1所述的方法，其特征在于，对视频流序列进行特征提取，得到所述视频流序列的图像特征序列，包括：对所述视频流序列进行特征提取，得到所述视频流序列中的每帧图像的图像特征；根据所述每帧图像的图像特征，确定所述视频流序列的所述图像特征序列。3.根据权利要求1或2所述的方法，其特征在于，对视频流序列进行特征提取，得到针对帧间图像的差异特征序列，包括：对于所述视频流序列中的任意一帧图像，基于所述图像的图像特征以及前一帧图像的图像特征，确定前向差分特征；基于所述图像的图像特征以及后一帧图像的图像特征，确定后向差分特征；基于所述视频流序列中所有帧图像的所述前向差分特征和所述后向差分特征，确定所述视频流序列的所述差异特征序列。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述图像特征序列和所述差异特征序列进行融合处理，得到第一融合特征序列，包括：根据所述差异特征序列中帧间图像的差分变化率，确定所述差异特征序列的目标权值；所述差分变化率根据每帧图像的差异特征确定得到；基于所述图像特征序列、所述目标权值以及所述差异特征序列进行融合处理，得到所述第一融合特征序列。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据帧间图像的相关性权值对所述第一融合特征序列进行处理，得到第二融合特征序列，包括：基于自注意力机制，确定帧间图像的所述相关性权值；根据所述相关性权值对所述第一融合特征序列进行处理，得到所述第二融合特征序列。6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述第二融合特征序列，从所述视频流序列中确定至少一帧关键帧图像，包括：根据所述第二融合特征序列，预测得到每一帧图像的重要性分值；对所述视频流序列进行图像检测，确定所述视频流序列的至少一个场景切换节点；基于所述至少一个场景切换节点对所述视频流序列进行分割，得到至少两个视频序列片段；根据各所述视频序列片段的长度，以及所述视频序列片段中每帧图像的所述重要性分值，确定所述关键帧图像。7.根据权利要求1至6任一项所述的方法，其特征在于，所述对视频流序列进行特征提取，得到所述视频流序列的图像特征序列以及针对帧间图像的差异特征序列，包括：
将所述视频流序列输入预训练的特征提取网络，得到所述特征提取网络输出的所述图像特征序列；将所述图像特征序列输入预训练的时序差分网络，得到所述时序差分网络输出的差异特征序列；所述基于所述图像特征序列和所述差异特征序列进行融合处理，得到第一融合特征序列，包括：所述时序差分网络基于所述图像特征序列和所述差异特征序列进行融合处理，输出所述第一融合特征序列；所述根据帧间图像的相关性权值对所述第一融合特征序列进...
【专利技术属性】
技术研发人员：刘春晓，张琼，孟二利，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。