本公开关于一种生成动态图的方法、装置、电子设备及存储介质，所述方法包括：获取包括对象的图像帧序列；检测所述图像帧序列中与所述对象相应的图像区域；基于所述图像帧序列和所述图像区域确定与所述对象的动作有关的信息，并根据与所述对象的动作有关的信息从所述图像帧序列筛选至少一部分图像帧序列；基于所述至少一部分图像帧序列生成动态图。述至少一部分图像帧序列生成动态图。述至少一部分图像帧序列生成动态图。
【技术实现步骤摘要】
生成动态图的方法、装置、电子设备及存储介质
[0001]本公开涉及图像处理领域，尤其涉及一种生成动态图的方法、装置、电子设备及存储介质。
技术介绍
[0002]动态图是介于视频与静态图像的特殊媒体，被广泛地应用于社交媒体、网络新闻、数字论坛、信息公告甚至是通信邮件中，以提升用户的情感表达效果。作为简洁无声、循环播放、低存储介质消耗以及丰富情感表达的记录时空变化的容器，动态图具有良好的平台兼容性、可移植性以及需要较低的网络传输带宽等特点，近年来受到了广泛地应用。然而目前在社交媒体上传播使用的动态图主要通过人工借助专业的动态图制作软件(例如，GIFSoup、ScreenToGif、Ezgif等制作工具)来生成，这使得动态图的生成需要较为专业的制作人员并且制作过程繁琐。
技术实现思路
[0003]本公开提供一种生成动态图的方法、装置、电子设备及存储介质，以至少解决相关技术中的生成动态图时制作过程繁琐的问题。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种生成动态图的方法，所述方法包括：获取包括对象的图像帧序列；检测所述图像帧序列中与所述对象相应的图像区域；基于所述图像帧序列和所述图像区域确定与所述对象的动作有关的信息，并根据与所述对象的动作有关的信息从所述图像帧序列筛选至少一部分图像帧序列；基于所述至少一部分图像帧序列生成动态图。
[0005]可选地，所述获取包括对象的图像帧序列，包括：获取包括所述对象的视频；计算所述视频中相邻帧之间的相似性，并根据相似性对所述视频进行镜头分割来获取同一镜头下的帧序列；对获取的同一镜头下的帧序列进行采样，并将采样后的帧序列作为包括所述对象的图像帧序列。
[0006]可选地，所述检测所述图像帧序列中与所述对象相应的图像区域，包括：基于所述图像帧序列利用对象检测模型检测所述图像区域。此外，可选地，所述基于所述图像帧序列和所述图像区域确定与所述对象的动作有关的信息，包括：基于所述图像帧序列中的包括所述图像区域的连续图像帧序列，利用动作识别模型确定与所述对象的动作有关的信息，其中，所述对象检测模型和所述动作识别模型是基于深度神经网络的模型。
[0007]可选地，与所述对象的动作有关的信息包括与动作类别有关的信息，或者包括与动作类别有关的信息以及与动作幅度有关的信息。
[0008]可选地，与所述对象的动作有关的信息包括所述对象的动作类别、动作类别的置信度以及动作幅度的大小，其中，所述根据与所述对象的动作有关的信息从所述图像帧序列筛选至少一部分图像帧序列，包括：确定所述对象的动作类别是否属于预定动作类别以及动作类别的置信度和动作幅度的大小是否满足预定条件，并根据确定结果从所述图像帧
序列筛选至少一部分图像帧序列。
[0009]可选地，所述基于所述至少一部分图像帧序列生成动态图，包括：获取与所述至少一部分图像帧序列匹配的文字并基于所述文字和所述至少一部分图像帧序列生成动态图。
[0010]可选地，所述获取与所述至少一部分图像帧序列匹配的文字并基于所述文字和所述至少一部分图像帧序列生成动态图，包括：基于与所述对象的动作有关的信息获取所述文字；根据所述图像区域裁剪所述至少一部分图像帧序列；基于所述文字和裁剪后的图像帧序列生成动态图。
[0011]可选地，所述基于与所述对象的动作有关的信息获取所述文字，包括：基于所述对象的动作类别，从预先建立的文字库中查找与该动作类别对应的文字列表，并且将该文字列表中的任意一条文字确定为与所述至少一部分图像帧序列匹配的文字。
[0012]可选地，所述获取与所述至少一部分图像帧序列匹配的文字并基于所述文字和所述至少一部分图像帧序列生成动态图，包括：根据所述图像区域裁剪所述至少一部分图像帧序列；基于裁剪后的图像帧序列的图像特征和与所述对象的动作有关的信息获取所述文字；基于所述文字和裁剪后的图像帧序列生成动态图。
[0013]可选地，所述基于裁剪后的图像帧序列的图像特征和与所述对象的动作有关的信息获取所述文字，包括：基于所述对象的动作类别，从预先建立的文字库中查找与该动作类别对应的文字列表；在所述文字列表中查找与所述图像特征对应的文字，作为与所述至少一部分图像帧序列匹配的文字。
[0014]可选地，所述基于所述文字和裁剪后的图像帧序列生成动态图，包括：根据所述文字的内容以及裁剪后的图像帧序列的特点确定所述文字在待生成的动态图中的显示属性；将所述文字按照确定的显示属性与裁剪后的图像帧序列进行组合来生成动态图。
[0015]可选地，所述显示属性包括所述文字在待生成的动态图中的显示大小、显示位置和显示颜色中的至少一个。
[0016]可选地，所述根据所述文字的内容以及裁剪后的图像帧序列的特点确定所述文字在待生成的动态图中的显示属性，包括：根据所述文字的内容以及裁剪后的图像帧序列的大小，确定所述文字在待生成的动态图中的显示大小和显示位置，并根据裁剪后的图像帧序列中所述显示位置处的像素信息确定所述文字在待生成的动态图中的显示颜色。
[0017]根据本公开实施例的第二方面，提供一种生成动态图的装置，所述装置包括：获取单元，被配置为获取包括对象的图像帧序列；对象检测单元，被配置为检测所述图像帧序列中与所述对象相应的图像区域；动作识别单元，被配置为基于所述图像帧序列和所述图像区域确定与所述对象的动作有关的信息，并根据与所述对象的动作有关的信息从所述图像帧序列筛选至少一部分图像帧；动态图生成单元，被配置为基于所述至少一部分图像帧生成动态图。
[0018]可选地，获取单元被配置为：获取包括所述对象的视频；计算所述视频中相邻帧之间的相似性，并根据相似性对所述视频进行镜头分割来获取同一镜头下的帧序列；对获取的同一镜头下的帧序列进行采样，并将采样后的帧序列作为包括所述对象的图像帧序列。
[0019]可选地，检测单元被配置为：基于所述图像帧序列利用对象检测模型检测所述图像区域，动作识别单元被配置为：基于所述图像帧序列中的包括所述图像区域的连续图像帧序列，利用动作识别模型确定与所述对象的动作有关的信息，其中，所述对象检测模型和
所述动作识别模型是基于深度神经网络的模型。
[0020]可选地，与所述对象的动作有关的信息包括与动作类别有关的信息，或者包括与动作类别有关的信息以及与动作幅度有关的信息。
[0021]可选地，与所述对象的动作有关的信息包括所述对象的动作类别、动作类别的置信度以及动作幅度的大小，其中，动作识别单元被配置为：确定所述对象的动作类别是否属于预定动作类别以及动作类别的置信度和动作幅度的大小是否满足预定条件，并根据确定结果从所述图像帧序列筛选至少一部分图像帧序列。
[0022]可选地，动态图生成单元被配置为：获取与所述至少一部分图像帧序列匹配的文字并基于所述文字和所述至少一部分图像帧序列生成动态图。
[0023]可选地，所述获取与所述至少一部分图像帧序列匹配的文字并基于所述文字和所述至少一部分图像帧序列生成动态图，包括本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种生成动态图的方法，其特征在于，包括：获取包括对象的图像帧序列；检测所述图像帧序列中与所述对象相应的图像区域；基于所述图像帧序列和所述图像区域确定与所述对象的动作有关的信息，并根据与所述对象的动作有关的信息从所述图像帧序列筛选至少一部分图像帧序列；基于所述至少一部分图像帧序列生成动态图。2.如权利要求1所述的方法，其特征在于，所述获取包括对象的图像帧序列，包括：获取包括所述对象的视频；计算所述视频中相邻帧之间的相似性，并根据相似性对所述视频进行镜头分割来获取同一镜头下的帧序列；对获取的同一镜头下的帧序列进行采样，并将采样后的帧序列作为包括所述对象的图像帧序列。3.如权利要求2所述的方法，其特征在于，所述检测所述图像帧序列中与所述对象相应的图像区域，包括：基于所述图像帧序列利用对象检测模型检测所述图像区域，所述基于所述图像帧序列和所述图像区域确定与所述对象的动作有关的信息，包括：基于所述图像帧序列中的包括所述图像区域的连续图像帧序列，利用动作识别模型确定与所述对象的动作有关的信息，其中，所述对象检测模型和所述动作识别模型是基于深度神经网络的模型。4.如权利要求1所述的方法，其特征在于，与所述对象的动作有关的信息包括与动作类别有关的信息，或者包括与动作类别有关的信息以及与动作幅度有关的信息。5.如权利要求1所述的方法，其特征在于，与所述对象的动作有关的信息包括所述对象的动作类别、动作类别的置信度以及动作幅度的大小，其中，所述根据与所述对象的动作有关的信息从所述图像帧序列筛选至少一部分图像帧序列，包括：确定所述对象的动作类别...
【专利技术属性】
技术研发人员：谭冲，徐宁，李马丁，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。