一种视频的合成方法、装置及设备制造方法及图纸

本说明书提供了一种视频的合成方法、装置及设备。该方法包括：将多帧图像输入至预先构建的目标抠像模型中，得到多个不同状态的目标对象；其中，所述预先构建的目标抠像模型包括卷积门控循环单元、上采样单元；所述目标对象由所述卷积门控循环单元和所述上采样单元处理所述多帧图像得到；获取目标背景图像，将所述多个不同状态的目标对象与所述目标背景图像进行融合，得到目标视频。基于上述方法能够实时、高效、低时延、高质量地完成视频的合成。高质量地完成视频的合成。高质量地完成视频的合成。

【技术实现步骤摘要】
一种视频的合成方法、装置及设备


[0001]本说明书涉及视频数据处理
，尤其涉及一种视频的合成方法、装置及设备。

技术介绍

[0002]随着社会的不断发展，视频直播和远程会议已经成为人们日常生活、学习和工作中必不可少的沟通方式。然而，在实际应用过程中，复杂或单一的背景往往会影响直播和会议的视觉效果，而较高的延迟则降低了在线互动的实时性。因此，急需一种高效、实用、易用的视频合成方法，以满足用户在视频直播或会议等场景下的需求。
[0003]基于现有的视频合成方法，无法实时、高效、低时延、高质量地完成视频合成。
[0004]针对上述问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本说明书提供了一种视频的合成方法、装置及设备，以解决现有技术无法实时、高效、低时延、高质量地完成视频合成的问题。
[0006]一方面，本说明书实施例提供了一种视频的合成方法，包括：
[0007]将多帧图像输入至预先构建的目标抠像模型中，得到多个不同状态的目标对象；其中，所述预先构建的目标抠像模型包括卷积门控循环单元、上采样单元；所述目标对象由所述卷积门控循环单元和所述上采样单元处理所述多帧图像得到；
[0008]获取目标背景图像，将所述多个不同状态的目标对象与所述目标背景图像进行融合，得到目标视频。
[0009]进一步地，所述将多帧图像输入至预先构建的目标抠像模型之前，还包括：
[0010]获取初始视频；其中，所述初始视频具有视频信息，所述视频信息包括以下至少之一：视频编码格式、帧率、分辨率；
[0011]根据所述视频编码格式，查找初始视频对应的目标解码器；
[0012]根据所述目标解码器按照所述帧率、分辨率对所述初始视频进行解码，得到多帧图像。
[0013]进一步地，所述预先构建的目标抠像模型还包括：特征提取单元，相应地，所述将多帧图像输入至预先构建的目标抠像模型中，得到多个不同状态的目标对象，包括：
[0014]将多帧图像输入至预先构建的目标抠像模型中，以基于所述特征提取单元依次对多帧图像中的各帧图像进行特征提取，得到多个特征图像；
[0015]基于所述卷积门控循环单元和所述上采样单元处理所述多个特征图像，得到多个不同状态的目标对象。
[0016]进一步地，所述基于所述卷积门控循环单元和所述上采样单元处理所述多个特征图像，得到多个不同状态的目标对象，包括：
[0017]基于所述卷积门控循环单元处理所述多个特征图像，得到多个具有时序信息的特
征图像；
[0018]基于上采样单元对所述多个具有时序信息的特征图像进行上采样，得到多个细节特征图；
[0019]基于上采样单元从多个细节特征图像中的各个细节特征图中依次获取多个不同状态的目标对象。
[0020]进一步地，所述获取目标背景图像，包括：
[0021]获取待融合背景图像的输入特征；
[0022]根据所述待融合背景图像的输入特征，确定待融合背景图像的通道特征；
[0023]根据所述待融合背景图像的通道特征对所述待融合背景图像进行归一化处理，得到目标背景图像。
[0024]进一步地，所述将所述多个不同状态的目标对象与所述目标背景图像进行融合，得到目标视频，包括：
[0025]获取不同状态的目标对象的输入特征；
[0026]根据所述不同状态的目标对象的输入特征，确定不同状态的目标对象的通道特征；
[0027]根据所述不同状态的目标对象的通道特征和待融合背景图像的通道特征，确定与待融合背景图像适配的第二目标对象集；
[0028]将所述第二目标对象集与所述目标背景图像进行融合，得到目标视频。
[0029]进一步地，所述将所述第二目标对象集与所述目标背景图像进行融合，得到目标视频，包括：
[0030]将所述第二目标对象集中的各个第二目标对象按照时间顺序，依次与所述目标背景图像进行融合，得到多个具有不同时序状态的融合图像；
[0031]将多个具有不同时序状态的融合图像进行融合，得到目标视频。
[0032]另一方面，本说明书实施例还提供了一种视频的合成装置，包括：
[0033]抠像模块，用于将多帧图像输入至预先构建的目标抠像模型中，得到多个不同状态的目标对象；其中，所述预先构建的抠像模型包括卷积门控循环单元、上采样单元；所述目标对象由所述卷积门控循环单元和所述上采样单元处理所述多帧图像得到；
[0034]合成模块，用于获取目标背景图像，获取目标背景图像，将所述多个不同状态的目标对象与所述目标背景图像进行融合，得到目标视频。
[0035]再一方面，本申请还提供了一种视频的合成设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：将多帧图像输入至预先构建的目标抠像模型中，得到多个不同状态的目标对象；其中，所述预先构建的目标抠像模型包括卷积门控循环单元、上采样单元；所述目标对象由所述卷积门控循环单元和所述上采样单元处理所述多帧图像得到；获取目标背景图像，将所述多个不同状态的目标对象与所述目标背景图像进行融合，得到目标视频。
[0036]再一方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机可读存储介质执行所述指令时实现：将多帧图像输入至预先构建的目标抠像模型中，得到多个不同状态的目标对象；其中，所述预先构建的目标抠像模型包括卷积门控循环单元、上采样单元；所述目标对象由所述卷积门控循环单元和所述上采样单元处理所述多
帧图像得到；获取目标背景图像，将所述多个不同状态的目标对象与所述目标背景图像进行融合，得到目标视频。
[0037]本说明书提供的一种视频的合成方法、装置及设备，首先，将多帧图像输入至预先构建的目标抠像模型中，得到多个不同状态的目标对象；其中，所述预先构建的目标抠像模型包括卷积门控循环单元、上采样单元；所述目标对象由所述卷积门控循环单元和所述上采样单元处理所述多帧图像得到；其次，获取目标背景图像，将所述多个不同状态的目标对象与所述目标背景图像进行融合，得到目标视频。本说明实施例中采用的目标抠像模型中的卷积门控循环单元可以聚合画面时间信息，提升抠像质量和稳定性。采用的上采样单元可以优化画面质量，消除边缘锯齿和噪点，使得抠像效果更加平滑自然。本说明实施例中通过将多帧图像输入至目标抠像模型中，基于卷积门控单元和上采样单元综合处理多帧图像，可以准确快速地得到多个不同状态的目标对象，提高不同状态下的目标对象的抠像效率。本说明实施例中将多个不同状态下的目标对象与实时获取的目标背景图像进行融合，可以避免因光线、阴影等因素导致的画面不一致现象，提高不同状态下的目标对象的融合效果。
附图说明
[0038]为了更清楚地说明本说明书实施例，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频的合成方法，其特征在于，包括：将多帧图像输入至预先构建的目标抠像模型中，得到多个不同状态的目标对象；其中，所述预先构建的目标抠像模型包括卷积门控循环单元、上采样单元；所述目标对象由所述卷积门控循环单元和所述上采样单元处理所述多帧图像得到；获取目标背景图像，将所述多个不同状态的目标对象与所述目标背景图像进行融合，得到目标视频。2.根据权利要求1所述的方法，其特征在于，所述将多帧图像输入至预先构建的目标抠像模型之前，还包括：获取初始视频；其中，所述初始视频具有视频信息，所述视频信息包括以下至少之一：视频编码格式、帧率、分辨率；根据所述视频编码格式，查找所述初始视频对应的目标解码器；根据所述目标解码器按照所述帧率、分辨率对所述初始视频进行解码，得到多帧图像。3.根据权利要求1所述的方法，其特征在于，所述预先构建的目标抠像模型还包括：特征提取单元，相应地，所述将多帧图像输入至预先构建的目标抠像模型中，得到多个不同状态的目标对象，包括：将多帧图像输入至预先构建的目标抠像模型中，以基于所述特征提取单元依次对多帧图像中的各帧图像进行特征提取，得到多个特征图像；基于所述卷积门控循环单元和所述上采样单元处理所述多个特征图像，得到多个不同状态的目标对象。4.根据权利要求3所述的方法，其特征在于，所述基于所述卷积门控循环单元和所述上采样单元处理所述多个特征图像，得到多个不同状态的目标对象，包括：基于所述卷积门控循环单元处理所述多个特征图像，得到多个具有时序信息的特征图像；基于上采样单元对所述多个具有时序信息的特征图像进行上采样，得到多个细节特征图；基于上采样单元从多个细节特征图像中的各个细节特征图中依次获取多个不同状态的目标对象。5.根据权利要求1所述的方法，其特征在于，所述获取目标背景图像，包括：获取待融合背景图像的输入特征；根据...

【专利技术属性】
技术研发人员：赵满堂，穆凯辉，鲁永泉，
申请(专利权)人：苏州创意云网络科技有限公司，
类型：发明
国别省市：