视频合成方法、装置、设备、介质及产品制造方法及图纸

本公开实施例提供一种视频合成方法、装置、设备、介质及产品。该方法包括：对待处理视频中的图像帧进行图像分割，获得目标对象对应的区域图像和除区域图像之外的背景图像；确定区域图像对应的镜像图像；在第一扩展方向对所述区域图像进行扩展处理，获得至少一个第一扩展图像；至少一个第一扩展图像包括区域图像；在第二扩展方向对所述镜像图像进行扩展处理，获得至少一个第二扩展图像；对背景图像、至少一个第二扩展图像和至少一个第一扩展图像进行渲染，获得渲染结束时的目标渲染图像；将图像帧对应的目标渲染图像进行视频合成，获得待处理视频对应的目标视频。通过对视频图像的检测和扩展解决了视频处理方式较为单一的问题。测和扩展解决了视频处理方式较为单一的问题。测和扩展解决了视频处理方式较为单一的问题。

【技术实现步骤摘要】
视频合成方法、装置、设备、介质及产品


[0001]本公开实施例涉及计算机
，尤其涉及一种视频合成方法、装置、设备、介质及产品。

技术介绍

[0002]随着视频领域的迅速发展，短视频和直播视频等视频播放领域中对增加视频的趣味性需求日益增加。特别是在视频的实时采集场景中，目前的视频处理方式多是在视频中增加弹幕、贴图等趣味性内容。
[0003]但是，现有的视频趣味性提升的手段，对视频的处理方式较为单一，内容不够丰富，导致视频的传播速度不高，利用率不高。

技术实现思路

[0004]本公开实施例提供一种分身视频合成的视频合成方法、装置、设备、介质及产品，以克服现有技术中视频处理方式较为单一的技术问题。
[0005]第一方面，本公开实施例提供一种视频合成方法，包括：
[0006]对待处理视频中的图像帧进行图像分割，获得目标对象对应的区域图像和除所述区域图像之外的背景图像；
[0007]确定所述区域图像对应的镜像图像；
[0008]在第一扩展方向对所述区域图像进行扩展处理，获得至少一个第一扩展图像；至少一个所述第一扩展图像包括所述区域图像；
[0009]在第二扩展方向对所述镜像图像进行扩展处理，获得至少一个第二扩展图像；所述第一扩展方向和所述第二扩展方向不同；
[0010]对所述背景图像、至少一个所述第二扩展图像和至少一个所述第一扩展图像进行渲染，获得渲染结束时的目标渲染图像；
[0011]将所述图像帧对应的目标渲染图像进行视频合成，获得所述待处理视频对应的目标视频。
[0012]第二方面，本公开实施例提供一种用于视频合成装置，包括：
[0013]图像分割单元，用于对待处理视频中的图像帧进行图像分割，获得目标对象对应的区域图像和除所述区域图像之外的背景图像；
[0014]镜像处理单元，用于确定所述区域图像对应的镜像图像；
[0015]第一扩展单元，用于在第一扩展方向对所述区域图像进行扩展处理，获得至少一个第一扩展图像；至少一个所述第一扩展图像包括所述区域图像；
[0016]第二扩展单元，用于在第二扩展方向对所述镜像图像进行扩展处理，获得至少一个第二扩展图像；所述第一扩展方向和所述第二扩展方向不同；
[0017]图像渲染单元，用于对所述背景图像、至少一个所述第二扩展图像和至少一个所述第一扩展图像进行渲染，获得渲染结束时的目标渲染图像；
[0018]视频合成单元，用于将所述图像帧对应的目标渲染图像进行视频合成，获得所述待处理视频对应的目标视频。
[0019]第三方面，本公开实施例提供一种电子设备，包括：处理器以及存储器；
[0020]所述存储器存储计算机执行指令；
[0021]所述处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的视频合成方法。
[0022]第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的视频合成方法。
[0023]第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的视频合成方法。
[0024]本实施例中，对待处理视频中的图像帧进行分割，获得目标对象所在的区域图像和背景图像，利用区域图像和区域图像的镜像图像进行图像扩展，具体可以通过第一扩展方向对区域图像进行扩展，获得至少一个第一扩展图像，通过第二扩展方向对镜像图像进行扩展，获得至少一个第二扩展图像。通过图像的扩展，可以实现对目标对象的分身。进而通过至少一个第一扩展图像和至少一个第二扩展图像以及背景图像的渲染，获得具备目标对象分身的目标渲染图像。目标渲染图像是通过渲染背景图像、至少一个第二扩展图像和至少一个第一扩展图像获得的，可以展示第一扩展方向和第二扩展方向的扩展图像，提高图像的展示效率和趣味性。将图像帧对应的目标渲染图像进行视频合成，获得待处理视频的目标视频，通过自动完成图像渲染和目标视频的自动合成，可以提高视频的获取效率和精度，确保目标视频的播放速度和效率得到有效提升。
附图说明
[0025]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本公开实施例提供的一种用于分数视频合成方法的一个应用示意图；
[0027]图2为本公开实施例提供的一种视频合成方法的一个实施例的流程图；
[0028]图3为本公开实施例提供的一个镜像图像的示例图；
[0029]图4为本公开实施例提供的一种视频合成方法的又一个实施例的流程图；
[0030]图5为本公开实施例提供的一个位移点的示例图；
[0031]图6为本公开实施例提供的一种视频合成方法的又一个实施例的流程图；
[0032]图7为本公开实施例提供的一个目标渲染图像的示例图；
[0033]图8为本公开实施例提供的一种视频合成方法的又一个实施例的流程图；
[0034]图9为本公开实施例提供的一种视频合成装置的一个结构示例图；
[0035]图10为本公开实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
[0036]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0037]本公开的技术方案可以应用于视频领域，可以通过对视频进行分身提取并扩展、渲染获得渲染图像，并利用各个视频帧的渲染图像合成视频，这一过程中从图像帧提取至图像分割、图像扩展以及渲染合成，均可以自动完成，获得渲染结束时的分视视频，提高分身视频的显示效率。
[0038]相关技术中，各种直播视频、短视频对视频的实时处理性需求较高。目前，较为常见的视频实时处理方式一般是，在视频中增加弹幕、贴图等内容，实现视频播放趣味性的提升。但是，这种处理方式较为单一，对视频的传播速度和推荐速度的提升并不高。
[0039]为了解决上述技术问题，本公开中考虑增加对视频中处于运动状态的对象进行分身，以增加视频为趣味性。因此，考虑对每帧图像进行自动分身，然后将分数后的视频帧合成为目标视频。为了获得分身的图像，可以将目标对象的区域图像和镜像图像在不同方向进行扩展，然后将扩展的图像进行统一渲染，获得对应的目标渲染图像。通过这种方式可以实现图像中的对象分身以利用视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频合成方法，其特征在于，包括：对待处理视频中的图像帧进行图像分割，获得目标对象对应的区域图像和除所述区域图像之外的背景图像；确定所述区域图像对应的镜像图像；在第一扩展方向对所述区域图像进行扩展处理，获得至少一个第一扩展图像；至少一个所述第一扩展图像包括所述区域图像；在第二扩展方向对所述镜像图像进行扩展处理，获得至少一个第二扩展图像；所述第一扩展方向和所述第二扩展方向不同；对所述背景图像、至少一个所述第二扩展图像和至少一个所述第一扩展图像进行渲染，获得渲染结束时的目标渲染图像；将所述图像帧对应的目标渲染图像进行视频合成，获得所述待处理视频对应的目标视频。2.根据权利要求1所述的方法，其特征在于，所述在第一扩展方向对所述区域图像进行扩展处理，获得至少一个第一扩展图像，包括：确定所述目标对象在所述图像帧对应的位移速度；以所述区域图像的原始位置点作为基础，按照所述位移速度和第一扩展方向进行位移处理，获得包含所述原始位置点的至少一个正向位移点；将所述区域图像复制到所述正向位移点，获得所述区域图像在至少一个所述正向位移点分别对应的第一扩展图像。3.根据权利要求2所述的方法，其特征在于，所述以所述区域图像的原始位置点作为基础，按照所述位移速度和第一扩展方向进行位移处理，获得包含所述原始位置点的至少一个正向位移点，包括：确定所述区域图像的区域宽度和所述图像帧的图像宽度；基于所述区域宽度和所述图像宽度，结合所述位移速度，在所述第一扩展方向上计算所述区域图像的正向位移数量以及正向偏移步长；根据所述区域图像的原始位置，按照正向偏移步长和所述正向位移数量，确定至少一个正向位置点，获得所述原始位置点和至少一个所述正向位置点构成的所述至少一个正向位移点。4.根据权利要求1所述的方法，其特征在于，所述在第二扩展方向对所述镜像图像进行扩展处理，获得至少一个第二扩展图像，包括：确定所述目标对象在所述图像帧对应的位移速度；以所述区域图像的原始位置点作为基础，基于所述位移速度和第二扩展方向进行位移处理，获得与所述原始位置点相对应的至少一个反向位移点；将所述镜像图像复制到所述反向位移点，获得所述镜像图像在至少一个所述反向位移点分别对应的第二扩展图像。5.根据权利要求4所述的方法，其特征在于，所述以所述区域图像的原始位置点作为基础，基于所述位移速度和第二扩展方向进行位移处理，获得与所述原始位置点相对应的至少一个反向位移点，包括：确定所述区域图像的区域宽度和所述图像帧的图像宽度；
基于所述区域宽度和所述图像宽度，结合所述位移速度，在所述第二扩展方向上计算所述区域图像的反向位移数量以及反向偏移步长；根据所述区域图像的原始位置，按照反向偏移步长和所述反向偏移数量，确定至少一个反向位置点，获得至少一个所述反向位置点构成的至少一所述反向位移点。6.根据权利要求2或3所述的方法，其特征在于，所述确定所述目标对象在所述图像帧对应的位移速度，包括：确定所述图像帧在所述待处理视频对应的前一个图像帧；确定所述目标对象在所述前一个图像帧的第一位置和在所述图像帧的第二位置；根据所述第一位置和所述第二位置，计算所述目标对象对应的位移量；利用所述待处理视频的图像帧显示时间间隔，和所述位移量，计算获得所述目标对象在所述图像帧对应的位移速度。7.根据权利要求1所述的方法，其特征在于，所述对所述背景图像、至少一个所述第二扩展图像和至少一个所述第一扩展图像进行渲染，获得渲染结束时的目标渲染图像，包括：按照所述背景图像为第一渲染顺序，至少一个所述第二扩展图像为第二渲染顺序和至少一个所述第一扩展图像为第三渲染顺序，依次叠加渲染所述背景图像、至少一个所述第二扩展图像和至少一个所述第一扩展图像，获得渲染结束时的所述目标渲染图像。8.根据权利要求7所述的方法，其特征在于，所述依次叠加渲染所述背景图像、至少一个所述第二扩展图像和至少一个所述...

【专利技术属性】
技术研发人员：杨焜傲，王婕，高晶，李秋婷，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：