图像分割方法、装置、电子设备及程序产品制造方法及图纸

本公开实施例提供的图像分割方法、装置、电子设备及程序产品，通过获取同一时刻的直播场景的视频帧图像和深度帧图像；利用目标对象分割算法，确定所述视频帧图像中的目标对象分割结果；根据所述视频帧图像和所述深度帧图像，确定所述直播场景的前景图像和后景图像；利用所述直播场景的前景图像和后景图像分别对所述目标对象分割结果进行矫正处理，得到所述直播场景的图像分割结果。与现有技术相比，本公开中由于利用了前景图像和后景图像分别对目标对象分割结果进行矫正处理，以使得到的图像分割结果中既包括有目标对象图像，又包括有直播场景中与目标对象相关的其他对象图像，有效提升了直播效果。有效提升了直播效果。有效提升了直播效果。

【技术实现步骤摘要】
图像分割方法、装置、电子设备及程序产品


[0001]本公开实施例涉及计算机领域，尤其涉及一种图像分割方法、装置、电子设备及程序产品。

技术介绍

[0002]随着互联网技术的发展，基于视频直播技术的直播场景逐步走入人们生活。为了有更好的视频直播效果，直播场景中往往会利用图像分割技术，以去除背景对直播场景中主播人物的干扰。
[0003]在现有技术中，图像分割技术仅能对于直播场景中的人物进行分割和处理。但是，对于与人物相关的其他图像却无法进行同步分割，如对于人物身上的配饰道具或人物手持的商品将被去除而不进行显示，这将影响直播效果。

技术实现思路

[0004]针对上述问题，本公开实施例拱了一种图像分割方法、装置、电子设备及程序产品，以通过利用直播场景的前景图像和后景图像对目标对象分割结果进行结果矫正，使得矫正后的图像分割结果更精准，提升直播效果。
[0005]第一方面，本公开实施例提供了一种图像分割方法，包括：
[0006]获取同一时刻的直播场景的视频帧图像和深度帧图像；
[0007]利用目标对象分割算法，确定所述视频帧图像中的目标对象分割结果；
[0008]根据所述视频帧图像和所述深度帧图像，确定所述直播场景的前景图像和后景图像；
[0009]利用所述直播场景的前景图像和后景图像分别对所述目标对象分割结果进行矫正处理，得到所述直播场景的图像分割结果。
[0010]第二方面，本公开实施例提供了一种图像分割装置，包括：
[0011]获取模块，用于获取同一时刻的直播场景的视频帧图像和深度帧图像；
[0012]第一处理模块，用于利用目标对象分割算法，确定所述视频帧图像中的目标对象分割结果；
[0013]第二处理模块，用于根据所述视频帧图像和所述深度帧图像，确定所述直播场景的前景图像和后景图像；
[0014]第三处理模块，用于利用所述直播场景的前景图像和后景图像分别对所述目标对象分割结果进行矫正处理，得到所述直播场景的图像分割结果。
[0015]第三方面，本公开实施例提供了一种电子设备，包括：至少一个处理器；以及
[0016]存储器；
[0017]所述存储器存储计算机执行指令；
[0018]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述方法。
[0019]第四方面，本公开实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述方法。
[0020]第五方面，本公开实施例提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现第一方面任一项所述方法。
[0021]本公开实施例提供的图像分割方法、装置、电子设备及程序产品，通过获取同一时刻的直播场景的视频帧图像和深度帧图像；利用目标对象分割算法，确定所述视频帧图像中的目标对象分割结果；根据所述视频帧图像和所述深度帧图像，确定所述直播场景的前景图像和后景图像；利用所述直播场景的前景图像和后景图像分别对所述目标对象分割结果进行矫正处理，得到所述直播场景的图像分割结果。与现有技术相比，本公开中由于利用了前景图像和后景图像分别对目标对象分割结果进行矫正处理，以使得到的图像分割结果中既包括有目标对象图像，又包括有直播场景中与目标对象相关的其他对象图像，有效提升了直播效果。
附图说明
[0022]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为现有技术中的一种直播场景下的图像分割的示意图；
[0024]图2为本公开所基于的一种网络架构的示意图；
[0025]图3为本公开实施例提供的一种图像分割方法的流程示意图；
[0026]图4为本公开所基于的一种直播场景中拍摄设备的布局示意图；
[0027]图5为本公开所基于的一种图像分割方法的第一界面示意图；
[0028]图6为本公开所基于的一种图像分割方法的第二界面示意图；
[0029]图7为本公开所基于的一种图像分割方法的第三界面示意图；
[0030]图8为本公开所基于的一种图像分割方法的第四界面示意图；
[0031]图9为本公开实施例提供的图像分割装置的结构框图；
[0032]图10为公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0033]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0034]随着互联网技术的发展，基于视频直播技术的直播场景逐步走入人们生活。为了有更好的视频直播效果，直播场景中往往会利用图像分割技术，以去除背景对直播场景中主播人物的干扰。
[0035]示例性的，图1为现有技术中的一种直播场景下的图像分割的示意图，如图1中左
图所示的，在直播场景中存在有主播人物和主播人物手中的商品。现有的图像分割技术一般基于人物识别算法实现，即通过对直播场景图像中的人物进行人物识别处理，以确定人物在直播场景图像中的位置和轮廓，再通过“抠图”技术将人物的人物图像从直播场景图像中分割出来，并将直播场景图像中的剩余图像进行图像美化或特效处理，以得到最后的直播场景图像，如图1右图所示。
[0036]但是显然的，对于如图1所示的直播场景来说，现有图像分割处理后的直播场景中对于“商品”部分的图像内容是缺少的，而却将直播场景的背景中的与直播人物无关的其他人物一并进行了展示。
[0037]也就是说，在现有技术中，由于图像分割技术仅能对于直播场景中的人物进行分割和处理，而对于与人物相关的其他图像却无法进行同步分割，如对于人物身上的配饰道具或人物手持的商品将被去除而不进行显示，同时，现有技术仅支持对于人物的识别和抠图，这容易将与当前直播无关的其他人物一并分割出来并进行展示，这些将影响直播效果。
[0038]针对这样的问题，根据本公开的实施例在基于直播场景的视频帧图像进行分割处理的基础上，还可同步获取直播场景的深度帧图像，并基于视频帧图像和深度帧图像确定出直播场景的前景图像和后景图像；然后，利用该前景图像和后景图像分别对目标对象分割结果进行矫正处理，得到所述直播场景的图像分割结果。与现有技术相比，由于本公开利用了前景图像和后景图像分别对目标对象分割结果进行矫正处理，以使得到的图像分割结果中既包括有人物图像，又包括有直播场景中与人物相关的其他图像，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割方法，其特征在于，包括：获取同一时刻的直播场景的视频帧图像和深度帧图像；利用目标对象的分割算法，确定所述视频帧图像中的目标对象分割结果；根据所述视频帧图像和所述深度帧图像，确定所述直播场景的前景图像和后景图像；利用所述直播场景的前景图像和后景图像分别对所述目标对象分割结果进行矫正处理，得到所述直播场景的图像分割结果。2.根据权利要求1所述的图像分割方法，其特征在于，所述根据所述视频帧图像和所述深度帧图像，确定所述直播场景的前景图像和后景图像，包括：对所述视频帧图像和所述深度帧图像进行背景建模处理，得到直播场景中前景与后景的分界面；根据所述分界面对所述深度帧图像进行前后景分割处理，得到所述直播场景的前景图像和后景图像。3.根据权利要求2所述的图像分割方法，其特征在于，所述对所述视频帧图像和所述深度帧图像进行背景建模处理，得到直播场景中前景与后景的分界面，包括：利用所述视频帧图像和所述深度帧图像生成所述直播场景的点云数据，其中所述直播场景的点云数据中包括有直播场景中各对象的图像坐标和深度坐标；利用背景建模算法，对所述直播场景的点云数据进行建模处理，得到所述直播场景中前景与后景的分界面的图像坐标和深度坐标。4.根据权利要求3所述的图像分割算法，其特征在于，所述背景建模算法包括行进立方体Marching Cube算法。5.根据权利要求2所述的图像分割算法，其特征在于，所述根据所述分界面对所述深度帧图像进行前后景分割处理，得到所述直播场景的前景图像和后景图像，包括：将所述深度帧图像中的每一对象的图像深度，与所述分界面的图像深度进行深度比对；根据直播场景中各对象的深度比对结果，确定所述前景图像和所述后景图像；其中，所述前景图像中包括有图像深度小于所述分界面的图像深度的前景对象；所述后景图像中包括有图像深度大于等于所述分界面的图像深度的后景对象。6.根据权利要求1所述的图像分割算法，其特征在于，利用所述直播场景的前景图像对所述目标对象分割结果进行矫正处理，包括：根据前景图像中各前景对象的图像深度以及目标对象分割结果中各目标对象的图像深度，对所述目标对象分割结果进行结果增加的矫正处理，得到所述直播场景的图像分割结果。7.根据权利要求1所述的图像分割算法，其特征在于，对所述目标对象分割结果进行结果增加的矫正处理，得到所述直播场景的图像分割结果，包括：在前景图像的各前景对...

【专利技术属性】
技术研发人员：焦少慧，程京，王悦，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：