一种图像处理方法、系统、装置、设备及介质制造方法及图纸

本申请公开了一种图像处理方法、系统、装置、设备及介质，用以解决现有确定图像中的背景区域不准确的问题。由于预先训练有边缘检测模型，通过该边缘检测模型可以考虑相邻两帧图像中包含目标人物的区域之间的相关性，来确定图像中归属于目标人物的第一像素点，使得在获取到图像中包含目标人物的第一区域后，通过该边缘检测模型，基于该第一区域以及上一帧图像中包含目标人物的第二区域，所确定的第一区域中归属于目标人物的第一像素点更准确，进而使得后续根据该第一像素点所确定的图像中的背景区域也更准确，有效地将图像中的目标人物与背景区域准确地分割出来。背景区域准确地分割出来。背景区域准确地分割出来。

【技术实现步骤摘要】
一种图像处理方法、系统、装置、设备及介质


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法、系统、装置、设备及介质。

技术介绍

[0002]在目前视频通话领域中，为了保护用户隐私，或提高通话过程的趣味性，越来越多的应用会采用目标分割技术，对视频所包含的图像中除目标人物之外的区域(记为背景)进行替换。
[0003]为了实现对视频中每帧图像中的背景进行替换，针对获取到的每帧图像，确定当前获取到的图像中目标人物的第一区域，然后通过预先训练的图像分割模型，基于该第一区域，确定该第一区域中归属于目标人物的第一像素点。根据该第一像素点，确定该图像中的背景区域。后续根据背景区域在预存的目标背景图像中对应的像素点，对该背景区域中包含的像素点进行更新。对于上述方法，由于视频是由连续多帧图像构成的，每帧图像中的背景区域可能会不断发生变化，造成确定出的归属于目标人物的第一像素点不准确，进而造成确定的图像中的背景区域也不准确，影响后续背景替换的效果的问题。

技术实现思路

[0004]本申请提供了一种图像处理方法、系统、装置、设备及介质，用以解决现有确定图像中的背景区域不准确的问题。
[0005]第一方面，本申请提供了一种图像处理方法，所述方法包括：
[0006]确定获取到的图像中包含目标人物的第一区域；
[0007]通过预先训练的边缘检测模型，基于所述第一区域以及上一帧图像中包含所述目标人物的第二区域，确定所述第一区域中归属于所述目标人物的第一像素点；
[0008]根据所述第一像素点，确定所述图像中的背景区域。
[0009]第二方面，本申请提供了一种图像处理系统，所述系统包括用于执行上述所述方法的服务器以及用于采集图像并发送的智能设备。
[0010]第三方面，本申请提供了一种图像处理装置，所述装置包括：
[0011]预处理单元，用于确定获取到的图像中包含目标人物的第一区域；
[0012]第一处理单元，用于通过预先训练的边缘检测模型，基于所述第一区域以及上一帧图像中包含所述目标人物的第二区域，确定所述第一区域中归属于所述目标人物的第一像素点；
[0013]第二处理单元，用于根据所述第一像素点，确定所述图像中的背景区域。
[0014]第四方面，本申请提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述所述图像处理方法的步骤。
[0015]第五方面，本申请提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述图像处理方法的步骤。
[0016]由于预先训练有边缘检测模型，通过该边缘检测模型可以考虑相邻两帧图像中包含目标人物的区域之间的相关性，来确定图像中归属于目标人物的第一像素点，使得在获取到图像中包含目标人物的第一区域后，通过该边缘检测模型，基于该第一区域以及上一帧图像中包含目标人物的第二区域，所确定的第一区域中归属于目标人物的第一像素点更准确，进而使得后续根据该第一像素点所确定的图像中的背景区域也更准确，有效地将图像中的目标人物与背景区域准确地分割出来。
附图说明
[0017]为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本申请一些实施例提供的一种图像处理过程示意图；
[0019]图2为本申请一些实施例提供的具体的确定图像中包含目标人物的区域的流程示意图；
[0020]图3为本申请一些实施例提供的具体的确定图像中属于目标人物的像素点的流程示意图；
[0021]图4为本申请一些实施例提供的具体的图像处理的流程示意图；
[0022]图5为本申请一些实施例提供的具体的图像处理流程示意图；
[0023]图6为本申请一些实施例提供的一种图像处理系统的结构示意图；
[0024]图7为本申请一些实施例提供的一种图像处理装置的结构示意图；
[0025]图8为本申请一些实施例提供的一种电子设备结构示意图。
具体实施方式
[0026]为了提高确定图像中背景区域的准确性，本申请提供了一种图像处理方法、装置、设备及介质。
[0027]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图本申请作进一步地详细描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]在实际应用过程中，当用户希望在视频通话过程中替换视频中每帧图像的背景时，用户可以通过操作智能设备的显示屏上的背景替换的图标，或对智能设备输入背景变换的语音信息，以控制智能设备直接对摄像头采集的图像，进行相应的处理，以实现对采集的图像中背景的替换；也可以是用户通过操作智能设备的显示屏上的背景录入的图标，或对智能设备输入背景替换的语音信息，以使智能设备将获取到的图像发送至电子设备，以便电子设备对接收到的图像进行处理，从而实现对图像中的背景进行替换。
[0029]图1为本申请一些实施例提供的一种图像处理过程示意图，该过程包括：
[0030]S101：确定获取到的图像中包含目标人物的第一区域。
[0031]本申请提供的图像处理方法应用于电子设备，该电子设备可以是试衣镜、智能手机、电视等智能设备，也可以是服务器，比如，家庭大脑。
[0032]在本申请中，电子设备获取到的图像，可以是自身的摄像头采集的，也可以是其他智能设备发送的图像。当电子设备获取到图像之后，基于本申请提供的图像处理方法，对该图像进行相应的处理。
[0033]在一种可能的实施方式中，若电子设备为服务器，当用户希望在视频通话过程中替换视频中每帧图像的背景时，用户可以通过操作智能设备的显示屏上的背景替换的图标，或对智能设备输入背景变换的语音信息，向智能设备输入背景替换的请求。智能设备接收到用户输入的背景替换的请求后，将通过摄像头采集到的每帧图像依次发送至服务器。服务器获取到图像后，基于本申请提供的图像处理方法，对该图像进行相应的处理，确定该图像中包含的背景区域。
[0034]由于是对图像中的背景进行替换，只保留图像中包含的目标人物。因此，当电子设备获取到图像后，可以先识别图像中归属于目标人物的像素点(记为第一像素点)。而为了减少计算量，帮助后续快速且准确地确定图像中归属于目标人物的第一像素点，可以先对获取到的图像进行预处理，获取该图像中包含目标人物的区域(记为第一区域)。其中，该第一区域中可以包括归属于目标人物的第一像素点，也可以包括不归属于该目标人物的像素点。
[0035]需要说明的是，该第一区域可以是矩形、圆形、椭圆形等规则形状，也可以是不规则形状，具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：确定获取到的图像中包含目标人物的第一区域；通过预先训练的边缘检测模型，基于所述第一区域以及上一帧图像中包含所述目标人物的第二区域，确定所述第一区域中归属于所述目标人物的第一像素点；根据所述第一像素点，确定所述图像中的背景区域。2.根据权利要求1所述的方法，其特征在于，所述确定获取到的图像中包含目标人物的第一区域，包括：获取所述图像中包含所述目标人物的候选区域；确定所述候选区域与上一帧图像所对应的第二区域之间的相似度；其中，若所述上一帧图像为第一帧图像，所述第一帧图像对应的第二区域是根据所述第一帧图像中包含的满足人脸选取条件的人脸所归属的人物的区域确定的；将相似度满足预设匹配条件的一个候选区域确定为所述第一区域。3.根据权利要求2所述的方法，其特征在于，确定所述第一帧图像中包含的满足人脸选取条件的人脸，包括：获取预设的目标人脸图像；通过人脸识别算法，确定所述第一帧图像中的人脸与所述目标人脸图像的相似度；将相似度大于预设的相似度阈值的人脸确定为满足人脸选取条件的人脸；或确定所述第一帧图像中人脸的优先级，将优先级最高的人脸确定为满足人脸选取条件的人脸；所述优先级根据人脸与摄像头之间的距离、人脸在图像中的位置、人脸尺寸、人脸的表情分数以及人脸偏转角度中至少一项确定的。4.根据权利要求1所述的方法，其特征在于，所述确定所述第一区域中归属于所述目标人物的第一像素点之后，所述根据所述第一像素点，确定所述图像中的背景区域之前，所述方法还包括：从所述图像中确定包含所述第一像素点的子图像；通过预先训练的连通域检测模型，基于所述子图像，确定所述子图像中归属于所述目标人物的第二像素点，并根据所述第二像素点对所述第一像素点进行更新。5.根据权利要求4所述的方法，其特征在于，所述连通域检测模型和所述边缘检测模型通过如下方式训练：获取样本集中的任一样本数据；所述样本数据包括第一样本图像、第二样本图像以及样本人物在所述第二样本图像中的实际像素点，所述第一样本图像和所述第二样本图像...

【专利技术属性】
技术研发人员：翟世平，高雪松，陈维强，曲磊，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：