背景替换的方法和电子设备技术

本申请提供了一种背景替换的方法，该方法通过基于图像分割轻量模型对第一图像进行分割，确定出第一图像中的目标对象所在的区域和背景内容所在的区域，当用户不满意背景替换的效果时，用户可以通过背景替换训练操作，对图像分割轻量模型进行训练，直到达到用户满足的背景替换效果。这样，用户在不满意基于当前图像分割轻量模型进行背景替换的替换效果时，可以通过用户操作开启图像分割轻量模型的训练，提高图像分割轻量模型的分割准确度，从而在进行背景替换时，提高背景替换的准确度，减少了替换出错的概率，提升用户体验。提升用户体验。提升用户体验。

【技术实现步骤摘要】
背景替换的方法和电子设备


[0001]本申请涉及终端领域，尤其涉及背景替换的方法和电子设备。

技术介绍

[0002]为了降低应用的使用环境限制，保护用户的隐私，背景替换在很多视频应用中成为刚需，例如，视频通话、视频会议、视频客服等。其中，背景替换是一种将视频或图像中包含的背景区域的内容替换为指定背景内容的技术。在背景替换中，较核心的步骤是图像分割，即通过图像分割模型将输入的图像分割成目标区域和背景区域。
[0003]目前，图像分割模型的训练是预先收集目标对象的大量历史图像或视频数据构建图像数据集，然后利用该图像数据集对图像分割模型进行训练，得到针对目标对象的优化好的图像分割模型。因此图像分割的准确性依赖于在图像分割模型的训练过程中使用的图像数据集的质量，而预先收集的图像数据集无法囊括所有个体特征，当图像数据集质量较低，即不包含目标对象的某一些个体特征时，在使用训练好的图像分割模型对包含目标对象的这些个体特征的图像进行分割时，该图像的目标区域中包含这些个体特征的区域会被当作背景区域，这样会导致图像分割的准确度不佳，进而在图像背景替换时，会导致替换出错，影响用户体验。

技术实现思路

[0004]本申请提供了一种背景替换的方法和电子设备，实施该方法能够提升背景分割模型的图像分割准确率，进而提升背景替换的准确度，提升用户体验。
[0005]第一方面，本申请实施例提供了一种背景替换的方法，该方法包括，电子设备显示对第一图像进行第一背景替换得到的第二图像；第一背景替换基于第一图像分割轻量模型进行；第一图像中包括目标对象所在的区域和第一背景内容所在的区域；第二图像为将第一图像中的第一背景内容替换为第二背景内容得到的；第二背景内容与所述第一背景内容不同；响应于用户的背景替换训练操作，电子设备显示第一姿态图，第一姿态图用于指示用户做出第一姿态；电子设备获取第三图像，第三图像中用户的姿态为所述第一姿态；电子设备显示对第一图像进行第二背景替换得到的第四图像；第二背景替换基于目标图像分割轻量模型进行,目标图像分割轻量模型是基于第三图像训练得到；第四图像为将第一图像中的第一背景内容替换为第二背景内容得到的。
[0006]可以理解的是，电子设备在检测到背景替换训练操作后，显示第一姿态图指示用户做出第一姿态，接着电子设备获取到包括用户的第三图像，该第三图像中用户的姿态为第一姿态。电子设备使用该第三图像作为第一图像分割轻量模型的训练数据，可以获取到用户的最新的个体特征。这样，使用该第三图像训练得到的目标图像分割轻量模型的对图像的分割准确度更高。也就是说，目标图像分割轻量模型可以更为准确地从图像中分割出目标对象和背景内容。因此，对于基于第一图像分割轻量模型对第一图像进行第一背景替换得到的第二图像，和基于目标图像分割轻量模型对第一图像进行第一背景替换得到的第
四图像来说，目标对象所在的区域的大小在第四图像中相比在第二图像中，更接近在第一图像中目标对象所在的区域的大小。即，第四图像的背景替换的准确度高于第二图像的背景替换的准确度。目标图像分割轻量模型的分割准确度高于第一图像分割轻量模型的分割准确度。
[0007]实施第一方面的方法，电子设备使用图像分割轻量模型对第一图像进行分割，确定出第一图像中的目标对象所在的区域和背景内容所在的区域，当用户不满意背景替换的效果时，用户可以通过背景替换训练操作，对图像分割轻量模型进行训练，直到达到用户满足的背景替换效果。这样，用户在不满意基于当前图像分割轻量模型进行背景替换的效果时，可以通过用户操作开启图像分割轻量模型的训练，提高图像分割轻量模型的分割准确度，从而提高背景替换的准确度，提升用户体验。
[0008]结合第一方面，在一些实现方式中，在电子设备显示对所述第一图像进行第二背景替换得到的第四图像之前，上述方法还包括：电子设备将第三图像输入至图像分割全量模型，得到第一分割结果；电子设备将第三图像输入至第一图像分割轻量模型，得到第二分割结果；图像分割全量模型中模型参数的数量大于第一图像分割轻量模型中模型参数的数量；第一分割结果和第二分割结果用于指示第三图像中的目标对象所在的区域和第三背景内容所在的区域；电子设备基于第一分割结果和第二分割结果训练第一图像分割轻量模型，得到第二图像分割轻量模型；电子设备将第三图像输入至第二图像分割轻量模型，得到第三分割结果；
[0009]在第一分割结果和第三分割结果不相同的情况下，电子设备基于第一分割结果和第三分割结果确定第二姿态图，第二姿态图用于指示用户做出第二姿态，第二姿态图中包括第一肢体，第一分割结果中第一肢体所在的区域与第三分割结果中的第一肢体所在的区域不相同；
[0010]电子设备基于第五图像训练第二图像分割轻量模型，得到目标图像分割轻量模型，第五图像中的目标对象的姿态为第二姿态。
[0011]其中，图像分割轻量模型是基于图像分割全量模型经过裁剪、量化得到的，图像分割全量模型中模型参数的数量大于图像分割轻量模型中模型参数的数量。一般来说，图像分割全量模型的分割结果相对于图像分割轻量模型的分割结果来说更准确，但是图像分割全量模型的计算量比较大。为了减少模型计算量，一般在电子设备上部署模型参数更少的图像分割轻量模型用来进行图像分割，但是图像分割轻量模型的分割效果不如图像分割全量模型的分割结果，因此，在图像分割轻量模型的训练过程中，利用图像分割全量模型对待训练的图像轻量模型进行指导训练，使得图像分割轻量模型的性能接近于图像分割全量模型的性能，即图像分割轻量模型的分割效果与图像分割全量模型的分割效果接近。也就是说，电子设备分别使用图像分割全量模型和图像分割轻量模型对第三图像进行分割，得到第一分割结果和第二分割结果。基于第一分割结果和第二分割结果之间的误差，调整图像分割轻量模型的模型参数，使得图像轻量模型的分割效果更接近于图像分割全量模型。这样，可以在保证图像分割的效果的情况下，又减少电子设备的计算量。
[0012]这样，电子设备使用第一分割结果和第二分割结果训练的到第二图像分割轻量模型后，使用第三图像对训练得到的第二图像分割轻量模型进行验证，在第三分割结果和第一分割结果不相同的情况下，电子设备基于分割结果确定姿态图，指示用户做出姿态图中
示出的姿态，作为指导下一轮训练的训练数据。这样对训练述数据进行了主动筛选，提高了训练数据的质量。在使用经过筛选后的训练数据对模型进行训练，提高了模型的训练效果，进而提高了模型的分割准确度。
[0013]结合第一方面，在一些实现方式中，电子设备基于第五图像训练所述第二图像分割轻量模型，得到目标图像分割轻量模型，具体包括：
[0014]电子设备获取所述第五图像；电子设备将第五图像输入至图像分割全量模型，得到第四分割结果；电子设备将第五图像输入至第二图像分割轻量模型，得到第五分割结果；第四分割结果和第五分割结果用于指示所第五图像中的所述目标对象所在的区域和第四背景内容所在的区域；所电子设备基于所第四分割结果和第五分割结果训练第一图像分割轻量模型，得到第三图像分割轻量模型；电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种背景替换的方法，其特征在于，所述方法包括：电子设备显示对第一图像进行第一背景替换得到的第二图像；所述第一背景替换基于所述第一图像分割轻量模型进行；所述第一图像中包括所述目标对象所在的区域和第一背景内容所在的区域；所述第二图像为将所述第一图像中的所述第一背景内容替换为第二背景内容得到的；所述第二背景内容与所述第一背景内容不同；响应于用户的背景替换训练操作，所述电子设备显示第一姿态图，所述第一姿态图用于指示用户做出第一姿态；所述电子设备获取第三图像，所述第三图像中用户的姿态为所述第一姿态；所述电子设备显示对所述第一图像进行第二背景替换得到的第四图像；所述第二背景替换基于所述目标图像分割轻量模型进行,所述目标图像分割轻量模型是基于所述第三图像训练得到；所述第四图像为将所述第一图像中的所述第一背景内容替换为所述第二背景内容得到的。2.根据权利要求1所述的方法，其特征在于，在所述电子设备显示对所述第一图像进行第二背景替换得到的第四图像之前，所述方法还包括：所述电子设备将所述第三图像输入至图像分割全量模型，得到第一分割结果；所述电子设备将所述第三图像输入至第一图像分割轻量模型，得到第二分割结果；所述图像分割全量模型中模型参数的数量大于所述第一图像分割轻量模型中模型参数的数量；所述第一分割结果和所述第二分割结果用于指示所述第三图像中的所述目标对象所在的区域和第三背景内容所在的区域；所述电子设备基于所述第一分割结果和所述第二分割结果训练所述第一图像分割轻量模型，得到第二图像分割轻量模型；所述电子设备将所述第三图像输入至所述第二图像分割轻量模型，得到所述第三分割结果；在所述第一分割结果和所述第三分割结果不相同的情况下，所述电子设备基于所述第一分割结果和所述第三分割结果确定第二姿态图，所述第二姿态图用于指示用户做出第二姿态，所述第二姿态图中包括第一肢体，所述第一分割结果中所述第一肢体所在的区域与所述第三分割结果中的所述第一肢体所在的区域不相同；所述电子设备基于第五图像训练所述第二图像分割轻量模型，得到所述目标图像分割轻量模型，所述第五图像中的所述目标对象的姿态为所述第二姿态。3.根据权利要求2所述的方法，其特征在于，所述电子设备基于第五图像训练所述第二图像分割轻量模型，得到所述目标图像分割轻量模型，包括：所述电子设备获取所述第五图像；所述电子设备将所述第五图像输入至所述图像分割全量模型，得到第四分割结果；所述电子设备将所述第五图像输入至所述第二图像分割轻量模型，得到第五分割结果；所述第四分割结果和所述第五分割结果用于指示所述第五图像中的所述目标对象所在的区域和第四背景内容所在的区域；所述电子设备基于所述第四分割结果和所述第五分割结果训练所述第一图像分割轻量模型，得到第三图像分割轻量模型；所述电子设备将所述第五图像输入至所述第三图像分割轻量模型，得到第六分割结
果；在所述第四分割结果和所述第六分割结果不满足第一预设条件的情况下，所述第三图像分割轻量模型为所述目标图像分割轻量模型。4.根据权利要求3所述的方法，其特征在于，所述电子设备将所述第五图像输入至所述第三图像分割轻量模型，得到第六分割结果之后，所述方法还包括：在所述第四分割结果和所述第六分割结果满足第一预设条件的情况下，所述电子设备基于所述第四分割结果和所述第六分割结果确定第三姿态图，所述第三姿态图用于指示用户做出第三姿态，所述第三姿态图中包括第二肢体，所述第四分割结果中所述第二肢体与所述第六分割结果中的所述第二肢体不相同；所述电子设备基于第六图像训练所述第三图像分割轻量模型，得到所述目标图像分割轻量模型，所述第六图像中的目标对象的姿态为所述第三姿态。5.根据权利要求2
‑
4中任一项所述的方法，其特征在于，所述在所述第一分割结果和所述第三分割结果不相同的情况下，所述电子设备基于所述第一分割结果和所述第三分割结果确定第二姿态图，包括：在所述第一分割结果和所述第三分割结果的差值满足所述第一预设条件的情况下，所述电子设备基于所述第一分割结果和所述第三分割结果的差值确定所述第一图像的目标区域；所述电子设备基于所述目标区域确定所述第二姿态图。6.根据权利要求5所述的方法，其特征在于，所述第一分割结果、所述第三分割结果包括所述第三图像中像素点的像素信息；所述在所述第一分割结果和所述第三分割结果的差值满足第一预设条件的情况下，所述电子设备基于所述第一分割结果和所述第三分割结果的差值确定所述第一图像的目标区域，包括：所述电子设备基于所述第一分割结果中像素点的像素信息和所述第三分割结果中像素点的像素信息的差值，确定所述第三图像中第一目标像素点，所述第一目标像素点为所述第一分割结果与所述第三分割结果的中像素信息差值大于第一阈值的像素点；所述电子设备确定所述第三图像中目标对象的一个或多个肢体所在的区域，所述一个或多个肢体中包括第三肢体；在所述第三图像中所述第三肢体所在的区域中所述第一目标像素点的数量大于第二阈值的情况下，所述电子设备确定所述第三图像中所述第三肢体所在的区域为所述目标区域。7.根据权利要求6所述的方法，其特征在于，所述电子设备基于所述目标区域确定第二姿态图，包括：所述电子设备确定出所述目标区域中包含的目标对象的所述第三肢体；所述电子设备确定出包含所述第三肢体的第二姿态图。8.根据权利要求7所述的方法，其特征在于，所述电子设备确定出包含所述第三肢体的第二姿态图，包括：所述电子设备确定出包含所述第三肢体的多个姿态图；所述电子设备从所述多个姿态图中确定出所述第二姿态图，所述第二姿态图为所述多
个姿态图中所述第三肢体所在的区域包含所述第一目标像素点最多的姿态图。9.根据权利要求2所述的方法，其特征在于，在所述第一分割结果和所述第三分割结果不满足第一预设条件的情况下，所述电子设备基于所述第三分割结果将所述第三图像中背景内容所在的区域中的第三背景内容替换为预设背景内容，得到第七图像；所述电子设备显示所述第七图像、第一控件和第一提示信息，所述第一提示信息用于提示训练所述第二图像分割轻量模型。10.根据权利要求9所述的方法，其特征在于，所述电子设备显示所述第七图像、第一控件和第一提示信息之后，所述方法还包括：所述电子设备检测到作用于所述第一控件的操作，所述电子设备确定第三阈值，所述第三阈值小于所述第一阈值；在所述第一分割结果与所述第三分割结果的差值满足第二预设条件的情况下，所述电子设备基于所述第一分割结果和所述第三分割结果确定第四姿态图，所述第四姿态图用于指示用户做出第四姿态；所述第二预设条件为：所述第一图像中第四肢体所在的区域中所述第二目标像素点的数目大于第二阈值；所述第二目标像素点为所述第一分割结果中像素点的像素信息和所述第二分割结果中像素点的像素信息的差值大于所述第三阈值的像素点；所述电子设备基于第八图像训练所述第二图像分割轻量模型，得到所述目标图像分割轻量模型，所述第八图像中的目标对象的姿态为所述第四姿态。11.根据权利要求1中所述的方法，其特征在于，所述响应于用户的背景替换训练操作，所述电子设备显示第一姿态图之前，所述方法还包括：在所述电子设备检测到所述第一图像分割轻量模型的使用时长大于第一时长的情况下，所述电子设备显示第二提示信息和第二控件，所述第二提示信息用于提示训练所述第一图像分割轻量模型；所述背景替换训练操作为作用于所述第二控件的操作。12.一种背景替换的装置，其特征在于，包括：显示单元，用于显示对第一图像进行第一背景替换得到的第二图像；所述第一背景替换基于所述第一图像分割轻量模型进行；所述第一图像中包括所述目标对象所在的区域和第一背景内容所在的区域；所述第二图像为将所述第一图像中的所述第一背景内容替换为第二背景内容得到的；所述第二背景内容与所述第一背景内容不同；所述显示单元，还用于响应于用户的背景替换训练操作，显示第一姿态图，所述第一姿态图用于指示用户做出第一姿态；获取单元，用于获取第三图像，所述第三图像中用户的姿态为所述第一姿态；所述显示单元，还用于显示对所述第一图像进行第二背景替换得到的第四图像；所述第二背景替换基于所述目标图像分割轻量模型...

【专利技术属性】
技术研发人员：李炜，黄睿，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：