本公开提供了一种图像背景替换方法，应用于金融科技领域或其它领域，包括：获取第一图像中每个像素点的前景预测概率；选取前景预测概率接近特征值的点作为不确定点；将不确定点的不同尺度的特征图进行融合，得到边界清晰的前景图和α遮罩；使用待替换的背景图像与前景图和α遮罩进行合成，得到新背景下的第二图像。本公开的方法在前景与背景分割中，将前景与背景之间的边缘部分进行边缘轮廓处理，将更多的细节保留，得到了分割精度更高的背景替换图像。本公开还提供了一种图像背景替换系统、电子设备、计算机可读存储介质和程序产品。计算机可读存储介质和程序产品。计算机可读存储介质和程序产品。
【技术实现步骤摘要】
一种图像背景替换方法、系统、电子设备及存储介质
[0001]本公开涉及金融科技领域
，具体涉及一种图像背景替换方法、系统、电子设备及存储介质。
技术介绍
[0002]在疫情防控的需求下，银行的远程视频坐席客服成为银行重要的业务。而传统的视频坐席客服只是简单的视频通话，当用户考虑到个人隐私不方便客服看到自己背景的情况下，这种服务就很难满足用户需要。因此对用户的视频进行背景替换是银行视频客服服务需要做出的改善，而人像分割算法就能够实现这一功能。
[0003]在目前的人像分割算法中，往往存在分割精度不高，细节处理不好等问题。人像分割出来的效果只是一个轮廓，人像边缘处的细节很容易被过度分割或分割不足。因此考虑使用改进的background
‑
matting算法实现人像分割，并将分割出来的人像放在新的背景下达到背景替换的目的。
技术实现思路
[0004](一)要解决的技术问题
[0005]针对上述问题，本公开提供了一种图像背景替换方法、系统、电子设备及存储介质，用于至少部分解决传统图像背景替换中边缘分割精度不高，细节处理不好等技术问题。
[0006](二)技术方案
[0007]本公开一方面提供了一种图像背景替换方法，包括：获取第一图像中每个像素点的前景预测概率；选取前景预测概率接近特征值的点作为不确定点；将不确定点的不同尺度的特征图进行融合，得到边界清晰的前景图和α遮罩；使用待替换的背景图像与前景图和α遮罩进行合成，得到新背景下的第二图像。
[0008]进一步地，获取第一图像中每个像素点的前景预测概率包括：获取第一图像；将第一图像输入卷积神经网络得到该图像的特征图；将特征图输入金字塔池化模块，以获得每个像素点的前景预测概率。
[0009]进一步地，将特征图输入金字塔池化模块包括：构建多层的特征金字塔，将特征图输入各层金字塔进行不同尺度的池化；进行上采样、全连接层、激活函数处理后，得到每个像素点的前景预测概率。
[0010]进一步地，选取前景预测概率接近特征值的点作为不确定点还包括：反卷积处理，得到粗糙分割的特征图。
[0011]进一步地，选取前景预测概率接近特征值的点作为不确定点包括：采用双线性插值对粗糙分割的特征图的边界进行上采样；获取边界的像素点的前景预测概率；选择概率接近特征值的点作为不确定点。
[0012]进一步地，前景预测概率来于抠图算法的公式：
[0013]I＝αF+(1
‑
α)B
[0014]其中I为图像，F为I的前景，α为像素的前景预测概率，B为I的背景。
[0015]进一步地，选取前景预测概率接近特征值的点作为不确定点中特征值为0.5。
[0016]进一步地，将不确定点的不同尺度的特征图进行融合，得到边界清晰的前景图和α遮罩包括：将特征图输入各层金字塔进行不同尺度的池化，得到不同尺度的特征图；将不确定点的不同尺度的特征图进行融合，得到边界清晰的特征图。
[0017]进一步地，将不确定点的不同尺度的特征图进行融合还包括：解码，分别得到边界清晰的前景图和α遮罩。
[0018]进一步地，解码得到边界清晰的前景图包括：双线性差值上采样、卷积、BN、ReLU处理，得到预测的特征图；对预测的特征图和边界清晰的特征图进行双线性差值上采样、卷积、BN、ReLU、镜面Padding、卷积，得到边界清晰的前景图。
[0019]进一步地，解码得到边界清晰的α遮罩包括：双线性差值上采样、卷积、BN、ReLU处理，进行解码；镜面Padding、卷积、Tanh处理，得到边界清晰的α遮罩。
[0020]进一步地，使用待替换的背景图像与前景图和α遮罩进行合成包括：将α遮罩与前景图进行处理得到第二图像的前景部分；将α遮罩与待替换的背景图像进行处理得到第二图像的背景部分；将前景部分与背景部分进行叠加得到第二图像。
[0021]本公开另一方面提供了一种视频图像背景替换方法，包括：获取当前视频中的第一视频图像；根据前述图像背景替换方法对第一视频图像进行背景替换，得到新背景下的第二视频图像。
[0022]进一步地，得到新背景下的第二视频图像包括：使用rtmp传输协议进行实时视频的传输。
[0023]本公开还有一方面提供了一种图像背景替换系统，包括：图像获取模块，用于获取第一图像中每个像素点的前景预测概率；选取模块，用于选取前景预测概率接近特征值的点作为不确定点；融合模块，用于将不确定点的不同尺度的特征图进行融合，得到边界清晰的前景图和α遮罩；合成模块，用于使用待替换的背景图像与前景图和α遮罩进行合成，得到新背景下的第二图像。
[0024]本公开还有一方面提供了一种视频图像背景替换系统，包括：视频获取模块，用于获取当前视频中的第一视频图像；背景替换模块，用于根据前述图像背景替换方法对第一视频图像进行背景替换，得到新背景下的第二视频图像。
[0025]本公开还有一方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，使得处理器执行如前述的图像背景替换方法或视频图像背景替换方法。
[0026]本公开还有一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如前述的图像背景替换方法或视频图像背景替换方法。
[0027]本公开还有一方面提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如前述的图像背景替换方法或视频图像背景替换方法。
[0028](三)有益效果
[0029]本公开提供的一种图像背景替换方法、系统、电子设备及存储介质，在前景与背景分割过程中，通过将前景与背景之间的边缘部分进行边缘轮廓处理，将边缘轮廓的不确定点进行上采样、特征融合，由此该不确定点的特征既包含检测大目标的特征，又包含检测细
节的特征，将更多的细节保留下来，得到了分割精度更高的背景替换图像。同样的方法还可以应用于视频的背景替换中，得到了分割精度更高的背景替换视频图像。
附图说明
[0030]为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
[0031]图1示意性示出了根据本公开实施例图像背景替换方法的应用场景示意图；
[0032]图2示意性示出了根据本公开实施例的图像背景替换方法的具体应用示例的场景图；
[0033]图3示意性示出了根据本公开实施例的图像背景替换方法的流程图；
[0034]图4示意性示出了根据本公开实施例的获取第一图像中每个像素点的前景预测概率的方法流程图；
[0035]图5示意性示出了根据本公开实施例的将特征图输入金字塔池化模块的方法流程图；
[0036]图6示意性示出了根据本公开实施例的金字塔池化模块的结构图；
[0037]图7示意性示出了根据本公开实施例的选取前景预测概率接近特征值的点作为不确定点的方法流程图；
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像背景替换方法，其特征在于，包括：获取第一图像中每个像素点的前景预测概率；选取所述前景预测概率接近特征值的点作为不确定点；将所述不确定点的不同尺度的特征图进行融合，得到边界清晰的前景图和α遮罩；使用待替换的背景图像与所述前景图和α遮罩进行合成，得到新背景下的第二图像。2.根据权利要求1所述的图像背景替换方法，其特征在于，所述获取第一图像中每个像素点的前景预测概率包括：获取第一图像；将所述第一图像输入卷积神经网络得到该图像的特征图；将所述特征图输入金字塔池化模块，以获得每个像素点的前景预测概率。3.根据权利要求2所述的图像背景替换方法，其特征在于，所述将所述特征图输入金字塔池化模块包括：构建多层的特征金字塔，将所述特征图输入各层金字塔进行不同尺度的池化；进行上采样、全连接层、激活函数处理后，得到每个像素点的前景预测概率。4.根据权利要求1所述的图像背景替换方法，其特征在于，所述选取所述前景预测概率接近特征值的点作为不确定点还包括：反卷积处理，得到粗糙分割的特征图。5.根据权利要求4所述的图像背景替换方法，其特征在于，所述选取所述前景预测概率接近特征值的点作为不确定点包括：采用双线性插值对所述粗糙分割的特征图的边界进行上采样；获取所述边界的像素点的前景预测概率；选择概率接近特征值的点作为不确定点。6.根据权利要求5所述的图像背景替换方法，其特征在于，所述前景预测概率来于抠图算法的公式：I＝αF+(1
‑
α)B其中I为图像，F为I的前景，α为像素的前景预测概率，B为I的背景。7.根据权利要求6所述的图像背景替换方法，其特征在于，所述选取所述前景预测概率接近特征值的点作为不确定点中所述特征值为0.5。8.根据权利要求3所述的图像背景替换方法，其特征在于，所述将所述不确定点的不同尺度的特征图进行融合，得到边界清晰的前景图和α遮罩包括：将所述特征图输入各层金字塔进行不同尺度的池化，得到不同尺度的特征图；将所述不确定点的不同尺度的特征图进行融合，得到边界清晰的特征图。9.根据权利要求8所述的图像背景替换方法，其特征在于，所述将所述不确定点的不同尺度的特征图进行融合还包括：解码，分别得到边界清晰的前景图和α遮罩。10.根据权利要求9所述的图像背景替换方法，其特征在于，所述解码得到边界清晰的前景图包括：双线性差值上采样、卷积、BN、ReLU处理，得到预测的特征图；
对所述预测的特征图和所述边界清晰的特征图进行双线性差...
【专利技术属性】
技术研发人员：李艳宇，罗涛，施佳子，于海燕，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。