本申请公开一种图像消除修复方法及其装置、设备、介质、产品，所述方法包括：获取待修复图片及指示待修复图片中目标区域图像的目标图像标签；采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；其后采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像，实现端到端且高效的目标轮廓区域消除和修复工作。高效的目标轮廓区域消除和修复工作。高效的目标轮廓区域消除和修复工作。
【技术实现步骤摘要】
图像消除修复方法及其装置、设备、介质、产品
[0001]本申请涉及图像修复
，尤其涉及一种图像消除修复方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。
技术介绍
[0002]随着科技发展的日新月异，电商业务需求与日俱增，在电商平台上销售商品的用户越来越多。总所周知，在电商平台上发布广告消息必须符合相关规定。而由于风控制度的影响，电商平台要求用户所发布的广告信息中不能在无商标授权的情况下展示带有商标信息的图片；此外具有违反风控制度的其他待处理信息亦如此。所述待处理信息可为敏感性信息，敏感性信息可以是例如商标图式、预设的特定图式等，商标可以是注册商标或者非注册商标。因此，所述带有待处理信息的图片需要对其开展目标轮廓区域的消除及修复工作。
[0003]对于电商平台这样的应用场景而言，当前目标轮廓区域的消除及修复技术主要是用户自行对目标区域图像进行涂抹、打马赛克的方式实现，以规避相关风控制度。具体实施上，首先选定带有待处理信息的目标轮廓，通过图像技术，手动对目标轮廓进行涂抹、打马赛克或换成其他无待处理信息的图像区域等。所述方法的实现流程全程需要人工处理，且要求处理人员具备一定的图像处理技术，每次处理流程只能针对一张图片,极度低效，对电商平台用户而言成本巨大。此外，人工处理方法虽能实现待处理信息的去除，但其修复的效果差强人意，其使得图像内容不协调的特点容易让客户产生不良的消费印象，从而影响销售量。
[0004]如今，电商平台上的商品快速迭代，其对应的广告信息亦如此，因此要求电商用户需满足在短时间内迅速更新广告信息，方能在电商市场中争夺销售份额。
[0005]因此，面对上面所述的效率低下和效果不佳这两个主要问题，如何高效地从包含了待处理信息的待修复图片中消除轮廓区域并实现修复，使消除和修复效果更佳，成为本领域需要解决的技术问题。
技术实现思路
[0006]本申请的首要目的在于解决上述问题至少之一而提供一种图像消除修复方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。
[0007]为满足本申请的各个目的，本申请采用如下技术方案：
[0008]适应本申请的目的之一而提供的一种图像消除修复方法，包括如下操作：
[0009]获取待修复图片和指示待修复图片中目标区域图像的目标图像标签；
[0010]采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；
[0011]采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；
[0012]采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像。
[0013]深化的实施例中，获取待修复图片和指示待修复图片中目标区域图像的目标图像标签，包括如下步骤：
[0014]响应用户触发的广告发布请求，获取其相对应提交的广告发布信息中的待修复图片；
[0015]响应用户触发的图像修复请求，获取指示所述待修复图片中目标区域图像的目标图像标签；
[0016]深化的实施例中，采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像，包括如下步骤：
[0017]采用所述目标检测模型中的主干网络块针对所述待修复图片提取多个不同尺度的特征图；
[0018]采用所述目标检测模型中的颈部块针对所述不同尺度特征图进行强语义信息和强定位信息融合，获得多个不同尺度的预测特征图；
[0019]采用所述目标检测模型中的预测块针对所述不同尺度预测特征图预测相应的边界框及其标签数据；
[0020]根据预测出的标签数据确定出与所述目标图像标签相匹配的所述边界框，从待修复图片中截取该边界框所指示的目标区域图像。
[0021]具体化的实施例中，所述目标检测模型的训练包括以下步骤：
[0022]确定带有待处理信息及其边界框标注数据与标签数据的相关图片作为所述目标检测模型的训练集中的训练样本；
[0023]针对所述训练集中的训练样本中的图片进行图像数据增强处理；
[0024]根据部分训练样本确定每次训练的最佳锚框参数，在此基础上采用目标检测模型确定每次训练时训练样本的图片的边界框及其标签；
[0025]根据每个训练样本的边界框及其标签与该训练样本的边界框标注数据与标签数据计算损失值，根据该损失值对目标检测模型进行梯度更新；
[0026]重复上述两个更新步骤，直至所述目标检测模型训练至收敛。
[0027]深化的实施例中，采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据，包括如下步骤：
[0028]针对所述目标区域图像进行多级编码，并相应产出相对应尺度的中间特征信息，所述中间特征信息为所述目标区域图像中待处理信息的特征表示；
[0029]在解码路径上相应进行多级解码，以最小尺度的中间特征信息产出第一图像特征信息，之外逐级以上一级图像特征信息及其同级编码产出的中间特征信息为参考，对应解码出更高尺度的图像特征信息，所述图像特征信息用于以掩膜形式表示所述目标区域图像中待处理信息的轮廓特征；
[0030]融合所有所述图像特征信息，生成所述目标区域图像中目标轮廓区域的掩膜数据，扩展该掩膜数据使其成为所述待修复图片的掩膜数据。
[0031]具体化的实施例中，所述图像分割模型的训练包括如下步骤：
[0032]确定带有待处理信息的相关图片并获取其目标轮廓区域的掩膜数据作为所述图像分割模型的训练集样本数据；
[0033]调用所述训练集中的数据样本对所述图像分割模型实施迭代训练，计算其模型损失并进行反向梯度传播；
[0034]重复上述更新操作，直至所述模型训练至收敛。
[0035]深化的实施例中，采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像，包括如下步骤：
[0036]将所述待修复图片及其掩膜数据馈入基于部分卷积的U
‑
Net架构构建的所述图像修复模型中进行局部特征提取，获得中间特征图；
[0037]针对中间特征图进行多级解码，获得中间修复图像，根据待修复图片的掩膜数据融合待修复图片及所述中间修复图像而生成修复图像。
[0038]具体化的实施例中，所述图像修复模型的训练包括如下步骤：
[0039]确定无需修复的相关图片以及对其进行随机擦除后获得的掩膜数据构成所述图像修复模型的训练集的数据样本；
[0040]构建生成对抗网络以备训练，其中，以所述图像修复模型为生成器，以已训练至收敛的判别模型本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像消除修复方法，其特征在于，包括如下步骤：获取待修复图片和指示待修复图片中目标区域图像的目标图像标签；采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像。2.根据权利要求1所述的图像消除修复方法，其特征在于，获取待修复图片和指示待修复图片中目标区域图像的目标图像标签，包括如下步骤：响应用户触发的广告发布请求，获取其相对应提交的广告发布信息中的待修复图片；响应用户触发的图像修复请求，获取指示所述待修复图片中目标区域图像的目标图像标签。3.根据权利要求1所述的图像消除修复方法，其特征在于，采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像，包括如下步骤：采用所述目标检测模型中的主干网络块针对所述待修复图片提取多个不同尺度的特征图；采用所述目标检测模型中的颈部块针对所述不同尺度特征图进行强语义信息和强定位信息融合，获得多个不同尺度的预测特征图；采用所述目标检测模型中的预测块针对所述不同尺度预测特征图预测相应的边界框及其标签数据；根据预测出的标签数据确定出与所述目标图像标签相匹配的所述边界框，从待修复图片中截取该边界框所指示的目标区域图像。4.根据权利要求3所述的图像消除修复方法，其特征在于，所述目标检测模型的训练过程，包括以下步骤：确定带有待处理信息及其边界框标注数据与标签数据的相关图片作为所述目标检测模型的训练集中的训练样本；针对所述训练集中的训练样本中的图片进行图像数据增强处理；根据部分训练样本确定每次训练的最佳锚框参数，在此基础上采用目标检测模型确定每次训练时训练样本的图片的边界框及其标签；根据每个训练样本的边界框及其标签与该训练样本的边界框标注数据与标签数据计算损失值，根据该损失值对目标检测模型进行梯度更新；重复上述两个更新步骤，直至所述目标检测模型训练至收敛。5.根据权利要求1所述的图像消除修复方法，其特征在于，采用已训练至收敛的图像分割模型提...
【专利技术属性】
技术研发人员：黄家冕，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。