【技术实现步骤摘要】
本专利技术涉及图像背景及瑕疵修饰，尤其涉及一种智能背景祛瑕疵方法和装置以及设备。
技术介绍
1、随着数码相机和智能手机的广泛普及，以及图像处理技术的不断进步，人们如今更加方便地获取图像。与此同时，对图像后期处理的需求也日益增加。其中，背景去除瑕疵修复是一个常见问题。手动修图效率低下且高度依赖修图师的技能水平。现有的图像处理去除背景瑕疵算法，由于图像内容和瑕疵分割精度的不足，常常导致遗漏处理或错误处理，而且处理过程通常耗时较长。虽然目前市场上存在一些基于人工智能的图像去背景算法，但它们通常无法保持前景和背景的细节，可能导致背景模糊。总之，市面上的背景去除瑕疵算法要么存在视觉不和谐的问题，要么会导致图像信息的丧失，难以满足用户的需求。
技术实现思路
1、有鉴于此，本专利技术的目的在于提出一种智能背景祛瑕疵方法和装置以及设备，能够自适应的定位瑕疵位置，并且通过学习周边及全局的纹理结构信息，自动选择的对需要修改的部分进行图像生成，在保证图像质感、内容结构的同时，又能又快又准的祛除瑕疵。
2、根据本专利技术的一个方面，提供一种智能背景祛瑕疵方法，包括：
3、采集待测图像，利用一训练好的神经网络模型识别该待测图像输出若干语义掩膜；
4、利用一训练好的生成对抗网络模型通过若干所述语义掩膜对所述待测图像进行背景重建以及图像瑕疵修复。
5、在上述技术方案中，首先，为了解决无法准确识别区分背景瑕疵和前景人物及物件，及由此引发的漏处理瑕疵、误伤前景的问题，
6、在一些实施例中，所述神经网络模型包括：transformer神经网络模型。
7、在上述技术方案中，该模型的主要任务是从输入的复杂图像中提取语义信息，识别前景、背景以及不同元素，创建掩模以指示它们的位置。在本实施例中使用transformer神经网络结构，利用自注意机制来对全图进行分析。通过深度学习，网络识别图像中的对象，包括前景和背景中的多种语义特征。生成的掩模用于指示图像中不同部分的位置，为需要处理瑕疵的区域和需要保护的区域提供不同的处理权重信息。
8、在一些实施例中，利用一训练好的transformer神经网络模型识别该待测图像输出若干语义掩膜，具体的：
9、将包含前景、背景以及不同元素的原始图像作为transformer神经网络的输入，以语义掩膜作为transformer神经网络的输出，其中语义掩膜包括：前景语义掩模、背景语义掩模、不同元素语义掩模，和，前景瑕疵语义掩模、背景瑕疵语义掩模和不同元素瑕疵语义掩模；通过以上方式训练该transformer神经网络得到前置解析模型；利用该前置解析模型识别待测图像并输出与该待测图像对应的语义掩膜。
10、在上述技术方案中，除了检测背景瑕疵的区域之外，本方法会解析出场景中的其他语义。因为瑕疵在不同的位置、不同的物品材质上，会需要不同的处理方法。比如在水泥地板上与在背景布上的瑕疵是需要不同的处理方式的。此外，在前景中的瑕疵是需要保护的，比如皮肤上的瑕疵，桌子上的瑕疵。没有语义辅助的背景去瑕疵，将无法判别出不同位置瑕疵，要么会漏处理，要么会误伤。因此本实施例的方法能够比其他方法效果更佳。
11、在一些实施例中，利用一训练好的transformer神经网络模型识别该待测图像输出若干语义掩膜，还包括数据标注；
12、数据标注，具体地：
13、基于sam交互分割法对包含前景、背景以及不同元素的原始图像进行分割得到若干掩膜，对该若干掩膜进行类划分，并进行语义标注；
14、通过元素的相似性对标注好的掩膜合并，并二次语义标注。
15、在上述技术方案中，本实施例网络输出是一些高层语义掩膜。具体的实现方式是，本实施例基于sam(segment anything)的交互分割方法进行数据标注，标注出常见的物体(元素)的掩膜、背景掩膜、以及增加的瑕疵区域掩膜，同时瑕疵区域也进行了种类划分。因为物体(元素)掩膜种类会比较多，而不同的使用场景不需要区分某些物品之间的差别，比如桌子和椅子，在背景去瑕疵任务中是不需要区分的，因此标注输出过程对掩膜进行了一些合并，最终输出一个多通道的掩膜。sam交互分割方法是一个已经训练好的基于transformer神经网络的模型，在本实施例中作为一个交互式的标注工具。该sam的交互分割方法的优点是可以定义自己的语义标注。
16、在一些实施例中，所述生成对抗网络模型包括：特征向量量化生成对抗网络模型。
17、在上述技术方案中，特征向量量化生成对抗网络模型(fvqgan，feature vectorquantized generative adversarial network)是基于生成对抗网络模型(vqgan，vectorquantized generative adversarial network)的一个改进,它融合图像及各种掩模信息，以高效和自然的方式重建背景，同时填补瑕疵区域，以生成更平滑和自然的结果。
18、在一些实施例中，利用一训练好的生成对抗网络模型通过若干所述语义掩膜对所述待测图像进行背景重建以及图像瑕疵修复，具体地：
19、将通过神经网络模型输出的与该原始图像对应的语义掩膜作为特征向量量化生成对抗网络的输入，以背景重建以及瑕疵修复后的原始图像作为特征向量量化生成对抗网络的输出；通过以上方式训练该特征向量量化生成对抗网络得到背景重建模型；将待测图像、通过前置解析模型输出的与该待测图像对应的语义掩膜输入该背景重建模型，并输出背景重建以及瑕疵修复后的待测图像。
20、在上述技术方案中，特征向量量化生成对抗网络模型(fvqgan，feature vectorquantized generative adversarial network)是基于生成对抗网络模型(vqgan，vectorquantized generative adversarial network)的一个改进,传统的vqgan输入是一张rgb图像，然后对图像信息进行encoder，在隐式空间上进行量化。本实施例输入除了待测图像之外，还包含了前一步骤中识别到的语义掩膜特征，即前序步骤输入到后面网络的是掩膜特征。本实施例将特征和图像连在一起做为输入，图像也可以看成是特征，所以叫特征向量化生成对抗网络。此外，因为有了高层语义的输入，部分信息不需要encoder，可以直接通过跳跃连接将信息流到decoder中。使得本实施例的重建网络将能力分配到瑕疵对应的区域，使得网络更加针对性和高效性。生成对抗网络包含生成网络和判别网络。特征向量化生成网络用于生成重建之后的图像，判别网络用于判定网络输出是否自然真实，从而去使得生成网络生成的效果更真。本实施本文档来自技高网...
【技术保护点】
1.一种智能背景祛瑕疵方法，其特征在于，包括：
2.如权利要求1所述的一种智能背景祛瑕疵方法，其特征在于，
3.如权利要求2所述的一种智能背景祛瑕疵方法，其特征在于，
4.如权利要求3所述的一种智能背景祛瑕疵方法，其特征在于，
5.如权利要求1所述的一种智能背景祛瑕疵方法，其特征在于，
6.如权利要求5所述的一种智能背景祛瑕疵方法，其特征在于，
7.如权利要求1所述的一种智能背景祛瑕疵方法，其特征在于，所述方法还包括蒸馏和量化，具体地：
8.一种智能背景祛瑕疵装置，其特征在于，包括依序连接的前置解析模块、背景重建模块；其中，
9.一种智能背景祛瑕疵设备，其特征在于，包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的一种智能背景祛瑕疵方法。
【技术特征摘要】
1.一种智能背景祛瑕疵方法，其特征在于，包括：
2.如权利要求1所述的一种智能背景祛瑕疵方法，其特征在于，
3.如权利要求2所述的一种智能背景祛瑕疵方法，其特征在于，
4.如权利要求3所述的一种智能背景祛瑕疵方法，其特征在于，
5.如权利要求1所述的一种智能背景祛瑕疵方法，其特征在于，
6.如权利要求5所述的一种智能背景祛瑕疵方法，其特征在于，
<...【专利技术属性】
技术研发人员：周凡，林奇，张长定，傅松林，
申请(专利权)人：厦门真景科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。