基于深度学习的贴图方法及装置制造方法及图纸

本申请提供一种基于深度学习的贴图方法及装置，涉及图像处理领域。所述方法包括检测目标图像的前景掩膜区域，得到前景掩膜图；将目标图像、前景掩膜图及背景图像输入卷积神经网络，对目标图像及背景图像进行融合训练，得到输出图像；计算输出图像的线性回归损失并判断是否满足预设条件，若不满足，将线性回归损失反向传递；根据反向传递的线性回归损失调整卷积神经网络的网络权重参数；根据调整后的网络权重参数再次进行融合，并计算再次融合后的输出图像的线性回归损失，直到线性回归损失满足预设条件。本申请对贴图目标的特征数据进行自动计算和标定，调整网络权重参数使目标特征自动进行迭代，以满足贴图质量需求，提高贴图效率。

Mapping method and device based on depth learning

【技术实现步骤摘要】
基于深度学习的贴图方法及装置
本申请涉及图像处理领域，具体而言，涉及一种基于深度学习的贴图方法及装置。
技术介绍
近十年来，深度学习是人工智能
取得的重要突破，尤其是在图像识别及处理领域，更是取得了巨大的成功。深度学习是机器学习中的一种基于对数据进行表征学习的方法，其目的在于建立或模拟人脑进行分析学习的神经网络，用以模仿人脑对于图像、声音和文本的识别过程。在深度学习中，对于实际所需要识别的物体或内容的数据的标定和迭代通常是采用人工标定的方式，而人工标定是一个非常缓慢的过程，这一过程容易出现类别错标、目标位置偏移、标定速度缓慢等一系列问题，使贴图质量下降、效率不高。
技术实现思路
有鉴于此，本申请实施例的目的在于提供一种基于深度学习的贴图方法及装置，以解决上述问题。第一方面，本申请实施例提供一种基于深度学习的贴图方法，所述方法包括：检测目标图像的前景掩膜区域，得到前景掩膜图；将目标图像、前景掩膜图及背景图像输入卷积神经网络，对所述目标图像及背景图像进行融合训练，得到融合后的输出图像；根据所述前景掩膜图计算所述输出图像的线性回归损失；判断所述线性回归损失是否满足预设条件，若不满足，将所述线性回归损失进行反向传递；根据反向传递的线性回归损失调整所述卷积神经网络的网络权重参数；根据调整后的网络权重参数对所述目标图像及背景图像再次进行融合，并计算再次融合后的输出图像的线性回归损失，直到所述线性回归损失满足所述预设条件。可选地，对目标图像及背景图像进行融合训练，包括：获取所述目标图像的高层特征；获取所述背景图像的浅层特征；根据网络权重参数加权叠加所述目标图像的高层特征及所述背景图像的浅层特征，对所述目标图像及背景图像进行融合。可选地，根据所述前景掩膜图计算所述输出图像的线性回归损失，包括：根据所述前景掩膜图得到所述输出图像的前景区域及背景区域；计算所述前景区域的图像梯度损失；计算所述背景区域的图像梯度损失；配置线性回归损失权值，其中，所述线性回归损失权值包括前景区域线性回归损失权值及背景区域线性回归损失权值；根据所述线性回归损失权值加权叠加所述前景区域的图像梯度损失以及所述背景区域的图像梯度损失，得到所述输出图像的线性回归损失。可选地，在配置线性回归损失权值的步骤之前，所述方法还包括：获取所述输出图像中的过渡区域，其中，所述过渡区域包括所述前景区域中的前景过渡区域及所述背景区域中的背景过渡区域。可选地，配置线性回归损失权值，包括：当所述输出图像中的像素点属于所述前景区域时，配置所述像素点的前景区域线性回归损失权值为第一数值，所述像素点的背景区域线性回归损失权值为第二数值，其中第一数值大于第二数值；当所述像素点属于所述过渡区域时，配置所述像素点的前景区域线性回归损失权值为所述像素点到背景过渡区域的背景过渡边界的距离与前景过渡区域的前景过渡边界到所述背景过渡边界的距离的比值，所述像素点的背景区域线性回归损失权值为所述像素点到所述前景过渡边界的距离与所述前景过渡边界到所述背景过渡边界的距离的比值；当所述像素点属于所述背景区域时，配置所述像素点的前景区域线性回归损失权值为第三数值，所述像素点的背景区域线性回归损失权值为第四数值，其中，第三数值小于第四数值。第二方面，本申请实施例还提供一种基于深度学习的贴图装置，所述装置包括：检测模块，用于检测目标图像的前景掩膜区域，得到前景掩膜图；融合模块，用于将目标图像、前景掩膜图及背景图像输入卷积神经网络，对所述目标图像及背景图像进行融合训练，得到融合后的输出图像；计算模块，用于根据所述前景掩膜图计算所述输出图像的线性回归损失；判断模块，用于判断所述线性回归损失是否满足预设条件，若不满足，将所述线性回归损失进行反向传递；调整模块，用于根据反向传递的线性回归损失调整所述卷积神经网络的网络权重参数；所述融合模块还用于根据调整后的网络权重参数对所述目标图像及背景图像再次进行融合，并计算再次融合后的输出图像的线性回归损失，直到所述线性回归损失满足所述预设条件。可选地，所述融合模块具体用于：获取所述目标图像的高层特征；获取所述背景图像的浅层特征；根据网络权重参数加权叠加所述目标图像的高层特征及所述背景图像的浅层特征，对所述目标图像及背景图像进行融合。可选地，所述计算模块具体用于：根据所述前景掩膜图得到所述输出图像的前景区域及背景区域；计算所述前景区域的图像梯度损失；计算所述背景区域的图像梯度损失；配置线性回归损失权值，其中，所述线性回归损失权值包括前景区域线性回归损失权值及背景区域线性回归损失权值；根据所述线性回归损失权值加权叠加所述前景区域的图像梯度损失以及所述背景区域的图像梯度损失，得到所述输出图像的线性回归损失。可选地，所述融合模块还用于：获取所述输出图像中的过渡区域，其中，所述过渡区域包括所述前景区域中的前景过渡区域及所述背景区域中的背景过渡区域。可选地，当用于计算线性回归损失权值时，所述计算模块具体用于：当所述输出图像中的像素点属于所述前景区域时，配置所述像素点的前景区域线性回归损失权值为第一数值，所述像素点的背景区域线性回归损失权值为第二数值，其中第一数值大于第二数值；当所述像素点属于所述过渡区域时，配置所述像素点的前景区域线性回归损失权值为所述像素点到背景过渡区域的背景过渡边界的距离与前景过渡区域的前景过渡边界到所述背景过渡边界的距离的比值，所述像素点的背景区域线性回归损失权值为所述像素点到所述前景过渡边界的距离与所述前景过渡边界到所述背景过渡边界的距离的比值；当所述像素点属于所述背景区域时，配置所述像素点的前景区域线性回归损失权值为第三数值，所述像素点的背景区域线性回归损失权值为第四数值，其中，第三数值小于第四数值。相对于现有技术而言，本申请具有以下有益效果：本申请实施例提供的基于深度学习的贴图方法及装置，通过卷积神经网络对输入的贴图目标图像及背景图像进行融合训练，计算融合后的输出图像的线性回归损失，并将所述线性回归损失反向传递，根据反向传递的线性回归损失调整卷积神经网络的网络权重参数，直到再次融合后的输出图像的线性回归损失满足预设条件。相对于现有技术中对目标图像的人工标定方式，本申请能够对待识别的贴图目标特征数据进行自动计算和标定，并通过反向传递的方式调整网络权重参数，使目标特征自动进行迭代，以满足贴图质量需求，提高贴图效率。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实本文档来自技高网...

【技术保护点】
1.一种基于深度学习的贴图方法，其特征在于，所述方法包括：/n检测目标图像的前景掩膜区域，得到前景掩膜图；/n将目标图像、前景掩膜图及背景图像输入卷积神经网络，对所述目标图像及背景图像进行融合训练，得到融合后的输出图像；/n根据所述前景掩膜图计算所述输出图像的线性回归损失；/n判断所述线性回归损失是否满足预设条件，若不满足，将所述线性回归损失进行反向传递；/n根据反向传递的线性回归损失调整所述卷积神经网络的网络权重参数；/n根据调整后的网络权重参数对所述目标图像及背景图像再次进行融合，并计算再次融合后的输出图像的线性回归损失，直到所述线性回归损失满足所述预设条件。/n

【技术特征摘要】
1.一种基于深度学习的贴图方法，其特征在于，所述方法包括：
检测目标图像的前景掩膜区域，得到前景掩膜图；
将目标图像、前景掩膜图及背景图像输入卷积神经网络，对所述目标图像及背景图像进行融合训练，得到融合后的输出图像；
根据所述前景掩膜图计算所述输出图像的线性回归损失；
判断所述线性回归损失是否满足预设条件，若不满足，将所述线性回归损失进行反向传递；
根据反向传递的线性回归损失调整所述卷积神经网络的网络权重参数；
根据调整后的网络权重参数对所述目标图像及背景图像再次进行融合，并计算再次融合后的输出图像的线性回归损失，直到所述线性回归损失满足所述预设条件。


2.如权利要求1所述的基于深度学习的贴图方法，其特征在于，对目标图像及背景图像进行融合训练，包括：
获取所述目标图像的高层特征；
获取所述背景图像的浅层特征；
根据网络权重参数加权叠加所述目标图像的高层特征及所述背景图像的浅层特征，对所述目标图像及背景图像进行融合。


3.如权利要求2所述的基于深度学习的贴图方法，其特征在于，根据所述前景掩膜图计算所述输出图像的线性回归损失，包括：
根据所述前景掩膜图得到所述输出图像的前景区域及背景区域；
计算所述前景区域的图像梯度损失；
计算所述背景区域的图像梯度损失；
配置线性回归损失权值，其中，所述线性回归损失权值包括前景区域线性回归损失权值及背景区域线性回归损失权值；
根据所述线性回归损失权值加权叠加所述前景区域的图像梯度损失以及所述背景区域的图像梯度损失，得到所述输出图像的线性回归损失。


4.如权利要求3所述的基于深度学习的贴图方法，其特征在于，在配置线性回归损失权值的步骤之前，所述方法还包括：
获取所述输出图像中的过渡区域，其中，所述过渡区域包括所述前景区域中的前景过渡区域及所述背景区域中的背景过渡区域。


5.如权利要求4所述的基于深度学习的贴图方法，其特征在于，配置线性回归损失权值，包括：
当所述输出图像中的像素点属于所述前景区域时，配置所述像素点的前景区域线性回归损失权值为第一数值，所述像素点的背景区域线性回归损失权值为第二数值，其中第一数值大于第二数值；
当所述像素点属于所述过渡区域时，配置所述像素点的前景区域线性回归损失权值为所述像素点到背景过渡区域的背景过渡边界的距离与前景过渡区域的前景过渡边界到所述背景过渡边界的距离的比值，所述像素点的背景区域线性回归损失权值为所述像素点到所述前景过渡边界的距离与所述前景过渡边界到所述背景过渡边界的距离的比值；
当所述像素点属于所述背景区域时，配置所述像素点的前景区域线性回归损失权值为第三数值，所述像素点的背景区域线性回归损失权值为第四数值，其中，第三数值小于第四数值。


6....

【专利技术属性】
技术研发人员：李晋，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33