图像合成模型的训练方法、装置与电子设备制造方法及图纸

本公开提供一种图像合成模型的训练方法、装置与电子设备，训练方法包括：对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理，以获得合成图像样本；将采样图像样本数据输入至卷积神经网络进行训练，输出为单应性变换矩阵；根据单应性变换矩阵对第一灰度图像样本进行变换，以得第一灰度变换图像样本；确定第一灰度变换图像样本的第i个索引位置的第一像素值，第二灰度遮罩图像样本的第i个索引位置的第二像素值，并确定较大值；根据第一像素值、第二像素值和第二灰度遮罩图像样本的全部索引位置的像素值确定卷积神经网络的训练损失，并调整配置参数。通过本公开实施例，提升了单应性变换参数估计的准确性、图像合成的可靠性和适用性。

【技术实现步骤摘要】
图像合成模型的训练方法、装置与电子设备
本公开涉及图像处理
，具体而言，涉及一种图像合成模型的训练方法、装置与电子设备。
技术介绍
目前，单应性变换是指从不同视角拍摄同一平面上物体形成的图像之间存在的映射关系，单应性变换被广泛应用于图像拼接、单目SLAM、视频稳定等领域，一般用一个3x3矩阵或等价的4-point形式H4pt表示。单应性变换估计传统上一般采用基于局部特征算子，例如SIFT(Scale-InvariantFeatureTransform，即尺度不变特征变换，是一种计算机视觉的特征提取算法，用来侦测与描述图像中的局部性)特征和ORB(OrientedFASTandRotatedBRIEF，尺度和旋转不变性)等，利用特征匹配建立两张图关键点集的对应关系，再使用RANSAC(随机一致性采样)寻找最佳的单应性变换参数估计。然而，在未能检测到足够多的图像特征关键点的情况下，或者在因图像间光照、视角差异过大引起的关键点匹配错误的情况下，基于特征算子估计单应性变换参数往往很不准确。在相关技术中，随着深度学习技术的发展，对单应性变换参数估计的研究目前已转向了基于深度学习的方法。但是，基于深度学习方式的图像合成方案至少存在以下技术问题：(1)缺少随机一致性采样的处理过程，不能排除运动物体或不在假设平面上的物体影响，造成了单应性变换参数估计不准确的问题。(2)损失函数直接在图像亮度域上计算，缺乏对环境光照变化的鲁棒性。(3)图像合成的方案只适用于描述平面目标的运动或由相机旋转引起的运动。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种图像合成模型的训练方法、装置与电子设备，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的图像合成效果差问题。根据本公开实施例的第一方面，提供一种图像合成模型的训练方法，包括：对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理，以获得合成图像样本；将采样图像样本数据输入至卷积神经网络进行训练，卷积神经网络的输出为单应性变换矩阵；根据单应性变换矩阵对第一灰度图像样本进行变换，以得第一灰度变换图像样本；确定第一灰度变换图像样本的第i个索引位置的第一像素值，第二灰度遮罩图像样本的第i个索引位置的第二像素值，并确定第一像素值与第二像素值之间的较大值；根据第一像素值、第二像素值和第二灰度遮罩图像样本的全部索引位置的像素值确定卷积神经网络的训练损失，并根据训练损失调整卷积神经网络的配置参数。在本公开的一种示例性实施例中，在对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理前，还包括：对待合成的两个灰度图像进行高斯滤波，以获得滤波图像；对滤波图像进行梯度算子处理，以获得梯度图像；确定梯度图像中的灰度最大值，并将梯度图像中的每个点的像素值除以灰度最大值，以获得归一化的灰度图像样本；将灰度图像样本中的一个样本确定为第一灰度图像样本，将灰度图像样本中的另一个样本确定为第二灰度遮罩图像样本。在本公开的一种示例性实施例中，对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理，以获得合成图像样本，具体包括：对第一灰度图像样本和第二灰度遮罩图像样本进行合并处理，以获得合并图像样本；对合并图像样本进行下采样处理，并将采样处理的结果确定为合成图像样本。在本公开的一种示例性实施例中，将采样图像样本数据输入至卷积神经网络进行训练，卷积神经网络的输出为单应性变换矩阵，具体包括：将合成图像样本输入至卷积神经网络，卷积神经网络执行1×1的卷积操作，卷积神经网络的输入通道为2，卷积神经网络的输出通道为3；将输出通道的结果执行块归一化操作；将块归一化操作的结果输入至回归骨干网，回归骨干网络输出单应性变换参数；将单应性变换参数输入至直接线性变换层，直接线性变换层输出为单应性变换矩阵。在本公开的一种示例性实施例中，卷积神经网络执行卷积核为5×5，卷积神经网络的执行步长为2，卷积神经网络的执行填充为2。在本公开的一种示例性实施例中，根据单应性变换矩阵对第一灰度图像样本进行变换，以得第一灰度变换图像样本，具体包括：将第一灰度图像样本输入至空间变换层，通过空间变换层的单应性变换矩阵对第一灰度图像样本进行变换，以得第一灰度变换图像样本。在本公开的一种示例性实施例中，根据第一像素值、第二像素值和第二灰度遮罩图像样本的全部索引位置的像素值确定卷积神经网络的训练损失，并根据训练损失调整卷积神经网络的配置参数，具体包括：确定第i个索引位置的第一像素值和第二像素值之间的差值绝对值；确定第i个索引位置的差值绝对值与最大值之间的像素乘积；对全部索引位置的像素乘积进行累加，并将累加结果确定为第一累加和；对第二灰度遮罩图像样本的全部索引位置的像素值进行累加，并将累加结果确定为第二累加和；根据第一累加和与第二累加和之间的比例关系，确定卷积神经网络的训练损失；根据训练损失调整卷积神经网络的配置参数。根据本公开实施例的第二方面，提供一种图像合成模型的训练装置，包括：合成模块，用于对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理，以获得合成图像样本；训练模块，用于将采样图像样本数据输入至卷积神经网络进行训练，卷积神经网络的输出为单应性变换矩阵；变换模块，用于根据单应性变换矩阵对第一灰度图像样本进行变换，以得第一灰度变换图像样本；确定模块，用于确定第一灰度变换图像样本的第i个索引位置的第一像素值，第二灰度遮罩图像样本的第i个索引位置的第二像素值，并确定第一像素值与第二像素值之间的较大值；确定模块，用于根据第一像素值、第二像素值和第二灰度遮罩图像样本的全部索引位置的像素值确定卷积神经网络的训练损失，并根据训练损失调整卷积神经网络的配置参数。根据本公开的第三方面，提供一种电子设备，包括：存储器；以及耦合到存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行如上述任意一项的方法。根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项的图像合成模型的训练方法。本公开实施例通过对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理，确定第一像素值与第二像素值之间的较大值，从而在训练的任意阶段的第i个索引位置的像素值都不小于第二灰度遮罩图像样本的对应索引位置的像素值，从而保证图像边缘位置的像素差信息在训练中得以充分利用，提升了单应性变换参数估计的准确性、图像合成的效果、可靠性和适用性。进一步地，神经网络模型的前向推理只要执行到直接线性变换模块，输出单应性变换矩阵H即可，极大地降低了神经网络模型的计算量。更进一步地，本公开提出了“输入即遮罩”的方法，将训练图像对(Ia，Ib)进行预处理，仅保留边缘等关键位置信息，生成预处理图像对将同时作为网络输入和遮罩，其中，遮罩图是预处理生成的，训练过程中保持不变，避免了遮罩图像在训练过程中易于滑向0的问题。应当本文档来自技高网...

【技术保护点】
1.一种图像合成模型的训练方法，其特征在于，包括：/n对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理，以获得合成图像样本；/n将所述采样图像样本数据输入至卷积神经网络进行训练，所述卷积神经网络的输出为单应性变换矩阵；/n根据单应性变换矩阵对所述第一灰度图像样本进行变换，以得第一灰度变换图像样本；/n确定所述第一灰度变换图像样本的第i个索引位置的第一像素值，所述第二灰度遮罩图像样本的第i个索引位置的第二像素值，并确定所述第一像素值与所述第二像素值之间的较大值；/n根据所述第一像素值、所述第二像素值和所述第二灰度遮罩图像样本的全部索引位置的像素值确定所述卷积神经网络的训练损失，并根据所述训练损失调整所述卷积神经网络的配置参数。/n

【技术特征摘要】
1.一种图像合成模型的训练方法，其特征在于，包括：
对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理，以获得合成图像样本；
将所述采样图像样本数据输入至卷积神经网络进行训练，所述卷积神经网络的输出为单应性变换矩阵；
根据单应性变换矩阵对所述第一灰度图像样本进行变换，以得第一灰度变换图像样本；
确定所述第一灰度变换图像样本的第i个索引位置的第一像素值，所述第二灰度遮罩图像样本的第i个索引位置的第二像素值，并确定所述第一像素值与所述第二像素值之间的较大值；
根据所述第一像素值、所述第二像素值和所述第二灰度遮罩图像样本的全部索引位置的像素值确定所述卷积神经网络的训练损失，并根据所述训练损失调整所述卷积神经网络的配置参数。


2.如权利要求1所述的图像合成模型的训练方法，其特征在于，在对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理前，还包括：
对待合成的两个灰度图像进行高斯滤波，以获得滤波图像；
对所述滤波图像进行梯度算子处理，以获得梯度图像；
确定所述梯度图像中的灰度最大值，并将所述梯度图像中的每个点的像素值除以所述灰度最大值，以获得归一化的灰度图像样本；
将所述灰度图像样本中的一个样本确定为所述第一灰度图像样本，将所述灰度图像样本中的另一个样本确定为所述第二灰度遮罩图像样本。


3.如权利要求1所述的图像合成模型的训练方法，其特征在于，对第一灰度图像样本和第二灰度遮罩图像样本进行合成处理，以获得合成图像样本，具体包括：
对所述第一灰度图像样本和所述第二灰度遮罩图像样本进行合并处理，以获得合并图像样本；
对所述合并图像样本进行下采样处理，并将采样处理的结果确定为所述合成图像样本。


4.如权利要求1所述的图像合成模型的训练方法，其特征在于，将所述采样图像样本数据输入至卷积神经网络进行训练，所述卷积神经网络的输出为单应性变换矩阵，具体包括：
将所述合成图像样本输入至所述卷积神经网络，所述卷积神经网络执行1×1的卷积操作，所述卷积神经网络的输入通道为2，所述卷积神经网络的输出通道为3；
将所述输出通道的结果执行块归一化操作；
将所述块归一化操作的结果输入至回归骨干网，所述回归骨干网络输出单应性变换参数；
将所述单应性变换参数输入至直接线性变换层，所述直接线性变换层输出为所述单应性变换矩阵。


5.如权利要求1所述的图像合成模型的训练方法，其特征在于，所述卷积神经网络执行卷积核为5×5，所述卷积神经网络的执行步长为2，所述卷积神经网络...

【专利技术属性】
技术研发人员：姚寒星，王锦申，
申请(专利权)人：北京亮亮视野科技有限公司，
类型：发明
国别省市：北京;11