图像生成方法、图像处理模型的训练方法、图像处理方法技术

本公开提供了一种图像生成方法，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域。具体实现方案为：沿第一方向，对三维图像执行切片操作，得到多个第一切片图像，第一切片图像包括多个第一区域，每个第一区域对应一个类别；针对多个第一切片图像，根据每个第一切片图像中像素的位置信息，对每个第一切片图像执行转换操作，得到多个第一切片图像的深度图像；根据多个第一切片图像的深度图像，得到三维图像的深度图像。本公开还提供了一种图像处理模型的训练方法、图像处理方法、装置、电子设备和存储介质。设备和存储介质。设备和存储介质。

【技术实现步骤摘要】
图像生成方法、图像处理模型的训练方法、图像处理方法


[0001]本公开涉及人工智能
，尤其涉及计算机视觉和深度学习技术。更具体地，本公开提供了一种图像生成方法、图像处理模型的训练方法、图像处理方法、装置、电子设备和存储介质。

技术介绍

[0002]相关技术中，可以利用三维图像处理模型对三维图像进行处理，以提取三维图像的特征。也可以先将三维图像转换多张二维图像，利用二维图像处理模型对每张二维图像的特征，得到多张二维图像的特征，再利用多张二维图像的特征，得到三维图像的特征。

技术实现思路

[0003]本公开提供了一种图像处理模型的训练方法、图像处理方法、装置、设备以及存储介质。
[0004]根据第一方面，提供了一种图像生成方法，该方法包括：沿第一方向，对三维图像执行切片操作，得到多个第一切片图像，第一切片图像包括多个第一区域，每个第一区域对应一个类别；针对多个第一切片图像，根据每个第一切片图像中像素的位置信息，对每个第一切片图像执行转换操作，得到多个第一切片图像的深度图像；以及根据多个第一切片图像的深度图像，得到三维图像的深度图像。
[0005]根据第二方面，提供了一种图像处理模型的训练方法，包括：沿第二方向，对三维样本图像执行切片操作，得到多个第二切片图像；将上述多个第二切片图像输入上述图像处理模型，得到多个预测图像；将多个预测图像输入深度估计模型，得到多个预测图像的深度图像；以及利用上述多个预测图像的深度图像和标签图像的深度图像，训练上述图像处理模型；其中，上述标签图像的深度图像是将上述标签图像作为三维图像根据本公开提供的方法得到的。
[0006]根据第三方面，提供了一种图像处理方法，该方法包括：将待处理图像输入图像处理模型，得到掩码图像；其中，图像处理模型是根据本公开提供的方法训练得到的。
[0007]根据第四方面，提供了一种图像生成装置，该装置包括：第一切片模块，用于沿第一方向，对三维图像执行切片操作，得到多个第一切片图像，第一切片图像包括多个第一区域，每个第一区域对应一个类别；转换模块，用于针对多个第一切片图像，根据每个第一切片图像中像素的位置信息，对每个第一切片图像执行转换操作，得到多个第一切片图像的深度图像；以及第一获得模块，用于根据多个第一切片图像的深度图像，得到三维图像的深度图像。
[0008]根据第五方面，提供了一种图像处理模型的训练装置，该装置包括：第二切片模块，用于沿第二方向，对三维样本图像执行切片操作，得到多个第二切片图像；预测模块，用于将上述多个第二切片图像输入上述图像处理模型，得到多个预测图像；第二获得模块，用于将多个预测图像输入深度估计模型，得到多个预测图像的深度图像；训练模块，用于利用
上述多个预测图像的深度图像和标签图像的深度图像，训练上述图像处理模型；其中，上述标签图像的深度图像是将上述标签图像作为三维图像根据本公开提供的装置得到的。
[0009]根据第六方面，提供了一种图像处理装置，包括：第三获得模块，用于将待处理图像输入图像处理模型，得到掩码图像；其中，图像处理模型是根据本公开提供的装置训练得到的。
[0010]根据第七方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0011]根据第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0012]根据第九方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开提供的方法。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是根据本公开一个实施例的图像生成方法的流程图；
[0016]图2A是根据本公开一个实施例的第一切片图像的示意图；
[0017]图2B是根据本公开一个实施例的第一切片图像的深度图像的示意图；
[0018]图3是根据本公开一个实施例的图像处理模型的训练方法的流程图
[0019]图4A是根据本公开一个实施例的第二切片图像的示意图；
[0020]图4B是根据本公开一个实施例的预测图像的示意图；
[0021]图4C是根据本公开一个实施例的预测图像的深度图像示意图；
[0022]图5A是根据本公开一个实施例的第四切片图像的示意图；
[0023]图5B是根据本公开一个实施例的第三切片图像的示意图；
[0024]图6是根据本公开一个实施例的图像处理模型的训练方法的原理图；
[0025]图7是根据本公开一个实施例的图像处理方法的流程图；
[0026]图8是根据本公开一个实施例的图像生成装置的框图；
[0027]图9是根据本公开一个实施例的图像处理模型的训练装置的框图；
[0028]图10是根据本公开一个实施例的图像处理装置的框图；以及
[0029]图11是根据本公开的一个实施例的可以应用图像生成方法、图像处理模型的训练方法和/或图像处理方法的电子设备的框图。
具体实施方式
[0030]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0031]三维图像处理模型的参数量、运算量均远高于二维图像处理模型。例如，3D CNN(3D Convolutional Neural Network，3D卷积神经网络)模型在模型训练和应用时，对于运算资源的需求，均高于2D CNN(2D Convolutional Neural Network，2D卷积神经网络)模型。
[0032]在输入图像为三维图像的情况下，三维图像处理模型的性能要优于二维图像处理模型。2D CNN的运算量少于3D CNN，但其输入数据仅包含两个空间维度的信息，不包含第三个空间维度的信息，因而带来了潜在的性能损失。
[0033]相关技术中，为了减少对运算资源的需求和减少潜在的性能损失，可以将三维图像处理模型和二维图像处理模型结合，以处理三维图像。
[0034]例如，一种基于多视角的图像处理方法，包括：将三维图像沿一个方向，进行切片，得到多个2D切片图像；将三维图像沿另一个方向进行切片，得到多个2D切片图像；将一个方向的多个2D切片图像输入第一2D图像分割模型，得到一个方向的多个2D掩码图像；将另一个方向的多个2D切片图像输入第二2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，包括：沿第一方向，对三维图像执行切片操作，得到多个第一切片图像，所述第一切片图像包括多个第一区域，每个第一区域对应一个类别；针对所述多个第一切片图像，根据每个第一切片图像中像素的位置信息，对每个第一切片图像执行转换操作，得到多个第一切片图像的深度图像；以及根据所述多个第一切片图像的深度图像，得到所述三维图像的深度图像。2.根据权利要求1所述的方法，其中，所述第一切片图像包括多个第一像素，所述第一像素位于所述第一区域，所述针对所述多个第一切片图像，根据每个第一切片图像中像素的位置信息，对每个第一切片图像执行转换操作，得到多个第一切片图像的深度图像包括：针对每个第一切片图像，根据该第一切片图像中第一像素的位置信息，将每个第一像素的像素值转换为该第一像素到该第一像素所处第一区域的边界之间的距离，得到多个深度像素；根据所述多个深度像素，得到该第一切片图像的深度图像。3.根据权利要求2所述的方法，其中，通过以下公式对每个第一切片图像执行转换操作：其中，G
x，y
为第一切片图像中的像素，x为所述像素G
x，y
所在的行的行号，y为所述像素所在列的列号，z为第z个第一区域，z＝1，......Z，z
′
为第一切片图像上的第二区域；在图像的第y列上，S
z
(y)为处于所述第z个第一区域的一个边界上的第一像素所在行的行号，E
z
(y)为处于所述第z个第一区域的另一个边界上的第一像素所在行的行号，P
x，y
为深度图像中的像素的像素值。4.一种图像处理模型的训练方法，包括：沿第二方向，对三维样本图像执行切片操作，得到多个第二切片图像；将所述多个第二切片图像输入所述图像处理模型，得到多个预测图像；将多个预测图像输入深度估计模型，得到多个预测图像的深度图像；以及利用所述多个预测图像的深度图像和标签图像的深度图像，训练所述图像处理模型；其中，所述标签图像为所述三维样本图像的标签，所述标签图像的深度图像是将所述标签图像作为三维图像根据权利要求1至3任一项所述的方法得到。5.根据权利要求4所述的方法，其中，所述利用所述多个预测图像的深度图像和标签图像的深度图像，训练所述图像处理模型包括：根据所述预测图像的深度图像和标签图像的深度图像，计算第一损失值；根据所述第一损失值，训练所述图像处理模型。6.根据权利要求5所述的方法，其中，所述根据所述预测图像的深度图像和标签图像的深度图像，计算第一损失值包括：针对K个预测图像的深度图像，根据第k个预测图像的深度图像和第k个第三切片图像，
计算第k个第一子损失值，k＝1，......K，所述第三切片图像是沿所述第二方向对所述标签图像的深度图像执行切片操作得到的，所述第三切片图像为K个；根据所述第k个第一子损失值，计算所述第一损失值。7.根据权利要求6所述的方法，其中，所述根据所述第k个第一子损失值，计算所述第一损失值包括：通过以下公式计算第一损失值：其中，L
mse
为第一损失值，为第k个第三切片图像，为第k个预测图像的深度图像。8.根据权利要求5所述的方法，所述根据所述第一损失值，训练所述图像处理模型包括：根据所述预测图像和所述标签图像，计算第二损失值；根据所述第一损失值和所述第二损失值，训练所述图像处理模型。9.一种图像处理方法，包括：将待处理图像输入图像处理模型，得到掩码图像；其中，所述图像处理模型是根据权利要求4至8任一项所述的方法训练得到的。10.一种图像生成装置，包括：第一切片模块，用于沿第一方向，对三维图像执行切片操作，得到多个第一切片图像，所述第一切片图像包括多个第一区域，每个第一区域对应一个类别；转换模块，用于针对所述多个第一切片图像，根据每个第一切片图像中像素的位置信息，对每个第一切片...

【专利技术属性】
技术研发人员：尚方信，杨叶辉，黄海峰，王磊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：