数据处理方法、装置、电子设备和计算机存储介质制造方法及图纸

本发明专利技术实施例提出了一种数据处理方法、装置、电子设备和计算机存储介质，该方法包括：获取待处理图像和第一结构标签图，所述第一结构标签图表示所述待处理图像的像素标注信息；基于至少一个第一变量对所述待处理图像进行编码，得到第一编码结果；对所述第一编码结果进行解码，得到第一图像；基于第二变量对所述第一结构标签图进行编码，得到第二编码结果；对所述第二编码结果进行解码，得到第二图像；将所述第二图像表示的像素标注信息作为所述第一图像的像素标注信息。本发明专利技术实施例可以得到用于图像分割的配对训练数据，有利于实现图像分割任务，提高实现图像分割的效率和精度。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和计算机存储介质
本专利技术涉及计算机视觉技术，尤其涉及一种数据处理方法、装置、电子设备和计算机存储介质。
技术介绍
在相关技术中，可以采用基于深度学习的分割方法进行图像分割，但是，相比较于图像分类任务，图像分割任务所需的标注量极大；针对图像分割任务，如何获取大量的训练数据，是亟待解决的技术问题。
技术实现思路
本专利技术实施例期望提供数据处理的技术方案。本专利技术实施例提供了一种数据处理方法，所述方法包括：获取待处理图像和第一结构标签图，所述第一结构标签图表示所述待处理图像的像素标注信息；基于至少一个第一变量对所述待处理图像进行编码，得到第一编码结果；对所述第一编码结果进行解码，得到第一图像；基于第二变量对所述第一结构标签图进行编码，得到第二编码结果；对所述第二编码结果进行解码，得到第二图像；将所述第二图像表示的像素标注信息作为所述第一图像的像素标注信息。可选地，所述至少一个所述第一变量包括第一外观信息变量和第一结构信息变量；所述基于至少一个第一变量对所述待处理图像进行编码，得到第一编码结果，包括：对所述待处理图像进行编码得到初始编码结果，所述初始编码结果包括所述待处理图像的初始外观信息和初始结构信息；基于所述第一外观信息变量，对所述初始外观信息进行重参数化操作，得到所述待处理图像的重建后外观信息；基于所述第一结构信息变量，对所述初始结构信息进行重参数化操作，得到所述待处理图像的重建后结构信息；得到第一编码结果，所述第一编码结果包括所述待处理图像的重建后外观信息和重建后结构信息。可选地，基于所述至少一个第一变量对所述待处理图像进行编码得到第一编码结果、对所述第一编码结果进行解码得到第一图像、基于所述第二变量对所述第一结构标签图进行编码，得到第二编码结果、以及对所述第二编码结果进行解码得到第二图像的步骤由数据生成网络实现，所述数据生成网络是基于样本图像和第二结构标签图训练得到的，所述第二结构标签图表示所述样本图像的像素标注信息。可选地，所述数据生成网络的训练过程包括：基于至少一个第三变量对所述样本图像进行编码，得到第三编码结果；对所述第三编码结果进行解码，得到第三图像；基于第四变量对所述第二结构标签图进行编码，得到第四编码结果；对所述第四编码结果进行解码，得到第四图像；根据所述第三图像和所述第四图像，训练所述数据生成网络。可选地，所述根据所述第三图像和所述第四图像，训练所述数据生成网络，包括：根据所述第三图像和所述第四图像，确定所述数据生成网络的损失，根据所述数据生成网络的损失，训练所述数据生成网络。可选地，所述数据生成网络的损失是根据以下至少一种损失得出的：第一损失、第二损失、第三损失、第四损失、第五损失；其中，所述第一损失表示第一信息、第二信息和第三信息的相对熵之和，所述第一信息表示所述样本图像的重建后外观信息，所述第二信息表示所述样本图像的重建后结构信息，所述第三信息表示所述第二结构标签图的重建后结构信息；所述第二损失用于表示所述样本图像与所述第三图像之间的重建损失、以及所述第二结构标签图与所述第四图像之间的重建损失；所述第三损失用于表征所述样本图像与所述第二结构标签图之间的结构信息差异；所述第四损失用于表征所述样本图像和所述第三图像中的人物身份信息的差异；所述第五损失用于表征：所述第三图像的图像分割结果与所述第四图像的像素级语义差异。可选地，所述方法还包括：至少将所述第一图像输入至图像分割网络；利用所述图像分割网络，对输入至所述图像分割网络的图像进行处理，得到第一图像分割结果；根据所述第一图像分割结果与所述第一图像的像素标注信息，训练所述图像分割网络，得到训练完成的图像分割网络。可选地，所述根据所述第一图像分割结果与所述第一图像的像素标注信息，训练所述图像分割网络，包括：根据所述第一图像分割结果与所述第一图像的像素标注信息，确定所述图像分割网络的损失；根据所述图像分割网络的损失，训练所述图像分割网络。可选地，所述图像分割网络的损失表示所述第一图像对应的广义交叉熵损失。可选地，所述至少将所述第一图像输入至图像分割网络，包括：将所述第一图像和预先获取的真实图像输入至所述图像分割网络；所述根据所述第一图像分割结果与所述第一图像的像素标注信息，训练所述图像分割网络，得到训练完成的图像分割网络，包括：根据所述第一图像分割结果、所述第一图像的像素标注信息和所述真实图像的像素标注信息，训练所述图像分割网络，得到训练完成的图像分割网络；其中，所述第一图像分割结果包括：所述第一图像的图像分割结果和所述真实图像的图像分割结果。可选地，所述根据所述第一图像分割结果、所述第一图像的像素标注信息和所述真实图像的像素标注信息，训练所述图像分割网络，包括：根据所述第一图像分割结果、所述第一图像的像素标注信息和所述真实图像的像素标注信息，确定所述图像分割网络的损失；根据所述图像分割网络的损失，训练所述图像分割网络。可选地，所述图像分割网络的损失是根据以下损失得出的：所述真实图像对应的交叉熵损失和所述第一图像对应的广义交叉熵损失。可选地，所述方法还包括：获取待分割图像；将所述待分割图像输入至所述训练完成的图像分割网络，利用所述训练完成的图像分割网络对所述待分割图像进行处理，得到第二图像分割结果。本专利技术实施例还提供了一种数据处理装置，所述装置包括：获取模块，用于获取待处理图像和第一结构标签图，所述第一结构标签图表示所述待处理图像的像素标注信息；处理模块，用于基于至少一个第一变量对所述待处理图像进行编码，得到第一编码结果；对所述第一编码结果进行解码，得到第一图像；基于第二变量对所述第一结构标签图进行编码，得到第二编码结果；对所述第二编码结果进行解码，得到第二图像；将所述第二图像表示的像素标注信息作为所述第一图像的像素标注信息。可选地，所述至少一个所述第一变量包括第一外观信息变量和第一结构信息变量；所述处理模块，用于基于至少一个第一变量对所述待处理图像进行编码，得到第一编码结果，包括：对所述待处理图像进行编码得到初始编码结果，所述初始编码结果包括所述待处理图像的初始外观信息和初始结构信息；基于所述第一外观信息变量，对所述初始外观信息进行重参数化操作，得到所述待处理图像的重建后外观信息；基于所述第一结构信息变量，对所述初始结构信息进行重参数化操作，得到所述待处理图像的重建后结构信息；得到第一编码结果，所述第一编码结果包括所述待处理图像的重建后外观信息和重建后结构信息。可选地，基于所述至少一个第一变量对所述待处理图像进行编码得到第一编码结果、对所述第一编码结果进行解码得到第一图像、基于所述第二变量对所述第一结构标签图进行编码，得到第二编码结果、以及对所述第二编码结果进行解码得到第二图像的步骤由数据生成网络实现，所述数据本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取待处理图像和第一结构标签图，所述第一结构标签图表示所述待处理图像的像素标注信息；/n基于至少一个第一变量对所述待处理图像进行编码，得到第一编码结果；对所述第一编码结果进行解码，得到第一图像；/n基于第二变量对所述第一结构标签图进行编码，得到第二编码结果；对所述第二编码结果进行解码，得到第二图像；将所述第二图像表示的像素标注信息作为所述第一图像的像素标注信息。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取待处理图像和第一结构标签图，所述第一结构标签图表示所述待处理图像的像素标注信息；
基于至少一个第一变量对所述待处理图像进行编码，得到第一编码结果；对所述第一编码结果进行解码，得到第一图像；
基于第二变量对所述第一结构标签图进行编码，得到第二编码结果；对所述第二编码结果进行解码，得到第二图像；将所述第二图像表示的像素标注信息作为所述第一图像的像素标注信息。


2.根据权利要求1所述的方法，其特征在于，所述至少一个所述第一变量包括第一外观信息变量和第一结构信息变量；
所述基于至少一个第一变量对所述待处理图像进行编码，得到第一编码结果，包括：
对所述待处理图像进行编码得到初始编码结果，所述初始编码结果包括所述待处理图像的初始外观信息和初始结构信息；
基于所述第一外观信息变量，对所述初始外观信息进行重参数化操作，得到所述待处理图像的重建后外观信息；基于所述第一结构信息变量，对所述初始结构信息进行重参数化操作，得到所述待处理图像的重建后结构信息；
得到第一编码结果，所述第一编码结果包括所述待处理图像的重建后外观信息和重建后结构信息。


3.根据权利要求1所述的方法，其特征在于，基于所述至少一个第一变量对所述待处理图像进行编码得到第一编码结果、对所述第一编码结果进行解码得到第一图像、基于所述第二变量对所述第一结构标签图进行编码，得到第二编码结果、以及对所述第二编码结果进行解码得到第二图像的步骤由数据生成网络实现，所述数据生成网络是基于样本图像和第二结构标签图训练得到的，所述第二结构标签图表示所述样本图像的像素标注信息。


4.根据权利要求3所述的方法，其特征在于，所述数据生成网络的训练过程包括：
基于至少一个第三变量对所述样本图像进行编码，得到第三编码结果；对所述第三编码结果进行解码，得到第三图像；
基于第四变量对所述第二结构标签图进行编码，得到第四编码结果；对所述第四编码结果进行解码，得到第四图像；
根据所述第三图像和所述第四图像，训练所述数据生成网络。


5.根据权利要求4所述的方法，其特征在于，所述根据所述第三图像和所述第四图像，训练所述数据生成网络，包括：
根据所述第三图像和所述第四图像，确定所述数据生成网络的损失，根据所述数据生成网络的损失，训练所述数据生成网络。


6.根据权利要求5所述的方法，其特征在于，所述数据生成网络的损失是根据以下至少一种损失得出的：第一损失、第二损失、第三损失、第四损失、第五损失；
其中，所述第一损失表示第一信息、第二信息和第三信息的相对熵之和，所述第一信息表示所述样本图像的重建后外观信息，所述第二信息表示所述样本图像的重建后结构信息，所述第三信息表示所述第二结构标签图的重建后结构信息；所述第二损失用于表示所述样本图像与所述第三图像之间的重建损失、以及所述第二结构标签图与所述第四图像之间的重建损失；所述第三损失用于表征所述样本图像与所述第二结构标签图之间的结构信息差异；所述第四损失用于表征所述样本图像和所述第三图像中的人物身份信息的差异；所述第五损失用于表征：所述第三图像的图像分割结果与所述第四图像的像素级语义差异。


7....

【专利技术属性】
技术研发人员：李佩佩，刘颖璐，石海林，梅涛，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11