图像处理方法、神经网络的训练方法、装置、设备和介质制造方法及图纸

本公开提供了一种图像处理方法、神经网络的训练方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及深度学习和计算机视觉。实现方案为：将源域图像和目标域图像输入匹配特征提取网络，以提取源域图像的匹配特征和目标域图像的匹配特征，其中，源域图像的匹配特征和目标域图像的匹配特征为源域图像和目标域图像中的互相匹配的特征，源域图像为基于预定物体姿态参数进行渲染而生成的仿真图像，目标域图像为真实拍摄的适用于物体姿态估计学习的真实图像；提供源域图像的匹配特征以用于物体姿态估计的训练。

【技术实现步骤摘要】
图像处理方法、神经网络的训练方法、装置、设备和介质
本公开涉及人工智能
，尤其涉及深度学习和计算机视觉，具体涉及一种图像处理方法、神经网络的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。目前，可以通过各种策略进行物体姿态估计，例如，2D关键点直接检测、像素级的热度图预测或者像素级的方向向量场预测。基于深度学习的物体姿态估计的精度取决于训练数据的准确性和丰富性。然而，对于真实图像，标注数据的时间成本和人力成本较高，并且，人工标注往往不能保证标注的准确性；对于仿真图像，虽然其包含大量带有精确注释的图像，但是，仿真图像与真实图像之间存在明显差异，因而不能本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n将源域图像和目标域图像输入匹配特征提取网络，以提取所述源域图像的匹配特征和所述目标域图像的匹配特征，其中，所述源域图像的匹配特征和所述目标域图像的匹配特征为所述源域图像和所述目标域图像中的互相匹配的特征，所述源域图像为基于预定物体姿态参数进行渲染而生成的仿真图像，所述目标域图像为真实拍摄的适用于物体姿态估计学习的真实图像；/n提供所述源域图像的匹配特征以用于物体姿态估计的训练。/n

【技术特征摘要】
1.一种图像处理方法，包括：
将源域图像和目标域图像输入匹配特征提取网络，以提取所述源域图像的匹配特征和所述目标域图像的匹配特征，其中，所述源域图像的匹配特征和所述目标域图像的匹配特征为所述源域图像和所述目标域图像中的互相匹配的特征，所述源域图像为基于预定物体姿态参数进行渲染而生成的仿真图像，所述目标域图像为真实拍摄的适用于物体姿态估计学习的真实图像；
提供所述源域图像的匹配特征以用于物体姿态估计的训练。


2.如权利要求1所述的图像处理方法，其中，所述匹配特征提取网络包括源域特征提取网络、目标域特征提取网络和匹配特征识别网络，所述将所述源域图像和所述目标域图像输入所述匹配特征提取网络，以提取所述源域图像的匹配特征和所述目标域图像的匹配特征包括：
将所述源域图像输入所述源域特征提取网络，以提取源域图像特征；
将所述目标域图像输入所述目标域特征提取网络，以提取目标域图像特征；
将所述源域图像特征和所述目标域图像特征输入所述匹配特征识别网络，以提取所述源域图像的匹配特征和所述目标域图像的匹配特征，
其中，所述源域特征提取网络和所述目标域特征提取网络的结构和参数均相同，所述源域图像和所述目标域图像的图像数量相同。


3.如权利要求2所述的图像处理方法，其中，所述匹配特征识别网络包括相似度评估网络，所述将所述源域图像特征和所述目标域图像特征输入所述匹配特征识别网络，以提取所述源域图像的匹配特征和所述目标域图像的匹配特征包括：
对所述源域图像特征和所述目标域图像特征进行通道堆叠，以得到综合图像特征；
将所述综合图像特征输入所述相似度评估网络，以得到所述源域图像和所述目标域图像中的匹配特征分布；
对所述源域图像和所述目标域图像中的匹配特征分布进行通道拆分，以得到所述源域图像的匹配特征分布和所述目标域图像的匹配特征分布；
将所述源域图像特征的匹配特征分布乘以所述源域图像特征，以得到所述源域图像的匹配特征；
将所述目标域图像特征的匹配特征分布乘以所述目标域图像特征，以得到所述目标域图像的匹配特征。


4.如权利要求3所述的图像处理方法，其中，所述匹配特征提取网络是通过包括如下步骤的训练过程得到的：
将源域图像样本和目标域图像样本输入所述匹配特征提取网络，以提取所述源域图像样本的匹配特征和所述目标域图像样本的匹配特征；
将所述源域图像样本的匹配特征输入判别器网络，以计算所述源域图像样本的匹配特征的判别结果，并且，将所述目标域图像样本的匹配特征输入所述判别器网络，以计算所述目标域图像样本的匹配特征的判别结果；
基于所述目标域图像样本的匹配特征的判别结果，计算第一损失值，并且，基于所述第一损失值调整所述匹配特征提取网络的参数；
基于所述源域图像样本的匹配特征的判别结果和所述目标域图像样本的匹配特征的判别结果，计算第二损失值，并且，基于所述第二损失值调整所述判别器网络的参数；
响应于确定所述第一损失值和所述第二损失值符合预设条件，结束所述训练过程；
响应于确定所述第一损失值和所述第二损失值不符合预设条件，获取下一张源域图像样本和下一张目标域图像样本，并重复上述步骤。


5.根据权利要求4所述的图像处理方法，其中，所述基于所述目标域图像样本的匹配特征的判别结果，计算第一损失值包括：
根据公式计算第一损失值，
其中，L1为第一损失值，Oijt为第i张目标域图像样本的匹配特征的判别结果的第j个元素，其中，N为所述目标域图像样本的图像数量，Np为每张目标域图像样本中的元素数量。


6.根据权利要求4所述的图像处理方法，其中，所述基于所述源域图像样本和所述目标域图像样本的匹配特征的判别结果，计算第二损失值包括：
根据公式计算所述第二损失值，
其中，L2为第二损失值，Oijt为第i张目标域图像样本的匹配特征的判别结果的第j个元素，Oijs为第i张源域图像样本的匹配特征的判别结果的第j个元素，其中，N为所述源域图像样本和目标域图像样本的图像数量，Np为每张源域图像样本或每张目标域图像样本中的元素数量。


7.根据权利要求4-6中任一项所述的图像处理方法，其中，所述预设条件包括：所述第一损失值和所述第二损失值均收敛。


8.一种神经网络的训练方法，所述神经网络包括匹配特征提取网络和判别器网络，所述训练方法包括以下步骤：
将源域图像样本和目标域图像样本输入匹配特征提取网络，以提取所述源域图像样本的匹配特征和所述目标域图像样本的匹配特征，其中，所述源域图像样本的匹配特征和所述目标域图像样本的匹配特征为所述源域图像样本和所述目标域图像样本中的互相匹配的特征，所述源域图像为基于预定物体姿态参数进行渲染而生成的仿真图像，所述目标域图像为真实拍摄的适用于物体姿态估计学习的真实图像；
将所述源域图像样本的匹配特征输入所述判别器网络，以计算所述源域图像样本的匹配特征的判别结果，并且，将所述目标域图像样本的匹配特征输入所述判别器网络，以计算所述目标域图像样本的匹配特征的判别结果；
基于所述目标域图像样本的匹配特征的判别结果，计算第一损失值，并且，基于所述第一损失值调整所述匹配特征提取网络的参数；
基于所述源域图像样本的匹配特征的判别结果和所述目标域图像样本的匹配特征的判别结果，计算第二损失值，并且，基于所述第二损失值调整所述判别器网络的参数；
响应于确定所述第一损失值和所述第二损失值符合预设条件，结束所述训练方法；
响应于确定所述第一损失值和所述第二损失值不符合预设条件，获取下一张源域图像样本和下一张目标域图像样本，并重复上述步骤。...

【专利技术属性】
技术研发人员：邹智康，叶晓青，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11