图像处理方法、装置、系统和存储介质制造方法及图纸

本发明专利技术提供了一种图像处理方法、装置、系统和存储介质，所述图像处理方法包括：获取包含目标对象的第一类型的图像；将所述第一类型的图像输入神经网络模型，所述神经网络模型包括类型变换模块和识别模块；利用所述类型变换模块对所述第一类型的图像进行类型变换处理，以获得第二类型的图像，所述第二类型的图像用于作为所述识别模块的训练样本。本发明专利技术的图像处理方法、装置、系统和存储介质能够将第一类型的图像变换为第二类型的图像，以训练用于对第二类型的图像进行目标对象识别的神经网络模型，从而使神经网络模型的训练样本更易于获得。

【技术实现步骤摘要】
图像处理方法、装置、系统和存储介质
本专利技术涉及图像处理
，更具体地涉及一种图像处理方法、装置、系统和存储介质。
技术介绍
人脸识别在视频监控、身份识别领域中已经得到了广泛的应用。人脸识别模型的训练需要大量的人脸图像作为训练样本，由于来自IR(红外)模组的IR人脸图像数据量非常小，采集困难或涉及隐私，成本很高。而来自RGB模组的RGB人脸图像数据量非常大。目前通常直接将RGB人脸图像加入IR人脸识别模型进行训练，但是采用RGB人脸图像训练出的IR人脸识别模型的效果很差。
技术实现思路
本专利技术提出了一种关于图像处理的方案，其利用神经网络模型进行类型变换，变换后的图像可直接用于网络训练。下面简要描述本专利技术提出的关于图像处理的方案，更多细节将在后续结合附图在具体实施方式中加以描述。根据本专利技术一方面，提供了一种图像处理方法，所述图像处理方法包括：获取包含目标对象的第一类型的图像；将所述第一类型的图像输入神经网络模型，所述神经网络模型包括类型变换模块和识别模块；利用所述类型变换模块对所述第一类型的图像进行类型变换处理，以获得第二类型的图像，所述第二类型的图像用于作为所述识别模块的训练样本。在一个实施例中，所述第一类型为采用可见光摄像头拍摄的图像类型，所述第二类型为采用红外摄像头拍摄的图像类型。在一个实施例中，所述类型变换模块包括类型变换子网络和类型分类器，所述识别模块包括特征提取器和分类器，其中：所述类型变换子网络用于对所述第一类型的图像进行类型变换处理，并输出第二类型的图像；所述类型分类器用于判断所述类型变换子网络输出的图像的类型，并输出类型分类结果；所述特征提取器用于提取所述第一类型的图像的第一特征向量和所述类型变换子网络输出的所述第二类型的图像的第二特征向量；以及所述分类器用于基于所述特征提取器提取的第二特征向量进行目标对象识别，以生成所述第二类型的图像的预测标签。在一个实施例中，所述神经网络模型的训练包括：将第一类型的样本图像输入到所述神经网络模型，并获得第二类型的样本图像；基于所述特征提取器提取的所述第一类型的样本图像的第一特征向量和所述第二类型的样本图像的第二特征向量计算特征向量损失；基于所述分类器生成的所述第二类型的样本图像的预测标签与所述第一类型的样本图像中预先标注的真实标签之间的差异计算分类损失；基于预先训练好的类型分类器所生成的类型分类结果计算类型变换损失；以及基于所述特征向量损失、所述分类损失和所述类型变换损失优化所述神经网络模型的参数。在一个实施例中，计算所述特征向量损失包括：基于从同一目标对象的所述第一特征向量与所述第二特征向量之间的差异计算特征向量拉近损失；基于特征向量类内损失与特征向量类间损失之间的差值计算特征向量推远损失，其中，所述特征向量类内损失表示分别从同一对象的多张第二类型的样本图像中提取的多个所述第二特征向量之间的差异，所述特征向量类间损失表示分别从不同对象的所述第二类型的样本图像中提取的所述第二特征向量之间的差异。在一个实施例中，所述类型分类器的训练包括：分别将经预处理后的第一类型的训练图像和第二类型的训练图像输入到待训练的类型分类器，并生成类型分类结果；根据所述类型分类结果计算类型分类损失；以及基于所述类型分类损失训练所述类型分类器。根据本专利技术实施例另一方面，提供了一种神经网络模型的训练方法，所述训练方法包括：获取包含目标对象的第一类型的图像；将所述第一类型的图像输入神经网络模型，所述神经网络模型包括类型变换模块和识别模块；利用所述类型变换模块对所述第一类型的图像进行类型变换处理，并输出第二类型的图像；将所述第二类型的图像作为训练样本输入所述识别模块，以训练所述神经网络模型。根据本专利技术另一方面，提供了一种图像处理装置，所述图像处理装置包括：获取模块，用于获取包含目标对象的第一类型的图像；输入模块，用于将所述第一类型的图像输入神经网络模型，所述神经网络模型包括类型变换模块和识别模块；以及类型变换模块，用于对所述第一类型的图像进行类型变换处理，以获得第二类型的图像，所述第二类型的图像用于作为所述识别模块的训练样本。根据本专利技术实施例另一方面，提供一种图像处理装置，所述图像处理装置包括：获取模块，用于获取包含目标对象的第一类型的图像；输入模块，用于将所述第一类型的图像输入神经网络模型，所述神经网络模型包括类型变换模块和识别模块；类型变换模块，用于对所述第一类型的图像进行类型变换处理，并输出第二类型的图像；以及训练模块，用于将所述第二类型的图像作为训练样本输入所述识别模块，以训练所述神经网络模型。根据本专利技术又一方面，提供了一种图像处理系统，所述图像处理系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行上述任一项所述的图像处理方法或神经网络模型的训练方法。根据本专利技术再一方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行上述任一项所述的图像处理方法或神经网络模型的训练方法。根据本专利技术实施例的图像处理方法、装置、系统和存储介质能够将第一类型的图像变换为第二类型的图像，以训练用于对第二类型的图像进行目标对象识别的神经网络模型，从而使神经网络模型的训练样本更易于获得。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出用于实现根据本专利技术实施例的图像处理方法、装置、系统和存储介质的示例电子设备的示意性框图；图2示出根据本专利技术实施例的图像处理方法的示意性流程图；图3示出根据本专利技术实施例的神经网络模型的训练过程的示意性原理图；图4示出根据本专利技术实施例的图像处理装置的示意性框图；图5示出根据本专利技术实施例的神经网络模型的训练方法的示意性流程图；图6示出根据本专利技术另一实施例的图像处理装置的示意性框图；以及图7示出根据本专利技术实施例的图像处理系统的示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本专利技术中描述的本专利技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本专利技术的保护范围之内。首先，参照图1来描述用于实现本专利技术实施例的图像处理方法、装置、系统和存储介质的示例电子设备100。如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像传感器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：/n获取包含目标对象的第一类型的图像；/n将所述第一类型的图像输入神经网络模型，所述神经网络模型包括类型变换模块和识别模块；以及/n利用所述类型变换模块对所述第一类型的图像进行类型变换处理，以获得第二类型的图像，所述第二类型的图像用于作为所述识别模块的训练样本。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：
获取包含目标对象的第一类型的图像；
将所述第一类型的图像输入神经网络模型，所述神经网络模型包括类型变换模块和识别模块；以及
利用所述类型变换模块对所述第一类型的图像进行类型变换处理，以获得第二类型的图像，所述第二类型的图像用于作为所述识别模块的训练样本。


2.根据权利要求1所述的图像处理方法，其特征在于，所述第一类型为采用可见光摄像头拍摄的图像类型，所述第二类型为采用红外摄像头拍摄的图像类型。


3.根据权利要求1或2所述的图像处理方法，其特征在于，所述类型变换模块包括类型变换子网络和类型分类器，所述识别模块包括特征提取器和分类器，其中：
所述类型变换子网络用于对所述第一类型的图像进行类型变换处理，并输出第二类型的图像；
所述类型分类器用于判断所述类型变换子网络输出的图像的类型，并输出类型分类结果；
所述特征提取器用于提取所述第一类型的图像的第一特征向量和所述类型变换子网络输出的所述第二类型的图像的第二特征向量；以及
所述分类器用于基于所述特征提取器提取的第二特征向量进行目标对象识别，以生成所述第二类型的图像的预测标签。


4.根据权利要求3所述的图像处理方法，其特征在于，所述神经网络模型的训练包括：
将第一类型的样本图像输入到所述神经网络模型，并获得第二类型的样本图像；
基于所述特征提取器提取的所述第一类型的样本图像的第一特征向量和所述第二类型的样本图像的第二特征向量计算特征向量损失；
基于所述分类器生成的所述第二类型的样本图像的预测标签与所述第一类型的样本图像中预先标注的真实标签之间的差异计算分类损失；
基于预先训练好的类型分类器所生成的类型分类结果计算类型变换损失；以及
基于所述特征向量损失、所述分类损失和所述类型变换损失优化所述神经网络模型的参数。


5.根据权利要求4所述的图像处理方法，其特征在于，计算所述特征向量损失包括：
基于从同一目标对象的所述第一特征向量与所述第二特征向量之间的差异计算特征向量拉近损失；
基于特征向量类内损失与特征向量类间损失之间的差值计算特征向量推远损失，其中，所述特征向量类内损失表示分别从同一对象的多张第二类型的样本图像中提取的多个所述第二特征向量之间的差异，所述特征向...

【专利技术属性】
技术研发人员：李亮亮，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11