图像处理方法、深度学习模型的训练方法和装置制造方法及图纸

本公开提供了一种图像处理方法，涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、深度学习技术领域。具体实现方案为：使用N个编码模块分别基于N个待处理图像各自的初始特征，确定N个待处理图像各自的编码特征，N个待处理图像是利用N个不同图像传感器针对相同场景采集得到的图像；针对每个初始特征，使用N个解码模块中的一个目标解码模块，基于对象查找参数和与初始特征对应的编码特征，从初始特征中确定有效信息，得到对象查找特征；将N个对象查找特征进行融合，得到融合特征；根据融合特征识别N个待处理图像中任一待处理图像中的目标对象。本公开还提供了一种深度学习模型的训练方法、装置、电子设备和存储介质。电子设备和存储介质。电子设备和存储介质。

【技术实现步骤摘要】
图像处理方法、深度学习模型的训练方法和装置


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、图像处理、深度学习等
，可应用于活体检测等场景。更具体地，本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、电子设备和存储介质。

技术介绍

[0002]近年来，随着深度学习理论的兴起，目标检测技术取得了飞速的发展，并逐渐投入到生产、生活等方面。例如广泛应用于活体检测、人脸识别、案情识别、违规行为识别等场景。

技术实现思路

[0003]本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、设备以及存储介质。
[0004]根据第一方面，提供了一种图像处理方法，该方法包括：使用N个编码模块分别基于N个待处理图像各自的初始特征，确定N个待处理图像各自的编码特征，其中，N为大于1的整数，N个待处理图像是利用N个不同图像传感器针对相同场景采集得到的图像；针对每个初始特征，使用N个解码模块中的一个目标解码模块，基于对象查找参数和与初始特征对应的编码特征，从初始特征中确定有效信息，得到对象查找特征；将N个对象查找特征进行融合，得到融合特征；以及根据融合特征识别N个待处理图像中任一待处理图像中的目标对象。
[0005]根据第二方面，提供了一种深度学习模型的训练方法，深度学习模型包括N个编码模块以及N个解码模块，N为大于1的整数；该方法包括：将N个样本图像各自的初始特征分别输入N个编码模块，得到N个样本图像各自的编码特征，其中，N为大于1的整数，N个样本图像是利用N个不同图像传感器针对相同场景采集得到的图像；针对每个初始特征，将初始特征、与初始特征对应的编码特征以及对象查找参数输入N个解码模块中的一个目标解码模块，得到对象查找特征；将N个对象查找特征进行融合，得到融合特征；根据融合特征确定N个样本图像中任一样本图像中的样本对象的识别结果；以及根据识别结果确定深度学习模型的损失，并根据损失调整深度学习模型的参数。
[0006]根据第三方面，提供了一种图像处理装置，该装置包括：第一编码单元，用于使用N个编码模块分别基于N个待处理图像各自的初始特征，确定N个待处理图像各自的编码特征，其中，N为大于1的整数，N个待处理图像是利用N个不同图像传感器针对相同场景采集得到的图像；第一解码单元，用于针对每个初始特征，使用N个解码模块中的一个目标解码模块，基于对象查找参数和与初始特征对应的编码特征，从初始特征中确定有效信息，得到对象查找特征；第一融合单元，用于将N个对象查找特征进行融合，得到融合特征；以及第一识别单元，用于根据融合特征识别N个待处理图像中任一待处理图像中的目标对象。
[0007]根据第四方面，提供了一种深度学习模型的训练装置，深度学习模型包括N个编码
模块以及N个解码模块，N为大于1的整数；该装置包括：第二编码单元，用于将N个样本图像各自的初始特征分别输入N个编码模块，得到N个样本图像各自的编码特征，其中，N为大于1的整数，N个样本图像是利用N个不同图像传感器针对相同场景采集得到的图像；第二解码单元，用于针对每个初始特征，将初始特征、与初始特征对应的编码特征以及对象查找参数输入N个解码模块中的一个目标解码模块，得到对象查找特征；第二融合单元，用于将N个对象查找特征进行融合，得到融合特征；第二识别单元，用于根据融合特征确定N个样本图像中任一样本图像中的样本对象的识别结果；以及训练单元，用于根据样本对象的识别结果确定深度学习模型的损失，并根据损失调整深度学习模型的参数。
[0008]根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0009]根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0010]根据第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1A是相关技术中的一种基于多模态数据的目标检测方法的示意图；
[0014]图1B是相关技术中的另一种基于多模态数据的目标检测方法的示意图；
[0015]图2是根据本公开的一个实施例的图像处理方法的流程图；
[0016]图3是根据本公开的一个实施例的图像处理方法的示意图；
[0017]图4A是相关技术中DETR模型的解码模块的结构示意图；
[0018]图4B是根据本公开的一个实施例的解码模块的示意图；
[0019]图5是根据本公开的一个实施例的图像处理方法的示意图；
[0020]图6是根据本公开的一个实施例的深度学习模型的训练方法的流程图；
[0021]图7是根据本公开的一个实施例的图像处理装置的框图；
[0022]图8是根据本公开的一个实施例的深度学习模型的训练装置的框图；
[0023]图9是根据本公开的一个实施例的图像处理方法以及深度学习模型的训练方法中的至少之一的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]目标检测可应用于多种场景，例如可以应用于图像中人物的检测、动物的检测、车辆的检测等。在一个示例场景中，可以用来检测图像中人体的位置信息，以确定图像中的人物对象是否存在跨线、翻越围栏等行为。
[0026]用于采集图像的摄像头可以包括不同成像原理的图像传感器，例如可以包括彩色图像传感器、红外图像传感器等。彩色图像传感器采集得到彩色图像(RGB图像)，红外图像传感器例如近红外图像传感器采集得到近红外图像(NIR图像，Near Infrared)。RGB图像和NIR图像为不同模态的图像。
[0027]基于多模态数据的目标检测是一项极具有挑战的任务，它往往是由多个模态的数据作为输入，例如RGB图像和NIR图像均作为输入，然后要求定位出RGB图像或NIR图像中的目标对象(例如人体)的位置信息。一般可以将多模态数据送入到基于卷积神经网络(CNN)的检测器或者基于Transformer的检测器中，来定位出目标对象的位置信息。
[0028]DETR(Detection Trans本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：使用N个编码模块分别基于N个待处理图像各自的初始特征，确定所述N个待处理图像各自的编码特征，其中，N为大于1的整数，所述N个待处理图像是利用N个不同图像传感器针对相同场景采集得到的图像；针对每个初始特征，使用N个解码模块中的一个目标解码模块，基于对象查找参数以及与所述初始特征对应的编码特征，从所述初始特征中确定有效信息，得到对象查找特征；将N个所述对象查找特征进行融合，得到融合特征；以及根据所述融合特征识别所述N个待处理图像中任一待处理图像中的目标对象。2.根据权利要求1所述的方法，其中，所述使用N个编码模块分别基于N个待处理图像各自的初始特征，确定所述N个待处理图像各自的编码特征包括：针对每个初始特征，使用N个编码模块中的一个目标编码模块，对所述初始特征中的多个特征单元添加位置信息，得到所述编码特征。3.根据权利要求2所述的方法，其中，所述针对每个初始特征，使用N个解码模块中的一个目标解码模块，基于对象查找参数以及与所述初始特征对应的编码特征，从所述初始特征中确定有效信息，得到对象查找特征包括：针对每个初始特征，使用所述目标解码模块计算所述对象查找参数和与所述初始特征对应的编码特征之间的相关性，并根据所述相关性从所述初始特征中确定有效信息，得到所述对象查找特征。4.根据权利要求2或3所述的方法，其中，所述将N个所述对象查找特征进行融合，得到融合特征包括：针对每个对象查找特征，根据所述编码特征中多个特征单元各自的位置信息，确定所述对象查找特征中多个特征单元各自的位置信息；根据所述对象查找特征中多个特征单元各自的位置信息，将N个所述对象查找特征进行融合，得到所述融合特征。5.根据权利要求1至4中任一项所述的方法，还包括：使用N个特征提取模块分别提取所述N个待处理图像的初始特征。6.根据权利要求1至5中任一项所述的方法，其中，所述N个待处理图像包括彩色图像、红外图像和深度图像中的至少两种。7.一种深度学习模型的训练方法，所述深度学习模型包括N个编码模块以及N个解码模块，N为大于1的整数；所述方法包括：将N个样本图像各自的初始特征分别输入所述N个编码模块，得到所述N个样本图像各自的编码特征，其中，N为大于1的整数，所述N个样本图像是利用N个不同图像传感器针对相同场景采集得到的图像；针对每个初始特征，将所述初始特征、与所述初始特征对应的编码特征以及对象查找参数输入所述N个解码模块中的一个目标解码模块，得到对象查找特征；将N个所述对象查找特征进行融合，得到融合特征；根据所述融合特征确定所述N个样本图像中任一样本图像中的样本对象的识别结果；以及根据所述识别结果确定所述深度学习模型的损失，并根据所述损失调整所述深度学习模型的参数。
8.根据权利要求7所述的方法，其中，所述将N个样本图像各自的初始特征分别输入所述N个编码模块，得到所述N个样本图像各自的编码特征包括：针对每个初始特征，使用N个编码模块中的一个目标编码模块，对所述初始特征中的多个特征单元添加位置信息，得到所述编码特征。9.根据权利要求8所述的方法，其中，所述针对每个初始特征，将所述初始特征、与所述初始特征对应的编码特征以及对象查找参数输入所述N个解码模块中的一个目标解码模块，得到对象查找特征包括：针对每个初始特征，使用所述目标解码模块计算所述对象查找参数和与所述初始特征对应的编码特征之间的相关性，并根据所述相关性从所述初始特征中确定有效信息，得到所述对象查找特征。10.根据权利要求8或9所述的方法，其中，所述将N个所述对象查找特征进行融合，得到融合特征包括：针对每个对象查找特征，根据所述编码特征中多个特征单元各自的位置信息，确定所述对象查找特征中多个特征单元各自的位置信息；根据所述对象查找特征中多个特征单元各自的位置信息，将N个所述对象查找特征进行融合，得到所述融合特征。11.根据权利要求7至10中任一项所述的方法，其中，所述深度学习模型还包括N个特征提取模块；所述方法还包括：将所述N个样本图像分别输入所述N个特征提取模块，得到所述N个样本图像各自的初始特征。12.根据权利要求11所述的方法，其中，所述根据所述损失调整所述深度学习模型的参数包括：根据所述损失调整所述N个特征提取模块各自的参数、N个编码模块各自的参数、N个解码模块各自的参数以及对象查找参数中的至少之一。13.根据权利要求7至12中任一项所述的方法，其中，所述N个样本图像包括彩色图像、红外图像和深度图像中的至少两种。14.一种图像处理装置，包括：第一编码单元，用于使用N个编码模块分别基于N个待处理图像各自的初始特征，确定所述N个待处理图像各自的编码特征，其中，N为大于1的整数，所述N个待处理图像是利用N个不同图...

【专利技术属性】
技术研发人员：陈子亮，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：