图像处理方法、装置和云设备制造方法及图纸

本申请提供一种图像处理方法、装置和云设备，该图像处理方法包括：接收终端设备发送的至少两种模态下的多个目标图像；在至少两种模态中的每种模态下，将对应模态的目标图像输入图像识别模型的进行特征提取，得到对应的目标特征向量，根据至少两种模态下的目标特征向量，确定不同模态下的目标图像的预测匹配结果，预测匹配结果用于表示不同模态的目标图像是否包含相同的目标对象；向终端设备发送预测匹配结果，以使终端设备向运维人员显示预测匹配结果。本申请中通过图像识别模型能够实现对不同模态的图像的识别，以及提高对图像中的目标对象的识别精度。标对象的识别精度。标对象的识别精度。

【技术实现步骤摘要】
图像处理方法、装置和云设备


[0001]本申请涉及计算机
，尤其涉及一种图像处理方法、装置和云设备。

技术介绍

[0002]目标重识别，也可以称为目标再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定目标的技术。
[0003]目前，目标重识别主要研究的是正常光照下的图像或者视频序列中是否包含特定目标。但在实际应用中，除了正常光照下的图像或者视频序列，还有其他模态的图像或者视频序列，例如，在光照条件较差的环境下，摄像头采集的图像为近红外图像，等等。在存在多种模态的图像或者视频序列情况下，采用目前的目标重识别技术进行特定目标的再识别会存在识别精度较差的问题，进而限制了目标再识别的应用。

技术实现思路

[0004]本申请的多个方面提供一种图像处理方法、装置和云设备，以实现不同模态下的行人图像的匹配。
[0005]本申请实施例第一方面提供一种图像处理方法，应用于服务器，包括：接收终端设备发送的至少两种模态下的多个目标图像；在至少两种模态中的每种模态下，将对应模态的目标图像输入图像识别模型的进行特征提取，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于服务器，所述图像处理方法，包括：接收终端设备发送的至少两种模态下的多个目标图像；在所述至少两种模态中的每种模态下，将对应模态的目标图像输入图像识别模型的进行特征提取，得到对应的目标特征向量；根据至少两种模态下的目标特征向量，确定不同模态下的目标图像的预测匹配结果，所述预测匹配结果用于表示不同模态的目标图像是否包含相同的目标对象；向所述终端设备发送所述预测匹配结果，以使所述终端设备向运维人员显示所述预测匹配结果。2.根据权利要求1所述的图像处理方法，其特征在于，所述将对应模态的目标图像输入图像识别模型的进行特征提取，得到对应的目标特征向量，包括：将对应模态的目标图像输入图像识别模型的第一卷积网络层进行特征提取，得到第一目标特征图像，其中，模态与第一卷积网络层一一对应；将所述第一目标特征图像输入所述图像识别模型的第二卷积网络层进行特征提取，得到第二目标特征图像，所述第二卷积网络层对应所述至少两种模态的所有模态；将所述第二目标特征图像输入对应的所述图像识别模型的池化层进行池化处理，得到对应的目标特征向量，其中，模态和池化层一一对应。3.根据权利要求1所述的图像处理方法，其特征在于，所述图像识别模型采用以下方式训练得到：获取训练样本，所述训练样本包括至少两种模态的样本图像，包含相同的样本对象的样本图像的标识信息相同；在所述至少两种模态中的每种模态下，将具有相同标识信息的至少一个样本图像分别输入图像识别模型进行特征提取，得到所述至少一个样本图像的融合特征；根据所述至少两种模态下的融合特征，调整所述图像识别模型的模型参数。4.根据权利要求3所述的图像处理方法，其特征在于，所述将具有相同标识信息的至少一个样本图像分别输入图像识别模型进行特征提取，得到所述至少一个样本图像的融合特征，包括：将具有相同标识信息的样本图像分别输入所述图像识别模型进行特征提取，得到至少一个特征向量，特征向量和样本图像一一对应；根据所述至少一个特征向量，确定所述融合特征。5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述至少两种模态下的融合特征，调整所述图像识别模型的模型参数，包括：在所述至少两种模态中的每种模态下，根据所述特征向量的数量和所述融合特征，迭代更新存储特征，所述存储特征用于降低噪声样本的影响；采用第一损失函数，确定所述融合特征相对所述存储特征的第一损失值；若所述第一损失值大于第一损失值阈值，根据所述第一损失值调整所述图像识别模型的模型参数。6.根据权利要求5所述的图像处理方法，其特征在于，所述根据所述至少两种模态下的融合特征，调整所述图像识别模型的模型参数，包括：采用第二损失函数，确定第一模态下样本图像的特征向量相对第二模态下样本图像的
存储特征的第二损失值，所述第一模态为所述至少两种模态中的一种模态，所述第二模态为所述至少两种模态中的另一种模态；若所述第一模态下样本图像的标识信息和所述第二模态下样本图像的标识信息相同，且所述第二损失值大于第二损失值阈值，根据所述第二损失值调整所述图像识别模型的模型参数；若所述第一模态下样本图像的标识信息和所述第二模态下样本图像的标识信息不同，且所述第二损失值小于第三损失值阈值，根据所述第二损失值调整所述图像识别模型的模型参数。7.根据权利要求3至6任一项所述的图像处理方法，其特征在于，所述根据所述至少两种模态下的融合特征，调整所述图像识别模型的模型参数，包括：若所述至少两种模态下样本图像的标识信息相同，确定第一模态下样本图像的融合特征仿射变换至至少一个第一图像的融合特征的第一仿射矩阵，所述第一图像为第二模态的图像，所述第一模态为所述至少两种模态中的一种模态，所述第二模态为所述至少两种模态中的另一种模态；确定至少一个第二图像的融合特征仿射变换至所述第二模...

【专利技术属性】
技术研发人员：豆朝鹏，王帆，李昊，陈威华，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：