【技术实现步骤摘要】
一种跨模态目标重识别方法、装置、设备及介质
[0001]本专利技术涉及人工智能
，特别涉及一种跨模态目标重识别方法、装置、设备及介质。
技术介绍
[0002]行人重识别是计算机视觉热门领域之一，具有较强的工业性和落地性。近年来，机器学习的普及使得这个领域有了长足的发展。例如，卷积神经网络在计算机视觉方面的广泛应用使得行人重识别在各个指标上均有了突破性进展；三元组损失的提出和不断发展使得该领域在优化方案上更上一层楼。近几年，作为一项热门课题，行人重识别的开源数据集也层出不穷，大多旨在解决重识别精度问题和模型的简化、优化问题。然而，在实际应用中举足轻重的跨模态问题却鲜有人问津。行人重识别中的跨模态问题一般是指可见光图片和红外图片之间的相互检索问题。
[0003]通常情况下，行人的红外照片指具有热感应功能的摄像头拍摄的热力图片。行人红外照片不同于常规可见光成像，不具备红、绿、蓝三通道信息，仅包含热力（亮度）单通道。因此，在传统行人重识别问题中相对重要的颜色特征在跨模态重识别中会近乎失效。取而代之的，图片的纹理特征起到...
【技术保护点】
【技术特征摘要】
1.一种跨模态目标重识别方法，其特征在于，包括：基于预设图像块截取规则分别对参考图像以及待识别图像进行处理，得到所述参考图像的图像块以及所述待识别图像的图像块；其中，所述参考图像与所述待识别图像为在不同模态下采集得到的图像；分别对所述参考图像的图像块和所述待识别图像的图像块进行特征提取，得到所述参考图像对应的参考图像块特征和所述待识别图像对应的待识别图像块特征；通过计算所述参考图像块特征与所述待识别图像块特征之间的距离，以确定出所述参考图像和所述待识别图像之间的相似度，并基于所述相似度确定所述参考图像上的目标与所述待识别图像上的目标是否相匹配。2.根据权利要求1所述的跨模态目标重识别方法，其特征在于，所述分别对所述参考图像的图像块和所述待识别图像的图像块进行特征提取，得到所述参考图像对应的参考图像块特征和所述待识别图像对应的待识别图像块特征，包括：分别对所述参考图像的图像块以及所述待识别图像的图像块进行图像编码，得到各自对应的图像块编码特征；利用基于预设自注意力机制构建的预设特征选取器，分别对所述参考图像的图像块编码特征和所述待识别图像的图像块编码特征进行特征选取处理，得到所述参考图像对应的参考图像块特征和所述待识别图像对应的待识别图像块特征。3.根据权利要求2所述的跨模态目标重识别方法，其特征在于，所述利用基于预设自注意力机制构建的预设特征选取器，分别对所述参考图像的图像块编码特征和所述待识别图像的图像块编码特征进行特征选取处理之前，还包括：基于自注意力运算单元、层归一化单元、特征随机删除单元以及特征相加单元构建特征选取单元；通过将预设的特征融合单元以及预设数量的所述特征选取单元进行依次串接，以构建得到所述预设特征选取器；相应的，所述利用基于预设自注意力机制构建的预设特征选取器，分别对所述参考图像的图像块编码特征和所述待识别图像的图像块编码特征进行特征选取处理，得到所述参考图像对应的参考图像块特征和所述待识别图像对应的待识别图像块特征，包括：利用所述特征融合单元，获取所述参考图像的图像块和所述待识别图像的图像块各自对应的目标属性编码特征，并通过将所述图像块编码特征以及相应的所述目标属性编码特征进行融合处理，以得到所述参考图像和所述待识别图像各自对应的候选特征；将所述预设特征选取器中的第一个特征选取单元作为当前特征选取单元，并将所述参考图像和所述待识别图像各自对应的候选特征均作为待处理特征；将所述待处理特征输入至当前特征选取单元中；利用当前特征选取单元对所述待处理特征依次进行自注意力运算、层归一化运算、特征随机删除运算以及特征相加运算，以得到所述参考图像和所述待识别图像各自对应的当前选取后特征；判断当前特征选取单元是否为最后一个；若否，则将当前特征选取单元更新为下一个特征选取单元，将所述待处理特征更新为当前选取后特征，并返回执行所述将所述待处理特征输入至当前特征选取单元中的步骤；
若是，则将所述参考图像和所述待识别图像各自对应的当前选取后特征分别作为所述参考图像对应的参考图像块特征和所述待识别图像对应的待识别图像块特征。4.根据权利要求3所述的跨模态目标重识别方法，其特征在于，所述获取所述参考图像的图像块和所述待识别图像的图像块各自对应的目标属性编码特征，包括：获取所述参考图像的图像块和所述待...
【专利技术属性】
技术研发人员：李晓川，郭振华，李仁刚，赵雅倩，范宝余，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。