基于注意力机制和双模态特征融合的行人重识别方法技术

本发明专利技术涉及电子技术领域行人重识别方法。行人重识别任务旨在不重叠且不同视角的摄像设备下找出目标行人。在实际的应用中，由于光照条件、摄像视角、图像分辨率和环境背景等存在不同程度的干扰问题，导致行人重识别任务存在很大的挑战。特别是因光照和摄像机参数的影响而出现的同一行人图像颜色不一致，以及不同行人图像颜色相近的问题，发明专利技术一种基于注意力机制和双模态特征融合行人重识别方法。本发明专利技术融合RGB模态和灰度模态的双模态特征，利用行人图像色彩和边缘结构等信息，更全面地捕获行人图像的特征，并且引入注意力机制，使得模型能够自动关注行人图像中重要的特征区域，从而提高网络模型的识别性能。

【技术实现步骤摘要】

电子：描述：本专利技术涉及电子，特别是涉及基于注意力机制和双模态特征融合的行人重识别方法。

技术介绍

1、行人重识别(person re-identification，简称re-id)是计算机视觉领域的一个重要研究方向，主要用于判断在不同监控视频下出现的行人是否属于同一个行人。这个领域的研究对于视频监控、追踪、人员查找等应用场景具有重要意义。

2、行人重识别的原理主要基于特征提取和匹配。首先，通过计算机视觉技术对行人图像进行预处理，包括图像分割、特征提取等操作，以获得行人的特征表示。然后，将这些特征与已有的行人数据库进行匹配，以实现行人的重新识别。

3、应用领域包括安全监控，用于实现跨摄像头跟踪和检索，帮助警方快速定位和追踪；智能交通可用于车辆监控和交通流量的统计与分析，提高交通效率和安全性；人机互动可以应用在互动娱乐的场景中，类似于kinnect人机互动方面，关键点检测技术是非常有价值的；公共场合突发事件的智能认知像偷窃、聚众斗殴，摄像头识别出这样的行为之后可以采取智能措施，比如自动报警，这有非常大的社会价值；在社交网络中，行人重本文档来自技高网...

【技术保护点】

1.一种基于注意力机制和双模态特征融合的行人重识别方法，所述行人重识别方法包含以下步骤：

2.如权利要求1所述的行人重识别方法，其特征在于，本专利技术所提出的深度方法共分为四个分支模块，分别是RGB模态流模块、灰度模态流模态、双模态拼接流模块和多流融合模态。

3.如权利要求1所述的灰度模态的行人图像，其特征在于，在处理RGB图像时，可以根据人眼感知的特性，为红、绿、蓝三种颜色分别分配权重，以更好地反映人眼的视觉感知。具体转换算法如公式：

4.如权利要求1所述的ResNetPA注意力方法，其特征在于，自注意力模块改进深度卷积神经网络对行人特征进行提取。<...

【技术特征摘要】

1.一种基于注意力机制和双模态特征融合的行人重识别方法，所述行人重识别方法包含以下步骤：

2.如权利要求1所述的行人重识别方法，其特征在于，本发明所提出的深度方法共分为四个分支模块，分别是rgb模态流模块、灰度模态流模态、双模态拼接流模块和多流融合模态。

3.如权利要求1所述的灰度模态的行人图像，其特征在于，在处理rgb图像时，可以根据人眼感知的特性，为红、绿、蓝三种颜色分别分配权重，以更好地反映人眼的视觉...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：