本发明专利技术公开了一种基于视角解耦自注意力网络的行人重识别方法及系统，该方法包括：构建数据集；基于Vision Transformer Base网络构建视角解耦模型；基于所述数据集对所述视角解耦模型进行训练，得到识别模型；基于所述识别模型对待测数据进行处理，得到识别结果。该系统包括：数据构建模块、模型构建模块、模型训练模块和模型应用模块。通过使用本发明专利技术，能够缓解空地相机网络中不同的视角差异对模型提取判别性身份特征的干扰，实现异构视角的相机网络下的行人重识别。本发明专利技术可广泛应用于图像处理领域。
【技术实现步骤摘要】
本专利技术涉及图像处理领域，尤其涉及一种基于视角解耦自注意力网络的行人重识别方法及系统。
技术介绍
1、行人重识别作为计算机视角在社会安防领域的关键技术应用，已经获得了广泛的关注和发展。现有的行人再识别主要聚焦在同质视角的相机网络下(例如，部署在纯地面视角下的相机网络)对于目标行人的身份关联。然而，异构视角的相机网络下(例如，部署在空中与地面视角下的无人机-地面相机网络)的空地行人再识别，作为一种更广泛存在的场景与需求，却在当前很少受到关注。我们认为，空中相机与地面相机之间的成像视角差异是空地行人重识别所面临的最大挑战，也是基于同质相机网络的已有方法不能良好解决的问题之一。
技术实现思路
1、有鉴于此，为了解决现有行人重识别方法中无法有效消除空地相机网络中不同的视角差异对模型提取判别性身份特征的干扰，进而导致难以实现异构视角的行人重识别的技术问题，第一方面，本专利技术提出一种基于视角解耦自注意力网络的行人重识别方法，所述方法包括以下步骤：
2、构建数据集；
3、基于vision transformer base网络构建视角解耦模型；
4、基于所述数据集对所述视角解耦模型进行训练，得到识别模型；
5、基于所述识别模型对待测数据进行处理，得到识别结果；
6、训练过程如下：
7、将所述数据集输入至所述视角解耦模型；
8、对所述数据集中的图像进行切分和特征向量构建，得到图像口令、全局口令和视角口令；
9、对所述图像口令、所述全局口令和所述视角口令赋予位置特征，得到最终输入图像矩阵；
10、将所述最终输入图像矩阵在所述视角解耦模型中逐块向前传播参与计算，更新所述全局口令和所述视角口令，得到更新后口令；
11、从更新后的口令中将视角口令分离，并用分离后的全局口令代替全局参与后续自注意力块的运算；
12、循环口令更新和口令分离的步骤，直至完成所有自注意力块的运算，得到身份特征和视角特征；
13、基于身份特征和视角特征计算损失函数，并更新所述视角解耦模型，得到识别模型。
14、在一些实施例中，所述构建数据集这一步骤，其具体包括：
15、采集真实数据；
16、创建合成行人模型和空地相机群场景，将所述合成行人模型置于所述空地相机群场景中运动，得到虚拟数据；
17、结合真实数据和虚拟数据，得到数据集。
18、通过该优选步骤，能够低成本地拓展训练数据规模。
19、在一些实施例中，所述损失函数包括交叉熵损失函数、困难三元组损失函数和特征正交损失函数。
20、在一些实施例中，所述基于身份特征和视角特征计算损失函数，并更新所述视角解耦模型，得到识别模型这一步骤，其具体包括：
21、基于所述身份特征和交叉熵损失函数计算第一损失值；
22、基于所述身份特征和困难三元组损失函数计算第二损失值；
23、基于所述视角特征和交叉熵损失函数计算第三损失值；
24、基于所述身份特征、所述视角特征和特征正交损失函数计算第四损失值；
25、结合所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值更新所述视角解耦模型的参数，得到识别模型。
26、在一些实施例中，所述第四损失值的计算公式如下：
27、
28、其中，|b|的取值为一个批次内的训练样本个数，||·||2表示特征的l2范数，表示身份特征，表示视角特征，|<·，·>|代表两种特征内积的绝对值，n+1表示网络最后一层的输出，xi表示第i个输入图像。
29、在一些实施例中，还包括：
30、对所述数据集进行划分，得到训练集和测试集；
31、对所述训练集进行数据增强，得到数据增强后的训练集；
32、利用所述数据增强后的训练集进行训练。
33、其中，数据增强包括图像扩充、图像裁剪和随机擦除处理。
34、本专利技术还提出了一种基于视角解耦自注意力网络的行人重识别系统，所述系统包括：
35、数据构建模块，用于构建数据集；
36、模型构建模块，基于vision transformer base网络构建视角解耦模型
37、模型训练模块，基于所述数据集对所述视角解耦模型进行训练，得到识别模型；；训练过程如下：将所述数据集输入至所述视角解耦模型；对所述数据集中的图像进行切分和特征向量构建，得到图像口令、全局口令和视角口令；对所述图像口令、所述全局口令和所述视角口令赋予位置特征，得到最终输入图像矩阵；将所述最终输入图像矩阵在所述视角解耦模型中逐块向前传播参与计算，更新所述全局口令和所述视角口令，得到更新后口令；从更新后的口令中将视角口令分离，并用分离后的全局口令代替全局参与后续自注意力块的运算；循环口令更新和口令分离的步骤，直至完成所有自注意力块的运算，得到身份特征和视角特征；基于身份特征和视角特征计算损失函数，并更新所述视角解耦模型，得到识别模型；
38、模型应用模块，基于所述识别模型对待测数据进行处理，得到识别结果。
39、本专利技术还提出了一种基于视角解耦自注意力网络的行人重识别装置，包括：
40、至少一个处理器；
41、至少一个存储器，用于存储至少一个程序；
42、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于视角解耦自注意力网络的行人重识别方法。
43、基于上述方案，本专利技术提供了一种基于视角解耦自注意力网络的行人重识别方法及系统，搭建了基于渐进式视角解耦的自注意力网络框架，该框架设计了两个主要组件来解耦视角相关和视图无关的特征，即特征逐层分离和特征正交约束，前者在自注意力模型中逐层将视角相关的特征与视角无关的特征从图象的总特征中互相分离，后者通过损失函数的形式约束分离后的两个特征相互正交独立，以此提升模型对于行人特征的感知能力和最终的整体检索性能。
本文档来自技高网...
【技术保护点】
1.一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，所述构建数据集这一步骤，其具体包括：
3.根据权利要求1所述一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，所述损失函数包括交叉熵损失函数、困难三元组损失函数和特征正交损失函数。
4.根据权利要求3所述一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，所述基于身份特征和视角特征计算损失函数，并更新所述视角解耦模型，得到识别模型这一步骤，其具体包括：
5.根据权利要求4所述一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，所述第四损失值的计算公式如下：
6.根据权利要求1所述一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，还包括：
7.一种基于视角解耦自注意力网络的行人重识别系统，其特征在于，包括：
8.一种基于视角解耦自注意力网络的行人重识别装置，其特征在于，包括：
【技术特征摘要】
1.一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，所述构建数据集这一步骤，其具体包括：
3.根据权利要求1所述一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，所述损失函数包括交叉熵损失函数、困难三元组损失函数和特征正交损失函数。
4.根据权利要求3所述一种基于视角解耦自注意力网络的行人重识别方法，其特征在于，所述基于身份...
【专利技术属性】
技术研发人员：赖剑煌，张权，
申请(专利权)人：中山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。