【技术实现步骤摘要】
本专利技术涉及图像处理，特别涉及一种融合视角信息的顶视角行人重识别方法及系统。
技术介绍
1、行人重识别技术是跨多个摄像头的行人检索技术，其中摄像头间的视野通常不重叠；大部分的现有行人重识别技术都基于水平视角或倾斜视角，在此称之为通用行人重识别技术；近年来，通用行人重识别技术取得了快速的发展；如今通用行人重识别技术已经被广泛应用于公共场所如公园、铁路等的监控系统中，随着行人隐私安全保护的重要性日益增加，顶视角监控摄像头逐渐被许多公共场所如展览馆和商场等引入安装。
2、在通用行人重识别技术处理的行人图像中，其拍摄方式接近于水平，其拍摄视角(拍摄视角的定义为摄像头到行人双脚中点的连线与水平地面的夹角)一般小于30度，需要处理的视角变化大多为水平视角下的行人正、侧、背面的区分，行人在图像中的部位分布以及人体姿态差异不大；在顶视角拍摄下，行人图像的拍摄视角一般在30至90度之间，并且在顶视角拍摄下的行人图像，不仅有水平方向上正、侧、背面的区别，还有垂直方向上的姿态差异，行人在不同图像中的身体部位分布以及姿态变化差异巨大，然而，相比于水平视角或倾斜视角拍摄的图像，顶视角拍摄的图像具有更大的垂直视角变化，视角变化的差异更大，可辨别的行人信息更少，随着图像拍摄视角的增大，行人外观变得更加不可辨别，而现有技术的通用行人重识别技术无法在视角变化差异剧烈的情况下进行行人重识别。
3、因此，研究一种能在顶视角下进行行人重识别的技术具有重要意义。
技术实现思路
1、本专利技术的目的
2、为了解决上述技术问题，第一技术方案，本专利技术提供了一种融合视角信息的顶视角行人重识别方法，包括以下步骤：
3、获取顶视角行人图像，并计算所述顶视角行人图像的拍摄视角；
4、利用所述顶视角行人图像和所述拍摄视角训练顶视角行人重识别模型；
5、将所述顶视角行人图像和所述拍摄视角输入至训练好的所述顶视角行人重识别模型，得到行人重识别结果；
6、其中，所述顶视角行人重识别模型的训练过程如下：
7、基于所述顶视角行人图像和所述拍摄视角，生成图像嵌入、视角编码和位置编码；
8、将所述视角编码和所述位置编码与所述图像嵌入叠加，得到叠加后的图像嵌入；
9、将所述叠加后的图像嵌入输入至transformer层中进行训练；
10、计算训练过程中的视角度量损失，利用所述视角度量损失构建总损失；
11、利用所述总损失优化所述顶视角行人重识别模型，迭代训练直至达到预设条件为止，得到训练好的所述顶视角行人重识别模型。
12、在第一技术方案的一些实施例中，所述视角度量损失至少包括四元组损失和样本挖掘损失。
13、在第一技术方案的一些实施例中，所述视角度量损失的计算公式如下：
14、lang＝lquin+λlmsml
15、上式中，lang为视角度量损失，lquin为四元组损失，lmsml为样本挖掘损失；
16、所述四元组损失的计算公式如下：
17、
18、上式中，β1为调节锚样本、与锚样本具有相同行人id和相同视角的样本与锚样本具有相同行人id和不同视角的样本之间的距离的参数，β2为调节锚样本、与锚样本具有相同行人id和不同视角的样本、与锚样本具有不同行人id和相同视角的样本之间的距离的参数，β3为调节锚样本、与锚样本具有不同行人id和相同视角的样本、与锚样本具有不同行人id和不同视角的样本之间的距离的参数，为锚样本和同类同视角样本特征的欧式距离，为锚样本和同类不同视角样本特征的欧式距离，m1、m2和m3为调节四元组损失内各距离差的超参数，为锚样本和不同类同视角样本特征的欧式距离，为锚样本和不同类不同视角样本特征的欧式距离；
19、所述样本挖掘损失的计算公式如下：
20、lmsml＝max[dmaxposid-dminnegid+m3，0]
21、上式中，dmaxposid为批次中距离最远的正样本对的距离，dminnegid为批次中距离最近的负样本对的距离。
22、在第一技术方案的一些实施例中，所述β1、β2和β3的计算公式如下：
23、
24、
25、
26、上式中，为与锚样本同类不同视角的样本视角，为与锚样本同类同视角的样本视角，为与锚样本不同类同视角的样本视角。
27、在第一技术方案的一些实施例中，所述视角度量损失的计算公式如下：
28、lang＝lquin+λlmsml
29、上式中，lang为视角度量损失，lquin为四元组损失，lmsml为样本挖掘损失；
30、所述四元组损失的计算公式如下：
31、
32、上式中，β1为调节同类样本对距离的参数，β2为调节同视觉样本对距离的参数，β3为调节不同类样本对距离的参数，为锚样本和同类同视角样本特征的欧式距离，为锚样本和同类不同视角样本特征的欧式距离，m1、m2为调节四元组损失内各距离差的超参数，为锚样本和不同类同视角样本特征的欧式距离，为锚样本和不同类不同视角样本特征的欧式距离。
33、所述样本挖掘损失的计算公式如下：
34、lmsml＝max[dmaxposid-dminnegid+m3，0]
35、上式中，dmaxposid为批次中距离最远的正样本对的距离，dminnegid为批次中距离最近的负样本对的距离，m3为调节样本挖掘损失内距离差的超参数。
36、在第一技术方案的一些实施例中，所述β1、β2和β3的计算公式如下：
37、
38、
39、
40、上式中，β1为调节同类样本对距离的参数，β2为调节同视觉样本对距离的参数，β3为调节不同类样本对距离的参数，为与锚样本同类不同视角的样本视角，为与锚样本同类同视角的样本视角，为与锚样本不同类同视角的样本视角。
41、在第一技术方案的一些实施例中，所述拍摄视角是指摄像头与行人双脚中点的连线与地面之间的直角或锐角。
42、在第一技术方案的一些实施例中，在基于所述顶视角行人图像和所述拍摄视角，生成得到图像嵌入、视角编码和位置编码，这一步骤中，具体包括以下步骤：
43、将所述顶视角行人图像分为若干个图像块，并将所述图像块输入线性映射层，得到所述图像嵌入；
44、基于所述拍摄视角，利用可学习的编码计算视角编码；
45、基于所述图像块在所述顶视角行人图像的位置，利用可学习的编码计算位置编码。
46、在第一技术方案的一些实施例中，在所本文档来自技高网...
【技术保护点】
1.一种融合视角信息的顶视角行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述视角度量损失至少包括四元组损失和样本挖掘损失。
3.根据权利要求2所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述视角度量损失的计算公式如下：
4.根据权利要求3所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述β1、β2和β3的计算公式如下：
5.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述拍摄视角是指摄像头与行人双脚中点的连线与地面之间的直角或锐角。
6.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，在基于所述顶视角行人图像和所述拍摄视角，生成得到图像嵌入、视角编码和位置编码，这一步骤中，具体包括以下步骤：
7.根据权利要求6所述的融合视角信息的顶视角行人重识别方法，其特征在于，在所述基于所述拍摄视角，利用可学习的编码计算视角编码，这一步骤中，具体包括以下步骤：
8.根据权利要求1
9.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，在将所述顶视角行人图像和所述拍摄视角输入至训练好的所述顶视角行人重识别模型，得到行人重识别结果，这一步骤中，具体包括以下步骤：
10.一种融合视角信息的顶视角行人重识别系统，其特征在于，应用了权利要求1至权利要求9任一项所述的融合视角信息的顶视角行人重识别方法，包括：
...【技术特征摘要】
1.一种融合视角信息的顶视角行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述视角度量损失至少包括四元组损失和样本挖掘损失。
3.根据权利要求2所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述视角度量损失的计算公式如下：
4.根据权利要求3所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述β1、β2和β3的计算公式如下：
5.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述拍摄视角是指摄像头与行人双脚中点的连线与地面之间的直角或锐角。
6.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，在基于所述顶视角行人图像和所述拍摄视角，生成得到图像嵌入、视角编码和位置编...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。