一种基于视觉语义信息和时空信息的行人重识别方法技术

本发明专利技术提供了一种基于视觉语义信息和时空信息的行人重识别方法，包括：收集目标场景中的行人图像并制作训练集，获得用于人体特征提取的骨干神经网路；标注行人图像的人体ID、时间信息和空间信息，获取时空概率分布曲线集；在检测集中选取待测行人图像输入骨干神经网络后获取人体特征向量后获得第一相似度概率值；找到时空概率分布曲线，并读取第二相似度概率值；获得两张待测行人图像中的行人相似度值，与相似度预设值的比较结果判断两张待测行人图像中的行人是否为同一行人。本发明专利技术解决了现有技术中行人重识别技术的应用时，仅利用视觉语义信息的比对进行行人重识别存在一定的局限性，会出现误判的可能而影响识别精度的问题。问题。问题。

【技术实现步骤摘要】
一种基于视觉语义信息和时空信息的行人重识别方法


[0001]本专利技术涉及图像处理和行人识别
，具体而言，涉及一种基于视觉语义信息和时空信息的行人重识别方法。

技术介绍

[0002]随着人工智能的应用推广，行人重识别技术应用于视频监控领域，可以综合同一个行人在多个不同摄像头下的画面以准确获取该行人的活动轨迹，从而有利于对于公共场所内的行人的监测与跟踪，大大地提升公共场所的安全性。在行人重识别技术中，关键的技术点是如何准确地对来自不同摄像头的两张行人图像中的行人是否为同一人进行识别匹配判断，也就是说，匹配的准度直接关系到行人重识别技术的应用是否可靠。
[0003]现有技术中，行人重识别的应用中，两张行人图像之间的行人识别匹配判断方法是利用视觉语义信息的比对，即通过行人重识别模型分别获取两张行人图像的特征图，根据特征图进行行人特征提取，最终通过提取到的行人特征之间的细节比对结果判定两张行人图像中的行人是否为同一人。但是，仅利用视觉语义信息的比对进行行人重识别存在一定的局限性，例如，当摄像头拍摄的图片中行人密集时，或连续经过摄像头的行人数量过多时，特征空间中的相似的行人特征的重叠量会明显增加，待处理的行人特征数量急剧增加，便会导致模型出现误判的可能性增加，从而造成行人重识别的准确率降低，影响行人重识别的实用性。

技术实现思路

[0004]本专利技术的主要目的在于提供一种基于视觉语义信息和时空信息的行人重识别方法，以解决现有技术中行人重识别技术的应用时，仅利用视觉语义信息的比对进行行人重识别存在一定的局限性，会出现误判的可能而影响识别精度的问题。
[0005]为了实现上述目的，本专利技术提供了一种基于视觉语义信息和时空信息的行人重识别方法，包括：步骤S1，收集目标场景中多个取像设备在预设时长内拍摄的行人图像并制作训练集，使用训练集训练基础神经网络后获得用于人体特征提取的骨干神经网路；步骤S2，标注训练集中各行人图像的人体ID、时间信息和空间信息，并根据三者分别获取多个取像设备中任意两个取像设备之间的时空概率分布曲线，形成时空概率分布曲线集；步骤S3，获取目标场景的包含有多张待测行人图像的检测集，并在检测集中选取来自两个不同的取像设备的任意两张待测行人图像，分别将两张待测行人图像输入骨干神经网络后分别获取对应的人体特征向量，并根据两个人体特征向量计算获得第一相似度概率值；根据两张待测行人图像的空间信息在时空概率分布曲线集中找到两个取像设备对应的时空概率分布曲线，并根据两张待测行人图像的时间信息在时空概率分布曲线中读取第二相似度概率值；步骤S4，根据第一相似度概率值和第二相似度概率值计算获得两张待测行人图像中的行人相似度值，根据行人相似度值与相似度预设值的比较结果判断两张待测行人图像中的行人是否为同一行人。
[0006]进一步地，任意两个取像设备之间的时空概率分布曲线获取方法包括：步骤S21，在训练集中提取出取像设备c
i
拍摄的行人图像，以及取像设备c
j
拍摄的行人图像；步骤S22，将取像设备c
i
拍摄的行人图像和取像设备c
j
拍摄的行人图像中具有相同人体ID的两张行人图像匹配形成行人图像对，并根据每个行人图像对中的两张行人图像的时间信息计算出跨镜时长；步骤S23，将预设时长分割成多个离散时间段，根据各行人图像对的跨镜时长落入相应的离散时间段的数量统计形成行人跨镜时长
‑
数量分布直方图，并将其转化成时空概率分布直方图；步骤S24，通过Parzen窗函数将时空概率分布直方图转换为时空概率分布曲线。
[0007]进一步地，行人跨镜时长
‑
数量分布直方图通过频数概率转换公式转化成时空概率分布直方图，频数概率转换公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）式中，n
kcicj
表示行人跨镜时长
‑
数量分布直方图中，第k列的取像设备c
i
拍摄的行人图像和取像设备c
j
拍摄的行人图像的行人图像对的个数；m表示行人跨镜时长
‑
数量分布直方图中的列总数。
[0008]进一步地，时空概率分布直方图通过概率密度估计公式转化成空概率分布直方图，概率密度估计公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式中，x
k
表示时空概率分布直方图中，第k列对应的离散时间段的中位时间点值；，其中，表示时空概率分布直方图中，第k列的取像设备c
i
拍摄的行人图像和取像设备c
j
拍摄的行人图像的行人图像对的个数；m表示时空概率分布直方图中的列总数；z为归一化参数；G（x
k
－x）为高斯核函数，，其中，σ为标准差，其取值为离散时间段的时间长度值二分之一。
[0009]进一步地，第一相似度概率值的计算公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）式中，θ为人体特征向量A和人体特征向量B之间的夹角；n为人体特征向量A或人体特征向量B的总维数。
[0010]进一步地，行人相似度值P通过第一相似度概率值和第二相似度概率值的乘积获取。
[0011]进一步地，行人图像对根据行人图像的时间信息选取，为同一个目标行人从取像
设备c
i
拍摄的所有行人图像中消失的一帧图像，以及取像设备c
j
拍摄的行人图像中出现的一帧图像。
[0012]进一步地，预设时长被分割成等时间间隔的q个离散时间段，或预设时长被分割成q个离散时间段，其中，前q－1个离散时间段为等时间间隔。
[0013]进一步地，基础神经网络为VGG神经网络或ResNet神经网络。
[0014]进一步地，相似度预设值的阈值范围为[0.7,0.8]，当行人相似度值大于相似度预设值时，判定两张待测行人图像中的行人为同一行人；当行人相似度值小于或等于相似度预设值时，判定两张待测行人图像中的行人为不同行人。
[0015]应用本专利技术的技术方案，优化改进了传统的行人重识别方法中对于每两张行人图像的行识别匹配判断方式，在视觉语义信息的比对基础上，增加了时空信息的权重，即在利用人体特征向量获得第一相似度概率值的基础上，结合了利用行人图像的时间信息和空间信息得到的时空概率分布曲线而获取的第二相似度概率值，通过两个条件共同判断两张待测行人图像中的行人是否为同一行人；从而大大地提升了行人相似度判定的可靠性，提高了行人重识别任务的精度，保证了行人重识别技术应用的实用性。
附图说明
[0016]构成本申请的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1示出了根据本专利技术的一种可选实施例的基于视觉语义信息和时空信息的行人重识别方法的流程图；图2示出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉语义信息和时空信息的行人重识别方法，其特征在于，包括：步骤S1，收集目标场景中多个取像设备在预设时长内拍摄的行人图像并制作训练集，使用所述训练集训练基础神经网络后获得用于人体特征提取的骨干神经网路；步骤S2，标注所述训练集中各所述行人图像的人体ID、时间信息和空间信息，并根据三者分别获取多个所述取像设备中任意两个所述取像设备之间的时空概率分布曲线，形成时空概率分布曲线集；步骤S3，获取所述目标场景的包含有多张待测行人图像的检测集，并在所述检测集中选取来自两个不同的所述取像设备的任意两张待测行人图像，分别将两张所述待测行人图像输入所述骨干神经网络后分别获取对应的人体特征向量，并根据两个所述人体特征向量计算获得第一相似度概率值；根据两张所述待测行人图像的空间信息在所述时空概率分布曲线集中找到两个所述取像设备对应的时空概率分布曲线，并根据两张所述待测行人图像的时间信息在所述时空概率分布曲线中读取第二相似度概率值；步骤S4，根据所述第一相似度概率值和所述第二相似度概率值计算获得两张所述待测行人图像中的行人相似度值，根据所述行人相似度值与相似度预设值的比较结果判断两张所述待测行人图像中的行人是否为同一行人。2.根据权利要求1所述的行人重识别方法，其特征在于，任意两个所述取像设备之间的时空概率分布曲线获取方法包括：步骤S21，在所述训练集中提取出所述取像设备c
i
拍摄的所述行人图像，以及所述取像设备c
j
拍摄的所述行人图像；步骤S22，将所述取像设备c
i
拍摄的所述行人图像和所述取像设备c
j
拍摄的所述行人图像中具有相同人体ID的两张所述行人图像匹配形成行人图像对，并根据每个所述行人图像对中的两张所述行人图像的时间信息计算出跨镜时长；步骤S23，将所述预设时长分割成多个离散时间段，根据各所述行人图像对的跨镜时长落入相应的所述离散时间段的数量统计形成行人跨镜时长
‑
数量分布直方图，并将其转化成时空概率分布直方图；步骤S24，通过Parzen窗函数将时空概率分布直方图转换为所述时空概率分布曲线。3.根据权利要求2所述的行人重识别方法，其特征在于，所述行人跨镜时长
‑
数量分布直方图通过频数概率转换公式转化成所述时空概率分布直方图，所述频数概率转换公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）式中，n
kcicj
表示所述行人跨镜时长
...

【专利技术属性】
技术研发人员：兰雨阳，任必为，郑翔，宋君，陶海，
申请(专利权)人：北京文安智能技术股份有限公司，
类型：发明
国别省市：