信息瓶颈增强的视频行人重识别方法、系统及存储介质技术方案

本发明专利技术公开了一种信息瓶颈增强的视频行人重识别方法、系统及存储介质，包括：获取待识别的视频片段，并将待识别的视频片段转换为第一视频帧数据；将第一视频帧数据输入到训练好的信息瓶颈增强的神经网络模型中，以使神经网络模型输出第一视频帧数据所对应的第一一阶特征向量和第一二阶特征方差估计向量；对第一一阶特征向量和第一二阶特征方差估计向量进行融合，得到第一特征提取向量；将第一特征提取向量分别与数据库内存储的各视频片段所对应的第二特征提取向量进行比对，从大到小选取相似度对应的若干个第二特征提取向量所对应的视频片段作为结果。本发明专利技术能够抑制视频帧中的干扰信息，减少冗余信息对特征提取的干扰，提高特征提取的精确度。提高特征提取的精确度。提高特征提取的精确度。

【技术实现步骤摘要】
信息瓶颈增强的视频行人重识别方法、系统及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种信息瓶颈增强的视频行人重识别方法及系统。

技术介绍

[0002]行人重识别(Person
‑
ReID)的目的是给定视频监控网络下一个特定的身份的人，在监控网络下的其他监控设备中的精确地检索出相同的身份，并给出查询结果。行人重识别是实现视频监控网络智能化必不可少的一环，也是安防智能化技术的核心。
[0003]现有的基于视频的行人重识别方法使用一段视频片段作为输入而不是单一的一张图片，根据现实中监控设备采集的原始视频数据，能够更贴近实际场景，提供人物的外貌信息和时间维度上的姿势变化、步态信息。现有技术主要从空间特征提取和时序特征建模两个方面，进行视频行人重识别任务；其中，空间特征提取方法包括卷积神经网络、图神经网络等，时序特征提取包括循环神经网络、三维卷积等。
[0004]但是，现有技术在处理原始视频数据后，所得到的特征数据仍然存在较多的噪声干扰和背景变化，如何利用好视频数据的时间和空间信息是解决视频行人重识别任务的关键。

技术实现思路

[0005]本专利技术的目的是针对上述现有技术的不足，提出一种信息瓶颈增强的视频行人重识别方法、系统及存储介质，旨在解决现有技术缺乏对特征中行人的有效信息的直接优化，所提取的特征会包含大量的冗余/干扰信息的问题。
[0006]第一方面，本专利技术提供了一种信息瓶颈增强的视频行人重识别方法，所述方法包括：
[0007]获取待识别的视频片段，并将所述待识别的视频片段转换为第一视频帧数据；
[0008]将所述第一视频帧数据输入到训练好的信息瓶颈增强的神经网络模型中，以使所述神经网络模型输出所述第一视频帧数据所对应的第一一阶特征向量和第一二阶特征方差估计向量；其中，所述神经网络模型是以视频片段样本作为输入，以一阶特征向量和二阶特征方差估计向量作为输出，并对每次输出进行重参数化，根据信息瓶颈损失函数和重识别损失函数计算损失函数，进行若干次训练后而获得；
[0009]对所述第一一阶特征向量和所述第一二阶特征方差估计向量进行融合，得到第一特征提取向量；
[0010]将所述第一特征提取向量分别与数据库内存储的各视频片段所对应的第二特征提取向量进行比对，从大到小选取若干个相似度所对应的第二特征提取向量所对应的视频片段作为视频行人重识别的结果。
[0011]本专利技术通过计算一阶特征向量外，还计算二阶特征方差估计向量，采用重参数化技术才可以计算信息瓶颈损失函数中的互信息，并以计算信息瓶颈损失函数和重识别损失
函数进行参数更新，能够挖掘行人视频片段数据中空间和时间上高判别性的特征信息将其保留，而且可以抑制视频的帧序列空间和时间中的干扰信息，能够减少冗余/低判别性信息对特征提取的干扰，提高行人重识别的精确度。
[0012]进一步，所述神经网络模型内设置了第一网络和第二网络；
[0013]所述第一网络为特征提取网络，用于输出所述一阶特征向量；
[0014]所述第二网络为特征提取网络，用于输出所述二阶特征方差估计向量；其中，所述第一网络和所述第二网络为相同或者不同的独立结构。
[0015]所述对每次输出进行重参数化，具体计算为：
[0016]Z＝F+S*e，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0017]其中，Z是重参数化结果，F和S分别是一阶特征向量和二阶特征方差估计向量，e是服从标准正态分布的伪随机数向量。
[0018]本专利技术构建一阶特征向量和二阶特征方差估计向量的相关关系，在训练中添加伪随机数向量作为噪声，能够避免训练过拟合，能够提高算法的鲁棒性，从而提高本算法在测试时的性能。
[0019]再进一步，所述根据信息瓶颈损失函数和重识别损失函数计算损失函数，所述损失函数的表达式为：
[0020]L
total
＝L
reid
+λL
ib
，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0021]其中，L
total
为总损失函数，L
reid
和L
ib
分别为重识别损失函数和信息瓶颈损失函数，λ为所述信息瓶颈损失函数的影响因子。
[0022]本专利技术采用线性方程构建重识别损失函数和信息瓶颈损失函数的相关关系，通过信息瓶颈损失函数和重识别损失函数来训练神经网络，调整其权值，从而利用信息瓶颈理论挖掘行人视频片段数据中空间和时间上高判别性的特征信息将其保留，而且可以抑制视频的帧序列空间和时间中的干扰信息。
[0023]进一步，所述对所述第一一阶特征向量和所述第一二阶特征方差估计向量进行融合，得到第一特征提取向量。具体为：根据所述第一二阶特征方差估计向量，对所述第一一阶特征向量的每个维度上的值都进行加权修正，得到第一特征提取向量。
[0024]本专利技术通过在识别过程中，融合一阶特征向量和二阶特征方差估计向量，用二阶特征方差估计向量进一步优化一阶特征向量，能够进一步提升性能。
[0025]再进一步，所述获取待识别的视频片段，并将所述待识别的视频片段转换为第一视频帧数据，包括：
[0026]按顺序随机抽取T帧，作为图片序列输入神经网络；或者，
[0027]采用全部帧作为输入。
[0028]本专利技术采用对视频片段划分为视频帧，可以获得具有时间连续且空间特征连续的多张图片数据，初步获取到具有时空特征的粗糙的视频帧数据。
[0029]再进一步，所述将所述第一特征提取向量分别与数据库内存储的各视频片段所对应的第二特征提取向量进行比对，包括：
[0030]将所有视频片段转换为第二视频帧数据，将所述第二视频帧数据作为所述神经网络模型的输入，分别输出与所述第二视频帧数据对应的第二一阶特征向量和第二二阶特征方差估计向量，将所述第二一阶特征向量和所述第二二阶特征方差估计向量进行融合，得
到第二特征提取向量，并将所述第二特征提取向量存入数据库中。
[0031]第二方面，本专利技术提供了一种信息瓶颈增强的视频行人重识别系统，所述系统包括：
[0032]视频帧获取模块，用于获取待识别的视频片段，并将所述待识别的视频片段转换为第一视频帧数据；
[0033]特征向量提取模块，用于将所述第一视频帧数据输入到训练好的信息瓶颈增强的神经网络模型中，以使所述神经网络模型输出所述第一视频帧数据所对应的第一一阶特征向量和第一二阶特征方差估计向量；其中，所述神经网络模型是以视频片段样本作为输入，以一阶特征向量和二阶特征方差估计向量作为输出，并对每次输出进行重参数化，根据信息瓶颈损失函数和重识别损失函数计算损失函数，进行若干次训练后而获得；
[0034]融合模块，用于对所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息瓶颈增强的视频行人重识别方法，其特征在于，所述方法包括：获取待识别的视频片段，并将所述待识别的视频片段转换为第一视频帧数据；将所述第一视频帧数据输入到训练好的信息瓶颈增强的神经网络模型中，以使所述神经网络模型输出所述第一视频帧数据所对应的第一一阶特征向量和第一二阶特征方差估计向量；其中，所述神经网络模型是以视频片段样本作为输入，以一阶特征向量和二阶特征方差估计向量作为输出，并对每次输出进行重参数化，根据信息瓶颈损失函数和重识别损失函数计算损失函数，进行若干次训练后得到；对所述第一一阶特征向量和所述第一二阶特征方差估计向量进行融合，得到第一特征提取向量；将所述第一特征提取向量分别与数据库内存储的各视频片段所对应的第二特征提取向量进行比对，从大到小选取若干个相似度所对应的第二特征提取向量所对应的视频片段作为视频行人重识别的结果。2.如权利要求1所述的信息瓶颈增强的视频行人重识别方法，其特征在于，所述神经网络模型内设置了第一网络和第二网络；所述第一网络为特征提取网络，用于输出所述一阶特征向量；所述第二网络为特征提取网络，用于输出所述二阶特征方差估计向量；其中，所述第一网络和所述第二网络为相同或者不同的独立结构。3.如权利要求1所述的信息瓶颈增强的视频行人重识别方法，其特征在于，所述对每次输出进行重参数化，具体计算为：Z＝F+S*e，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，Z是重参数化结果，F和S分别是一阶特征向量和二阶特征方差估计向量，e是服从标准正态分布的伪随机数向量。4.如权利要求1所述的信息瓶颈增强的视频行人重识别方法，其特征在于，所述根据信息瓶颈损失函数和重识别损失函数计算损失函数，所述损失函数的表达式为：L
total
＝L
reid
+λL
ib
，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，L
total
为总损失函数，L
reid
和L
ib
分别为重识别损失函数和信息瓶颈损失函数，λ为所述信息瓶颈损失函数的影响...

【专利技术属性】
技术研发人员：王旭，廖亚樵，李婷婷，匡国文，
申请(专利权)人：深圳职业技术学院，
类型：发明
国别省市：