内容自适应的行人重识别数据集生成方法及系统技术方案

本发明专利技术公开的内容自适应的行人重识别数据集生成方法及系统，包括：获取监控视频，并从监控视频中提取关键帧；对监控视频进行行人目标轨迹跟踪，并获取每个关键帧的行人框图像及对应的身份信息；从获取的行人框图像中，筛选出无遮挡和无运动模糊的全身行人框图，且筛选出的全身行人框图在相邻帧内无相似图片；对筛选出的各全身行人框图进行质量评价，获得筛选出的各行人框图的质量得分；对质量得分高于设定分数阈值的行人框图进行域内数据增强，获得数据增强后框图；根据数据增强后框图进行域间数据生成，获取各行人的跨相机特征图；通过数据增强后框图与各行人的跨相机特征图构建行人重识别数据集。获得了高质量、多样性的行人重识别数据集。重识别数据集。重识别数据集。

【技术实现步骤摘要】
内容自适应的行人重识别数据集生成方法及系统


[0001]本专利技术涉及行人重识别
，尤其涉及内容自适应的行人重识别数据集生成方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]行人重识别是智能监控系统中一个重要的研究课题，适用于安防以及公共场所寻人等
其目的主要是在跨区域的非重叠摄像机视角下识别出同一个行人，即对于摄像头中给定的某个待查寻行人，判断其是否出现在其他摄像头下。它是一种自动的目标识别技术，能在监控网络中快速定位到感兴趣的行人目标，是智能视频监控中的重要步骤。
[0004]目前，常利用卷积神经网络并结合监督学习的方式获得具有判别力的模型，进行行人重识别。监督学习的方式需要大量的训练数据集，即用当前的训练数据来对将来的数据进行估计与模拟。
[0005]然而，目前用于行人重识别的数据集中的样本数量有限，且样本存在图像质量差、模糊遮挡、半身人、相似度较高等问题。当利用现有的数据集进行行人重识别模型训练时，使得训练好的行人重识别模型的精度较低，且容易出现过拟合现象。
[0006]为解决数据集中样本数量有限且样本质量较差的问题，常采用人工方式制作并扩充数据集，需要大量的人工介入，代价较大。
[0007]针对上述数据集制作及扩充问题，现有的方法有三种，一是获取更多的视频或图片数据，结合人工和机器标注来对数据集进行扩充，人工标注需要大量的人工介入代价较大，且机器标注工作的可靠性也不高；二是通过无监督学习，加入非标注数据，智能提高识别性能，这种方法引入的数据通常不满足数据的独立同分布准则，从而导致数据存在误差，使得提升效果有限；三是在已有数据基础上进行线性变换，从而可得到更多数据，这种方法无法得到多样性数据，且鲁棒性较差，计算复杂度较高。
[0008]故专利技术人认为，现有的用于行人重识别的数据集中样本数量有限样本质量较差，且并不能对数据集进行有效扩充。

技术实现思路

[0009]本专利技术为了解决上述问题，提出了内容自适应的行人重识别数据集生成方法及系统，通过对行人框图进行无遮挡、无运动模糊、无相似图像和高质量得分筛选，并根据不同域的特点进行相应的域内数据增强和域间数据扩充，获得了高质量、多样性的行人重识别数据集。
[0010]为实现上述目的，本专利技术采用如下技术方案：
[0011]第一方面，提出了内容自适应的行人重识别数据集生成方法，包括：
[0012]获取监控视频，并从监控视频中提取关键帧；
[0013]对监控视频进行行人目标轨迹跟踪，并获取每个关键帧的行人框图像及对应的身份信息；
[0014]从获取的行人框图像中，筛选出无遮挡和无运动模糊的行人框图，且筛选出的全身行人框图在相邻帧内无相似图片；
[0015]对筛选出的各全身行人框图进行质量评价，获得筛选出的各行人框图的质量得分；
[0016]对质量得分高于设定分数阈值的行人框图进行域内数据增强，获得数据增强后框图；
[0017]根据数据增强后框图进行域间数据生成，获取各行人的跨相机特征图；
[0018]通过数据增强后框图与各行人的跨相机特征图构建行人重识别数据集。
[0019]第二方面，提出了内容自适应的行人重识别数据集生成系统，包括：
[0020]关键帧获取模块，用于获取监控视频，并从监控视频中提取关键帧；
[0021]行人框图获取模块，用于对监控视频进行行人目标轨迹跟踪，并获取每个关键帧的行人框图像及对应的身份信息；
[0022]行人框图筛选模块，用于从获取的行人框图像中，筛选出无遮挡和无运动模糊的全身行人框图，且筛选出的全身行人框图在相邻帧内无相似图片；
[0023]质量评价模块，用于对筛选出的各全身行人框图进行质量评价，获得筛选出的各行人框图的质量得分；
[0024]域内数据增强模块，用于对质量得分高于设定分数阈值的行人框图进行域内数据增强，获得数据增强后框图；
[0025]域间数据生成模块，用于根据数据增强后框图进行域间数据生成，获取各行人的跨相机特征图；
[0026]数据集构建模块，用于通过数据增强后框图与各行人的跨相机特征图构建行人重识别数据集。
[0027]第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成内容自适应的行人重识别数据集生成方法所述的步骤。
[0028]第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成内容自适应的行人重识别数据集生成方法所述的步骤。
[0029]与现有技术相比，本专利技术的有益效果为：
[0030]1、本专利技术通过对行人框图进行无遮挡、无运动模糊、无相似图像和高质量得分筛选，并根据不同域的特点进行相应的域内数据增强和域间数据扩充，获得了高质量、多样性的行人重识别数据集。
[0031]2、本专利技术的域内数据增强策略，从不同的数据增强策略中，筛选出了使行人重识别损失最小的最优数据增强策略，利用该最优数据增强策略能够对域内数据进行有效增强。
[0032]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0033]构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
[0034]图1为实施例1公开方法的整体流程示意图；
[0035]图2为实施例1公开的图像质量评价网络示意图；
[0036]图3为实施例1公开的域内数据增强过程示意图；
[0037]图4为实施例1公开的的域间数据生成网络示意图。
具体实施方式
[0038]下面结合附图与实施例对本专利技术作进一步说明。
[0039]应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0040]术语解释：
[0041]1.行人重识别：给定一个监控行人图像，检索跨设备下的该行人图像，用来弥补固定摄像头的视觉局限。
[0042]2.域内与域间：域内指不同时段的同一场景；域间指不同场景。
[0043]3.类内与类间：类内指不同时刻或不同场景下的同一行人；类间指不同行人。
[0044]4.全局平均池化：在整张特征图上以卷积窗口的形式进行滑动，对窗口内的所有值取平均值。
[0045]5.域泛化：让源域数据训练的模型泛化到具有任意数据分布的目标域。
[0046]6.数据增强：通过对已有数据添加微小改动或从已有数据新创建合成数据增加数据量，低成本提高机器学习模型性能和准确率。
[0047]7.超参优化算法：基于目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.内容自适应的行人重识别数据集生成方法，其特征在于，包括：获取监控视频，并从监控视频中提取关键帧；对监控视频进行行人目标轨迹跟踪，并获取每个关键帧的行人框图像及对应的身份信息；从获取的行人框图像中，筛选出无遮挡和无运动模糊的全身行人框图，且筛选出的全身行人框图在相邻帧内无相似图片；对筛选出的各全身行人框图进行质量评价，获得筛选出的各行人框图的质量得分；对质量得分高于设定分数阈值的行人框图进行域内数据增强，获得数据增强后框图；根据数据增强后框图进行域间数据生成，获取各行人的跨相机特征图；通过数据增强后框图与各行人的跨相机特征图构建行人重识别数据集。2.如权利要求1所述的内容自适应的行人重识别数据集生成方法，其特征在于，获取筛选出的全身行人框图的过程为：从每个关键帧的行人框图像中筛选出无遮挡和无运动模糊的全身行人框图；对于筛选出的无遮挡和无运动模糊的全身行人框图，剔除相邻关键帧的相似图片，获得筛选出的全身行人框图。3.如权利要求2所述的内容自适应的行人重识别数据集生成方法，其特征在于，对于每个关键帧，当存在多个行人框图像时，对于每个行人框图像，计算与其余行人框图像的交并比，从所有的行人框图像中，筛选出与其余行人框图像的交并比均小于等于设定阈值的行人框图像，为无遮挡的行人框图；当仅存在单个行人框图像时，直接将该行人框图像作为无遮挡的行人框图；从无遮挡的行人框图中筛选出行人的关键部位均可见，行人的高宽比位于第一设定值和第二设定值之间，检测置信度大于置信度阈值，且边界框宽度大于设定像素的全身行人框图，为最终筛选出的无遮挡和无运动模糊的全身行人框图。4.如权利要求2所述的内容自适应的行人重识别数据集生成方法，其特征在于，根据行人框图的时序，对筛选出的无遮挡和无运动模糊的全身行人框图进行段划分，在每一段中，均包括多帧的无遮挡和无运动模糊的全身行人框图；对于每段中的每个行人目标，计算相邻行人框图之间的差分值；根据相邻行人框图之间的帧间差分值，计算平均帧间差分强度；并从中筛选出平均差分强度最大的行人框图，作为该行人目标从该段中筛选出的全身行人框图；每个行人目标从不同段中筛选出的所有行人框图，组成筛选出的全身行人框图。5.如权利要求1所述的内容自适应的行人重识别数据集生成方法，其特征在于，通过图像质量评价网络对筛选出的各全身行人框图进行质量评价，获得筛选出的各行人框图的质量得分。6.如权利要求1所述的内容自适应的行人重识别数据集生成方...

【专利技术属性】
技术研发人员：杨阳，李雪，刘云霞，张南南，孙齐悦，李玉军，翟超，彭朝祥，
申请(专利权)人：山东大学，
类型：发明
国别省市：