一种融合人脸及人体特征的跨境行人轨迹检测方法技术

本发明专利技术涉及一种融合人脸及人体特征的跨境行人轨迹检测方法，所述检测方法包括：S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列；S2、对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取；S3、建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征；S4、根据列表内存储的信息进行全局轨迹匹配。本发明专利技术的优点在于：在进行局部轨迹间的匹配时，同时使用行人重识别与人脸识别模型提取的特征综合的计算两两轨迹间的距离，以减少对行人重识别模型性能的依赖，能够得到更准确的结果。

【技术实现步骤摘要】
一种融合人脸及人体特征的跨境行人轨迹检测方法
本专利技术涉及图像识别处理
，尤其涉及一种融合人脸及人体特征的跨境行人轨迹检测方法。
技术介绍
多摄像机多目标追踪技术目的是在给定的连续多个视频中确定追踪行人目标的位置及轨迹，并且在同一视频内保持被追踪目标的身份信息不变，在不同视频间保持被追踪目标身份一致。针对多摄像机目标追踪问题，根据摄像机拍摄区域是否有交叠，其可以被进一步划分无交叠区域多摄像机多目标追踪和有交叠区域多摄像机多目标追踪。对于有交叠区域多摄像机多目标追踪，虽然可以简单的将多个摄像机下的目标投影至同一参考坐标系内进行轨迹的连接，但这对目标定位的准确性与其在参考坐标系下投影的准确性能有一定的要求，且无法追踪只在一个摄像机下出现的目标。无交叠区域多摄像机多目标追踪旨在实现在摄像机间有盲区时如何进行追踪这一问题，传统方法会采取结合行人重识别的方式，通过与之前轨迹段的行人重识别提取的特征做比较进行局部轨迹间的匹配，而这又非常依赖行人重识别方法的性能。
技术实现思路
本专利技术的目的在于克服现有技术的缺点，提供了一种融合人脸及人体特征的跨境行人轨迹检测方法，解决了现有检测方法中存在的问题。本专利技术的目的通过以下技术方案来实现：一种融合人脸及人体特征的跨境行人轨迹检测方法，所述检测方法包括：S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列；S2、对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取；S3、建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征；S4、根据列表内存储的信息进行全局轨迹匹配。所述分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列包括：对M个摄像机进行编号，通过Fair-Mot算法获得图像中目标的检测框位置信息和对应轨迹的轨迹序号；用Ti表示第i个摄像机下产生的所有轨迹的集合，用一段时间内的轨迹列表来描述于第i个摄像机下获取的任意一条轨迹Ti(v)＝{[bi(t，id)，id]|t∈ε}。所述对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取包括：合并局部轨迹列表，并用符号T＝{T1，T2，...，TM}表示各个摄像机下生成的局部轨迹的集合；根据轨迹T中的某一帧的目标检测框位置对当前视频帧图像进行裁剪，得到图像Pj，并使用ReID模型对图像Pj进行人体特征提取，并表示为Fj＝E(Pj)；使用人脸检测模型对图像Pj进行人脸检测，如果检测到对应的人脸图像Ij，则使用人脸识别模型对图像Ij进行特征提取，并表示为Gj＝A(Ij)，如果没有检测到人脸则不进行人脸识别。所述建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征包括：对于每个轨迹Ti(v)新建对应轨迹序号数量的列表Lid(j)用以存储当前轨迹的当前轨迹序号id；根据当前轨迹进入时间及消失时间sj与tj，行人重识别均值特征Fm(j，tj)，人脸均值特征Gm(j，tj)，初始化行人重识别与人脸识别阈值μ、ω，初始化行人重识别置信轨迹序号与人脸识别置信轨迹序号为当前轨迹序号id。所述行人重识别均值特征表示为Fm(j，tj)＝σ*Fj+(1-σ)*Fm(j，tj-1)，其中σ的取值规则为：当cos(Fm(j，tj)，Fj)＜θ时：σ＝a*(tj-sj+1)/(tj-sj+2)，当cos(Fm(j，tj)，Fj)＞θ时：σ＝(1-a)+a*(tj-sj+1)/(tj-sj+2)；所述人脸均值特征表示为其中的取值规则为：当cos(Gm(j，tj)，Gj)＜θ时：当cos(Gm(j，tj)，Gj)＞θ时：所述根据列表内存储的信息进行全局轨迹匹配包括：A1、对于任意一个列表Lid(k)，将其与其他之前输入的列表Lid(l)循环进行比较；A2、对两个列表中的Gm数量进行判断，若两个列表中只有一个或者一个都没有Gm，则根据cos(Fm(k，tk)，Fm(l，tl))取值与时空信息进行轨迹的连接；A3、如果cos(Fm(k，tk)，Fm(l，tl))＜μ，且sk＞tl，则μ＝cos(Fm(k，tk)，Fm(l，tl))，并将列表Lid(l)中的轨迹序号idp存储至列表Lid(k)中；A4、重复步骤A1-A3，并贵存储的轨迹序号进行替换，最后更新列表中存储的行人重识别置信轨迹序号为该轨迹相连轨迹的轨迹序号idp。所述对两个列表中的Gm数量进行判断中，若两个列表中均存在Gm，则再进行cos(Gm(k，tk)，Gm(l，tl))的循环比较，直至找到最小的两个人脸距离ω及对应人脸识别置信轨迹序号idf，并比较人脸距离ω与行人距离μ，进行最后轨迹连接的判断。所述比较人脸距离ω与行人距离μ，进行最后轨迹连接的判断包括：如果则更新列表中最终置信轨迹序号为人脸识别置信轨迹序号idf；如果则更新列表中最终置信轨迹序号为行人重识别置信轨迹序号idp。本专利技术具有以下优点：一种融合人脸及人体特征的跨境行人轨迹检测方法，在进行局部轨迹间的匹配时，同时使用行人重识别与人脸识别模型提取的特征综合的计算两两轨迹间的距离，以减少对行人重识别模型性能的依赖，能够得到更准确的结果。附图说明图1为本专利技术方法的流程示意图；图2为本专利技术步骤S4的流程示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本专利技术做进一步的描述。如图1所示，一种融合人脸及人体特征的跨境行人轨迹检测方法，融合了人脸识别技术与行人重识别技术，在进行局部轨迹间的匹配时，同时使用行人重识别与人脸识别模型提取的特征综合的计算两两轨迹间的距离，以减少对行人重识别模型性能的依赖。由于行人重识别公开数据集规模的限制，导致实际应用在真实场景时无法得到好的结果，因而不能过度依赖行人重识别模型的性能，人脸识别比之行人重识别，其数据集规模基本能得到保障，但行人在监控摄像头下行走时不一定能被检测到人脸，因而在进行局部轨迹间的匹配时，本专利技术能得到更准确的结果，专利技术具体包含以下步骤：S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列。进一步地，S1的具体步骤为：假设一共有M个摄像机，对于每个摄像机，我们进行编号，其号码为i(1＜i＜M)，对第i个摄像机拍摄到本文档来自技高网...

【技术保护点】
1.一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述检测方法包括：/nS1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列；/nS2、对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取；/nS3、建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征；/nS4、根据列表内存储的信息进行全局轨迹匹配。/n

【技术特征摘要】
1.一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述检测方法包括：
S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列；
S2、对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取；
S3、建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征；
S4、根据列表内存储的信息进行全局轨迹匹配。


2.根据权利要求1所述的一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列包括：
对M个摄像机进行编号，通过Fair-Mot算法获得图像中目标的检测框位置信息和对应轨迹的轨迹序号；
用Ti表示第i个摄像机下产生的所有轨迹的集合，用一段时间内的轨迹列表来描述于第i个摄像机下获取的任意一条轨迹Ti(v)＝{[bi(t，id)，id]|t∈ε}。


3.根据权利要求2所述的一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取包括：
合并局部轨迹列表，并用符号T＝{T1，T2，...，TM}表示各个摄像机下生成的局部轨迹的集合；
根据轨迹T中的某一帧的目标检测框位置对当前视频帧图像进行裁剪，得到图像Pj，并使用ReID模型对图像Pj进行人体特征提取，并表示为Fj＝E(Pj)；
使用人脸检测模型对图像Pj进行人脸检测，如果检测到对应的人脸图像Ij，则使用人脸识别模型对图像Ij进行特征提取，并表示为Gj＝A(Ij)，如果没有检测到人脸则不进行人脸识别。


4.根据权利要求3所述的一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征包括：
对于每个轨迹Ti(v)新建对应轨迹序号数量的列表Lid(j)用以存储当前轨迹的当前轨迹序号id；
根据当前轨迹进入时间及消失时间sj与tj，行人重识别均值特征Fm(j，tj)，人脸均值特征Gm(j，tj)，初始化行人重识别与人脸识别阈值μ、ω，初始化行人重识别置信轨迹序号与人脸识别置信轨迹序号...

【专利技术属性】
技术研发人员：龚勋，樊剑锋，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：四川;51