一种基于类人眼的学生数据智能采集方法及装置制造方法及图纸

本申请公开了一种基于类人眼的学生数据智能采集方法及装置，该方法包括：获取部署在展馆内部不同展区的各摄像头所采集的参观人员的视频流，通过图像检测生成每个参观人员的检测框，形成待查询的检测框集合；使用训练好的特征提取模型从所述视频流中提取每个参观人员的外观特征、人体姿势特征和虚拟轨迹；基于所述外观特征、人体姿势特征和虚拟轨迹将所述检测框与待识别的参观人员进行匹配，生成人员轨迹匹配信息；根据所述人员轨迹匹配信息以及预先建立的展馆摄像头链路拓扑生成参观人员的活动数据，包括参观人员的身份信息和活动轨迹数据。本发明专利技术可以有效地对展馆参观人员进行识别和活动轨迹生成，同时可以克服光照变化和遮挡等问题。和遮挡等问题。和遮挡等问题。

【技术实现步骤摘要】
一种基于类人眼的学生数据智能采集方法及装置


[0001]本申请涉及人员重识别
，更具体地，涉及一种基于类人眼的学生数据智能采集方法及装置。

技术介绍

[0002]科技馆参观人员的数据采集及身份识别是展区管理的重要组成部分。传统的手动监管和管理方式难以适应现代化的科技馆管理需求，为了更好地掌握和管理人员的参观活动信息，需要在展区内设置视频采集系统进行人员重识别系统，实现人员的精准定位和数据采集。
[0003]然而，现有在科技馆展区安装的视频采集系统往往缺乏自动检测、人员重识别等功能，并且由于展区展览内容所造成的展区光线变化，视频流中会出现更多的噪声，图像可能会失去细节和清晰度，从而影响科技馆展区中人员检测和人员重识别的结果。此外，展区内人员的聚集行为往往会造成非目标行人遮挡或非行人遮挡，减弱人员重识别的效率和准确率，对科技馆人流量管理以及展区参观管理造成潜在不利后果。

技术实现思路

[0004]针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种基于类人眼的学生数据智能采集方法及装置，可以抗光照变化、抗遮挡、准确地对科技馆不同展区的参观人员进行人员重识别和活动路径分析。
[0005]为实现上述目的，按照本专利技术的第一个方面，提供了一种基于类人眼的学生数据智能采集方法，其包括：
[0006]获取部署在展馆内部不同展区的各摄像头所采集的参观人员的视频流，通过图像检测生成每个参观人员的检测框，形成待查询的检测框集合；
[0007]使用训练好的特征提取模型从所述视频流中提取每个参观人员的外观特征、人体姿势特征和虚拟轨迹；
[0008]基于所述外观特征、人体姿势特征和虚拟轨迹将所述检测框与待识别的参观人员进行匹配，生成人员轨迹匹配信息；
[0009]根据所述人员轨迹匹配信息以及预先建立的展馆摄像头链路拓扑生成参观人员的活动数据，包括参观人员的身份信息和活动轨迹数据。
[0010]进一步地，上述学生数据智能采集方法，所述参观人员的外观特征的提取过程包括：
[0011]人员全局特征提取：对参观人员的视频流图像进行初步特征提取，产生特征向量；将所述特征向量转换为一维特征序列后，经自注意力机制计算和全连接层后产生最终的全局特征向量；
[0012]人员局部特征提取：引入一个可学习的局部原型集合
表示一个局部分类器，将全局特征向量的像素分配至第i个局部，利用交叉注意力机制提取全局特征向量中的前景局部特征，经全连接层后得到最终的局部特征向量；
[0013]将所述全局特征向量与局部特征向量串联，生成参观人员的外观特征。
[0014]进一步地，上述学生数据智能采集方法，所述参观人员的人体姿势特征的提取过程包括：
[0015]基于参观人员的检测框预测对应人员的人体姿态关键点，生成人体姿势特征：其中(x
i
,y
i
,s
i
)表示在共有17个人体关键点的第i个位置(x
i
,y
i
)上，s
i
代表每个人体关键点的置信度。
[0016]进一步地，上述学生数据智能采集方法，所述参观人员的虚拟轨迹的获取过程为：
[0017]对于每个参观人员的检测框，采取卡尔曼滤波算法产生虚拟轨迹和预测状态矢量值为步骤如下：
[0018](1)虚拟轨迹生成：基于卡尔曼滤波算法产生后验状态预测值τ、后验协方差矩阵P、状态过渡矩阵F、观察矩阵O以及两种模态间存在的噪音矩阵N；在每一帧t中，对在最后观察到的目标观察值设为重新触发关联的观察值表示为则虚拟轨迹表示为：
[0019][0020](2)虚拟轨迹迭代：将后验状态预测值τ沿着虚拟轨迹进行预测和重更新的迭代，预测和重更新的操作如下公式：
[0021][0022][0023]直至虚拟轨迹上的观察值与最新的真实观察值所标定的状态矢量值相匹配。
[0024]进一步地，上述学生数据智能采集方法，所述基于外观特征、人体姿势特征和虚拟轨迹将所述检测框与待识别的参观人员进行匹配，生成人员轨迹匹配信息，包括：
[0025]计算基于预测状态矢量值提取的特征向量与所述外观特征之间的距离，生成人员外观特征相似度；
[0026]将所述人体姿势特征中的人体关键点位置和置信度作为卡尔曼滤波算法的向量和状态矢量，计算人体姿态关键信息相似度；
[0027]将所述人员外观特征相似度、人体姿态关键信息相似度在虚拟轨迹集合和待查询的检测框集合构建距离矩阵，根据所述距离矩阵将当前帧中的检测框与前一帧中现存的各虚拟轨迹进行匹配；如匹配成功，则表明虚拟轨迹与检测框的目标身份相同，生成该检测框中参观人员对应的人员轨迹匹配信息。
[0028]进一步地，上述学生数据智能采集方法，采用基于网络流的Ford
‑
Fulkerson算法
进行虚拟轨迹与检测框之间的匹配，计算方式为：G
t,t
‑1＝FFA(D
t,t
‑1)；
[0029]其中，D
t,t
‑1表示距离矩阵；G
t,t
‑1为虚拟轨迹集U
t
‑1和待查询检测框集合Ω
t
的最佳匹配；若求解后G
t,t
‑1值为1，则表示虚拟轨迹与检测框集合中的检测框的目标身份相同。
[0030]进一步地，上述学生数据智能采集方法，所述展馆摄像头链路拓扑的建立方法为：
[0031](1)建立不同摄像头之间的链路拓扑结构，表示为：G
DCMC
＝(V
DCMC
,E
DCMC
),其中，V
DCMC
表示摄像头，V
DCMC
＝{d
i
|1≤i≤N
DCMC
}；E
DCMC
表示不同摄像头之间的转移分布，E
DCMC
＝{p
i,j
(Δt)|1≤i≤N
DCMC
,1≤j≤N
DCMC
,i≠j}；
[0032]式中，N
DCMC
为链路拓扑结构中摄像头的总数量，d
i
表示第i个摄像头，d
j
表示第j个摄像头，p
i,j
(Δt)表示d
i
和d
j
间的转移分布；
[0033](2)建立不同展区之间的拓扑结构，表示为：G
EA
＝(V
EA
,E
EA
),V
EA
＝{d
i(k)
|1≤i≤N
DCMC,
1≤k≤A
i
},},
[0034]其中，A
i
表示第i台摄像头覆盖的展区数，d
i(k)
表示第i个摄像头所处的第k展区；是d...

【技术保护点】

【技术特征摘要】
1.一种基于类人眼的学生数据智能采集方法，其特征在于，包括：获取部署在展馆内部不同展区的各摄像头所采集的参观人员的视频流，通过图像检测生成每个参观人员的检测框，形成待查询的检测框集合；使用训练好的特征提取模型从所述视频流中提取每个参观人员的外观特征、人体姿势特征和虚拟轨迹；基于所述外观特征、人体姿势特征和虚拟轨迹将所述检测框与待识别的参观人员进行匹配，生成人员轨迹匹配信息；根据所述人员轨迹匹配信息以及预先建立的展馆摄像头链路拓扑生成参观人员的活动数据，包括参观人员的身份信息和活动轨迹数据。2.如权利要求1所述的学生数据智能采集方法，其特征在于，所述参观人员的外观特征的提取过程包括：人员全局特征提取：对参观人员的视频流图像进行初步特征提取，产生特征向量；将所述特征向量转换为一维特征序列后，经自注意力机制计算和全连接层后产生最终的全局特征向量；人员局部特征提取：引入一个可学习的局部原型集合人员局部特征提取：引入一个可学习的局部原型集合表示一个局部分类器，将全局特征向量的像素分配至第i个局部，利用交叉注意力机制提取全局特征向量中的前景局部特征，经全连接层后得到最终的局部特征向量；将所述全局特征向量与局部特征向量串联，生成参观人员的外观特征。3.如权利要求1所述的学生数据智能采集方法，其特征在于，所述参观人员的人体姿势特征的提取过程包括：基于参观人员的检测框预测对应人员的人体姿态关键点，生成人体姿势特征，包括每个人体关键点的位置及其对应的置信度。4.如权利要求1所述的学生数据智能采集方法，其特征在于，所述参观人员的虚拟轨迹的获取过程为：对于每个参观人员的检测框，采取卡尔曼滤波算法产生虚拟轨迹和预测状态矢量值为步骤如下：虚拟轨迹生成：基于卡尔曼滤波算法产生后验状态预测值τ、后验协方差矩阵P、状态过渡矩阵F、观察矩阵O以及两种模态间存在的噪音矩阵N；在每一帧t中，对在最后观察到的目标观察值设为重新触发关联的观察值表示为则虚拟轨迹表示为：虚拟轨迹迭代：将后验状态预测值τ沿着虚拟轨迹进行预测和重更新的迭代，预测和重更新的操作如下公式：
直至虚拟轨迹上的观察值与最新的真实观察值所标定的状态矢量值相匹配。5.如权利要求4所述的学生数据智能采集方法，其特征在于，所述基于外观特征、人体姿势特征和虚拟轨迹将所述检测框与待识别的参观人员进行匹配，生成人员轨迹匹配信息，包括：计算基于预测状态矢量值提取的特征向量与所述外观特征之间的距离，生成人员外观特征相似度；将所述人体姿势特征中的人体关键点位置和置信度作为卡尔曼滤波算法的向量和状态矢量，计算人体姿态关键信息相似度；将所述人员外观特征相似度、人体姿态关键信息相似度在虚拟轨迹集合和待查询的检测框集合构建距离矩阵，根据所述距离矩阵将当前帧中的检测框与前一帧中现存的各虚拟轨迹进行匹配；如匹配成功，则表明虚拟轨迹与检测框的目标身份相同，生成该检测框中参观人员对应的人员轨迹匹配信息。6.如权利要求5所述的学生数据智能采集方法，其特征在于，采用基于网络流的Ford
‑
Fulkerson算法进行虚拟轨迹与检测框之间的匹配，计算方式为：G
t,t
‑1＝FFA(D
t,t
‑1)；其中，D
t,t
‑1表示距离矩阵；G
t,t
‑1为虚拟轨迹集U
t
‑1和待查询检测框集合Ω
t
的最佳匹配；若求解后G
t,t
‑1值为1，则表示虚拟轨迹与检测框集合中的检测框的目标身份相同。7.如权利要求1所述的学生数据智能采集方法，其特征在于，所述展馆摄像头链路拓扑的建立方法为：(1)建立不同摄像头之间的链路拓扑结构，表示为：G
DCMC
＝(V
DCMC
,E
DCMC
),其中，V
DCMC
表示摄像头，V
DCMC
＝{d
i
|1≤i≤N<...

【专利技术属性】
技术研发人员：刘海，张昭理，吴晨，吴砥，代书铭，郭惠敏，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：