一种多目标跟踪及面部特征信息识别方法技术

发明专利技术公开了一种多目标跟踪及面部特征信息识别方法，首先输入面部视频并转换成人脸关键帧集SF；然后通过分类、数据增强SF得到数据集SFD；使用改进的mini‑Xception模型对SFD特征提取，得到自适应寻优面部特征识别模型FFs_model；提取人脸数据流FEV中的关键帧序列，自适应聚合人脸跟踪特征，得到多目标人脸关键帧位置集合FEC；加载FFs_model模型并输入FEC，生成多目标面部特征分类结果集FECR；最后开放自适应识别接口处理终端请求，得到的多目标场景下签到及目标特征跟踪状态识别的处理结果集存于Web服务器。本发明专利技术方法结合改进的多目标跟踪及自适应面部特征识别技术，可有效获取一种准确度最高的图片特征结果标签，增加了多目标场景下人脸跟踪及面部特征识别的准确度及使用价值。

【技术实现步骤摘要】
一种多目标跟踪及面部特征信息识别方法
本专利技术属于图像分类和特征识别领域，特别涉及一种多目标跟踪及面部特征信息识别方法。
技术介绍
近些年计算机技术和AI的迅猛发展，使人们逐渐开始关注使用计算机手段对人的面部特征信息进行追踪与识别。在实时视频中去检测及跟踪处理多个目标的面部特征信息，这在学校以及火车站等地方具有重要实际意义，不光可以为学校提供课堂有效的特征信息结果集，还能为火车站规避一定的安全隐患。为此本专利技术提出了一种基于改进mini-Xception模型和自适应寻优的多目标跟踪及面部特征信息识别方法，可以通过视频实时识别多个目标的面部特征信息，在多目标情况下的人脸特征追踪及识别识别结果更加准确，增加了多目标场景下人脸跟踪及面部特征信息识别的使用价值。朱全银等人已有的研究基础包括:QuanyinZhu,SunqunCao.ANovelClassifier-independentFeatureSelectionAlgorithmforImbalancedDatasets.2009,p:77-82；李翔,朱全银.联合聚类和评分矩阵共享本文档来自技高网...

【技术保护点】
1.一种多目标跟踪及面部特征信息识别方法，其特征在于，具体步骤如下：/n(1)输入人脸面部特征信息视频，将视频转换成关键帧序列S，通过人脸检测后得到的人脸关键帧集为SF；/n(2)通过标注SF特征点进行分类，得到的标签集为SFL，通过预处理和数据增强SFL，得到的数据集为SFD；/n(3)使用改进的mini-Xception模型对SFD进行自适应特征抽取，将提取到的特征向量进行融合，得到自适应寻优面部特征识别模型FFs_model；/n(4)设获得的人脸特征数据流为FEV，循环提取FEV中的关键帧序列，进行自适应跟踪多目标人脸，聚合提取人脸跟踪特征，得到多目标人脸关键帧位置集合FEC；/n(5...

【技术特征摘要】
1.一种多目标跟踪及面部特征信息识别方法，其特征在于，具体步骤如下：
(1)输入人脸面部特征信息视频，将视频转换成关键帧序列S，通过人脸检测后得到的人脸关键帧集为SF；
(2)通过标注SF特征点进行分类，得到的标签集为SFL，通过预处理和数据增强SFL，得到的数据集为SFD；
(3)使用改进的mini-Xception模型对SFD进行自适应特征抽取，将提取到的特征向量进行融合，得到自适应寻优面部特征识别模型FFs_model；
(4)设获得的人脸特征数据流为FEV，循环提取FEV中的关键帧序列，进行自适应跟踪多目标人脸，聚合提取人脸跟踪特征，得到多目标人脸关键帧位置集合FEC；
(5)加载面部特征识别模型FFs_model，将多目标关键帧位置集合FEC输入训练好的自适应寻优模型，生成多目标的面部特征分类结果集FECR；
(6)开放面部特征自适应识别接口FFsAPI，用户通过客户端程序发起HTTP请求，自适应识别接口FFsAPI对用户发起的请求参数进行自适应多目标特征识别，并将处理得到的自适应多目标场景下签到及目标特征信息跟踪状态识别的处理结果集FECR存储在Web平台的服务器，同时将核心信息返回给调用程序，用户可通过Web平台获取可视化展示。


2.根据权利要求1所述的一种多目标跟踪及面部特征信息识别方法，其特征在于，所述步骤(1)中得到的人脸关键帧集SF的具体步骤如下：
(1.1)输入图像数据集S，定义函数len(X)表示集合X的长度，令S＝{S1，S2，…，SM}，其中，SM表示S中第M张图像，M∈[1,len(S)]；
(1.2)定义循环变量i1，用于遍历S，i1∈[1,len(S)],i1赋初值为1；
(1.3)如果i1≤len(S)则进入步骤(1.4)否则进入步骤(1.10)；
(1.4)对Si1进行灰度处理,得到gray_Si1；
(1.5)将灰度增强图像gray_Si1变换为直方图均衡图像hist_Si1；
(1.6)对hist_Si1进行中值滤波处理，得到med_Si1；
(1.7)对med_Si1进行锐化处理，得到sha_Si1；
(1.8)利用OpenCV中的HaarCascade分类器对sha_Si1进行人脸检测并提取出人脸，得到的人脸放到SF中；
(1.9)i1＝i1+1,进入步骤(1.3)；
(1.10)人脸提取结束。


3.根据权利要求1所述的一种多目标跟踪及面部特征信息识别方法，其特征在于，所述步骤(2)中得到的数据集SFD的具体步骤如下：
(2.1)输入人脸数据集SF；
(2.2)对人脸数据集SF打标签，将图片分为七个基础面部特征类别；
(2.3)定义id,label分别为单个带标签的人脸图片feature的序号、标签,满足feature＝{id,label},令SFL＝{feature0,feature1,…,featurem},其中，featurem为SFL中的第m个人脸图像,len(SFL)为数据集图像数量；
(2.4)定义循环变量i2用于遍历SFL,i2∈[1,len(SFL)],i2赋初值为1,imagei2为SFL中的第i2个人脸图像；
(2.5)如果i2≤len(SFL)则进入步骤(2.6)否则进入步骤(2.12)；
(2.6)将imagei2等比例缩放，得到imgi2,满足imgi2＝{img_shape,depth＝3},其中，img_shape＝{height＝48,width＝48}；
(2.7)将图像imgi2随机调节亮度得到brig_imgi2；
(2.8)将图像imgi2旋转1次得到rota_imgi2；
(2.9)将图像imgi2翻转得到mirr_imgi2；
(2.10)将imgi2,rota_imgi2,brig_imgi2,mirr_imgi2人脸对齐,得到alig_imagei2；
(2.11)i2＝i2+1，进入到(2.5)；
(2.12)得到图像集SFD＝{alig_image1,alig_image2,…,alig_image3m}。


4.根据权利要求1所述的一种多目标跟踪及面部特征信息识别方法，其特征在于，所述步骤(3)中得到自适应寻优面部特征识别模型FFs_model的具体步骤如下：
(3.1)定义循环变量i3用于遍历SFD，i3∈[1,len(SFD)]，i3赋初值为1；
(3.2)如果i3≤len(SFD),则进入步骤(3.3),否则进入步骤(3.17)；
(3.3)设数据集SFD中张量集为Ts,标签集为Lk；
(3.4)张量Ts经过两层以ReLU为激活函数卷积核为3×3并进行批量归一化处理的卷积层,设输出为C0；
(3.5)定义循环变量j3，拓扑层数n＝5，j3∈[1,n]，j3赋初值为1；
(3.6)如果j3≤n,则进入步骤(3.7)；
(3.7)C0经过卷积核为1×1，stride为2，并进行批量归一化处理的卷积层,设输出为C1；
(3.8)C1经过以卷积核为3×3并进行批量归一化与ReLU为激活函数的分离卷积层,设输出为C2；
(3.9)C2经过卷积核为5×5并进行批量归一化处理的卷积层,设输出为C3；
(3.10)C3经过窗口大小为3×3，strides为2的池化层,设输出为Pj3并将其赋值给C0；
(3.11)j3＝j3+1,进入步骤(3.6)；
(3.12)得到的张量集P＝{P1,P2,P3,P4,P5}经过求和,设输出为TP；
(3.13)TP经过卷积核为3×3的卷积层后进入全连接层,设输出为F；
(3.14)F经过以softmax为激活函数的神经网络,得到预测标签Lk*；
(3.15)设置多分类的对数损失函数和adam优化器,得到面部特征分类结果R＝{Lk,Lk*}；
(3.16)i3＝i3+1,进入步骤(3.2)；
(3.17)模型训练完毕，得到面部特征识别模型FFs_model。


5.根据权利要求1所述的一种多目标跟踪及面部特征信息识别方法，其特征在于，所述步骤(4)中得到多目标人脸关键帧位置集合FEC的具体步骤如下：
(4.1)输入人脸面部信息视频数据流FEV；
(4.2)将视频流FEV转化为帧序列,得到视频帧序列集合FEVC＝{fecframe1,fecframe2,…,fecframeM},其中，fecframeM表示FEVC中第M组帧序列；
(4.3)定义人脸跟踪目标object用于记录跟踪目标的特征列表，定...

【专利技术属性】
技术研发人员：朱全银，马思伟，曹猛，李佳冬，高尚兵，李翔，陈伯伦，曹苏群，马甲林，周泓，马天龙，申奕，王梦迪，倪金霆，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：江苏;32