基于多模态特征的对象识别方法技术

本申请涉及对象识别技术领域，特别涉及基于多模态特征的对象识别方法

【技术实现步骤摘要】
基于多模态特征的对象识别方法


[0001]本申请涉及对象识别
，特别是涉及一种基于多模态特征的对象识别方法
。

技术介绍

[0002]在远距离
、
非受控条件下，进行目标人物的身份识别时，现有技术中多使用步态识别技术，步态识别技术已经取得一定的成果，但是在实际应用中，其限制条件较多，导致效果还不够好
。
当前步态识别技术主要依赖于步态周期的特征，如步长
、
步速
、
步态节律等
。
这些特征虽然可以反映出人体行走的基本规律，但是在现实环境下，如复杂的背景
、
严重的遮挡
、
不同摄像机视角
、
过亮或过暗的光照条件等情况下，这些特征可能会受到很大的影响，导致识别精度不高
。
且步态识别技术受限于数据样本和算法，技术提升需要大量的数据样本进行训练，特别是在人群多样性较大的情况下，数据样本的获取和处理难度较大
。
所以，仅依靠步态识别进行目标人物的身份识别，识别准确度较低...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态特征的对象识别方法，其特征在于，包括：
S100
，获取待检测视频的步态图序列集
BT
＝
(BT1
，
BT2
，
...
，
BTa
，
...
，
BTb)
；
a
＝1，2，
...
，
b
；其中，
b
为待检测视频中包含的待检测对象的数量；
BTa
为待检测视频中第
a
个待检测对象的步态图序列；
BTa
＝
(BTa1
，
BTa2
，
...
，
BTac
，
...
，
BTaf(a))
；
c
＝1，2，
...
，
f(a)
；
BTac
为第
a
个待检测对象在待检测视频中出现的第
c
帧对应的步态图；
f(a)
为第
a
个待检测对象在待检测视频中出现的帧数；
S200
，根据
BT
，得到最优帧图像列表集
BTY
＝
(BTY1
，
BTY2
，
...
，
BTYa
，
...
，
BTYb)
；其中，
BTYa
为待检测视频中第
a
个待检测对象的最优帧图像列表；
BTYa
＝
(BTYRa
，
BTYSa)
；
BTYRa
为待检测视频中第
a
个待检测对象的人脸最优帧对应的图像；
BTYSa
为待检测视频中第
a
个待检测对象的人体最优帧对应的图像；
S300
，对
BT
和
BTY
进行特征提取，得到特征向量集
TZ
＝
(TZ1
，
TZ2
，
...
，
TZa
，
...
，
TZb)
；其中，
TZa
为待检测视频中第
a
个待检测对象的特征向量列表；
TZa
＝
(TZRa
，
TZSa
，
TZTa)
；
TZRa
为使用第一预设特征提取网络对
BTYRa
进行特征提取得到的人脸特征向量；
TZSa
为使用第二预设特征提取网络对
BTYSa
进行特征提取得到的人体特征向量；
TZTa
为使用第三预设特征提取网络对
BTa
进行特征提取得到的步态特征向量；
S400
，根据
BT
和
BTY
，得到图像质量分列表集
ZL
＝
(ZL1
，
ZL2
，
...
，
ZLa
，
...
，
ZLb)
；其中，
ZLa
为待检测视频中第
a
个待检测对象的图像质量分列表；
ZLa
＝
(ZLRa
，
ZLSa
，
ZLTa)
；
ZLRa
为根据第一预设图像质量确定网络得到的
BTYRa
的图像质量分；
ZLSa
为根据第二预设图像质量确定网络得到的
BTYSa
的图像质量分；
ZLTa
为根据第三预设图像质量确定网络得到的
BTa
的图像质量分；
S500
，获取目标对象的特征向量列表
MZ
＝
(MZr
，
MZs
，
MZt)
；其中，
MZr
为目标对象的人脸特征向量；
MZs
为目标对象的人体特征向量；
MZt
为目标对象的步态特征向量；
S600
，根据
MZ
和
TZ
，得到匹配度列表集
P
＝
(P1
，
P2
，
...
，
Pa
，
...
，
Pb)
；其中，
Pa
为
MZ
与
TZa
的匹配度列表；
Pa
＝
(PRa
，
PSa
，
PTa)
；
PRa
为
MZr
与
TZRa
的匹配度；
PSa
为
MZs
与
TZSa
的匹配度；
PTa
为
MZt
与
TZTa
的匹配度；
S700
，根据
ZL
和
P
，得到综合匹配度集
PY
＝
(PY1
，
PY2
，
...
，
PYa
，
...
，
PYb)
；其中，
PYa
为
MZ
与
TZa
的综合匹配度；
0≤PYa≤1
；
PYa
＝
((ZLRa*PRa/(PRa+PSa+PTa))+(ZLSa*PSa/(PRa+PSa+PTa))+(ZLTa*PTa/(PRa+PSa+PTa)))/3
；
S800
，若
PY
中的最大综合匹配度大于预设匹配度阈值，则将
PY
中的最大综合匹配度对应的待检测对象标记为关键对象
。2.
根据权利要求1上述的基于多模态特征的对象识别方法，其特征在于，上述
S100
包括：
S110
，根据预设的卷积神经网络获取待检测视频的待检测对象集
A
＝
(A1
，
A2
，
...
，
Aa
，
...
，
Ab)
；
a
＝1，2，
...
，
b
；
b
为待检测视频中包含的待检测对象的数量；
Aa
为待检测视频中第
a
个待检测对象；
S120
，根据
A
，获取待检测对象标识集
AB
＝
(AB1
，
AB2

【专利技术属性】
技术研发人员：李心慧，石柱国，李凡平，
申请(专利权)人：青岛以萨数据技术有限公司，
类型：发明
国别省市：