图像特征比对方法及装置、设备、计算机可读存储介质制造方法及图纸

本申请涉及一种图像特征比对方法、步态识别方法和设备。该方法包括：利用与图像特征提取神经网络联合训练得到的权重计算模块计算各个图像特征的权重，对各个图像特征进行加权处理，得到对比视频之间的距离。采用本方法能够提高步态识别结果的精度。

Image feature comparison method and device, equipment, computer readable storage medium

【技术实现步骤摘要】
图像特征比对方法及装置、设备、计算机可读存储介质
本申请涉及计算机
，特别是涉及一种图像特征比对方法、步态识别方法和设备。
技术介绍
在视频步态识别及其他图像处理
，需要进行图像特征比对，即根据提取得到的图像特征确定两个待比对的图像/视频之间的相似度。以视频步态识别领域为例，通过视频之间的图像特征比对，计算两个视频之间的距离(即相似度)，进而判断两个视频中的目标(通常为行人)是否为相同目标。现有的实现方式中，是计算视频间相同图像特征的欧氏距离，将各个图像特征的欧式距离之和作为两个视频之间的距离。但对于不同的图像变量，鲁棒性的图像特征有所不同。例如，一个视频中的行人穿着厚外套，而另一个视频中的行人穿着薄外套，那么，上衣区域对应的图像特征的鲁棒性较差，按照上岁数实现方式进行图像特征提取及比对，会导致步态识别结果的精度较低。为解决提取鲁棒性较差的图像特征导致的问题，另一种现有的实现方式中，针对各种图像变量情况，提取不同的图像特征。例如，一个视频中的行人穿着厚外套，而另一个视频中的行人穿着薄外套，那么，不提取上衣区域本文档来自技高网...

【技术保护点】
1.一种图像特征比对方法，其特征在于，所述方法包括：/n利用图像特征提取神经网络分别获取第一视频和第二视频的多个图像特征；/n分别确定所述第一视频与所述第二视频之间相同图像特征的距离；/n利用权重计算模块计算所述第一视频与所述第二视频之间相同图像特征的权重，所述权重计算模块是通过与所述图像特征提取神经网络联合训练得到的，所述权重计算模块用于根据所述第一视频与所述第二视频的目标图像变量计算图像特征的权重；/n利用所述多个图像特征各自的权重对所述多个图像特征进行加权，根据加权结果确定所述第一视频与所述第二视频之间的距离，所述第一视频与所述第二视频之间的距离反映了所述第一视频的目标图像与所述第二视频...

【技术特征摘要】
1.一种图像特征比对方法，其特征在于，所述方法包括：
利用图像特征提取神经网络分别获取第一视频和第二视频的多个图像特征；
分别确定所述第一视频与所述第二视频之间相同图像特征的距离；
利用权重计算模块计算所述第一视频与所述第二视频之间相同图像特征的权重，所述权重计算模块是通过与所述图像特征提取神经网络联合训练得到的，所述权重计算模块用于根据所述第一视频与所述第二视频的目标图像变量计算图像特征的权重；
利用所述多个图像特征各自的权重对所述多个图像特征进行加权，根据加权结果确定所述第一视频与所述第二视频之间的距离，所述第一视频与所述第二视频之间的距离反映了所述第一视频的目标图像与所述第二视频的目标图像之间的相似度。


2.根据权利要求1所述的方法，其特征在于，所述利用权重计算模块计算所述第一视频与所述第二视频之间相同图像特征的权重，包括：
分别获取所述第一视频的步态能量图与所述第二视频的步态能量图；
将所述第一视频的步态能量图和所述第二视频的步态能量图输入所述权重计算模块，并获取所述权重计算模块输出的所述第一视频与所述第二视频之间相同图像特征的权重。


3.根据权利要求1所述的方法，其特征在于，所述权重计算模块与所述图像特征提取神经网络的联合训练方式为：
利用样本视频之间的第一距离确定第一损失函数，利用所述第一损失函数和所述样本视频训练所述图像特征提取神经网络，所述样本视频之间的第一距离是利用样本视频之间相同图像特征的距离计算得到的；
利用样本视频之间的第二距离确定第二损失函数；利用所述第二损失函数和所述样本视频训练所述权重计算模块，或者，利用所述第二损失函数和所述样本视频训练所述权重计算模块和所述图像特征提取神经网络；所述样本视频之间的第二距离是利用样本视频之间相同图像特征的权重对本图像特征的距离加权后计算得到的。


4.根据权利要求1所述的方法，其特征在于，所述利用图像特征提取神经网络分别获取第一视频和第二视频的多个图像特征，包括：
将所述第一视频输入所述图像特征提取神经网络，得到所述图像特征提取神经网络输出的所述第一视频的特征图，所述第一视频的特征图的尺寸为N×C×H×W，N为所述第一视频的帧数，C为所述第一视频的单帧视频的通道数，H为所述第一视频中单帧图像的高度，W为所述第一视频中单帧图像的宽度；将所述第一视频的特征图沿水平方向切分得到M个子特征图；分别对所述第一视频的每个子特征图进行池化操作，得到所述第一视频的M个图像特征，所述第一视频的单个图像特征的尺寸为N×C×1；
将所述第二视频输入所述图像特征提取神经网络，得到所述图像特征提取神经网络输出的所述第二视频的特征图，所述第二视频的特征图的尺寸为N×C×H×W，N为所述第二视频的帧数，C为所述第二视频的单帧视频的通道数，H为所述第二视频中单帧图像的高度，W为所述第二视频中单帧图像的宽度；将所述第二视频的特征图沿水平方向切分得到M个子特征图；分别对所述第二视频的每个子特征图进行池化操作，得到所述第二视频...

【专利技术属性】
技术研发人员：李玺，吴昊潜，田健，李斌，吴飞，董霖，叶新江，方毅，
申请(专利权)人：浙江每日互动网络科技股份有限公司，浙江大学，
类型：发明
国别省市：浙江;33