一种混合可变形卷积的行人再识别方法技术

技术编号:21141952 阅读:31 留言:0更新日期:2019-05-18 05:24
一种混合可变形卷积的行人再识别方法,首先构建一个行人再识别训练数据集,训练数据集包含跨摄像机采集的、预设数量的行人图像;然后基于标准卷积和可变形卷积构建行人再识别特征抽取网络,网络具有多个分支,可以对给定的行人图像抽取预设维度的特征向量,同时针对每个网络分支,分别构造多类逻辑斯特回归分类目标函数;接着利用所采集的训练数据集训练行人再识别网络,获得网络模型参数;最后采用训练好的网络,对跨摄像机拍摄的行人图像提取特征向量,计算跨摄像机行人特征向量之间的相似度,并根据相似度大小排序实现跨摄像机识别行人。本发明专利技术在标准卷积基础上加入了可变形卷积,具备对行人非刚体形变的建模和适应能力。

A Pedestrian Recognition Method Based on Hybrid Deformable Convolution

【技术实现步骤摘要】
一种混合可变形卷积的行人再识别方法
本专利技术属于计算机视觉与模式识别
,具体涉及一种混合可变形卷积的行人再识别方法。
技术介绍
近年来,随着摄像机的广泛应用普及,极大地推动了计算机视觉技术的发展,在视觉目标检测、跟踪技术的发展基础之上,跨摄像机的行人再识别技术可以在多个摄像机之间识别出不同时空出现的同一行人,成为实现行人行为轨迹分析和事件分析等后续工作的基础。我国平安城市建设发展迅速,目前已初步完成了覆盖城镇的视频监控网,监控镜头超2500万个。但是,实际中多数监控视频无法拍到可辨识的人脸图像,当行人通过多个摄像机无交叉覆盖的视域时,如何只依靠行人的身体部分进行跨摄像机的“再识别”是一个需求迫切的科学问题。该问题的解决有利于通过监控视频追捕犯罪分子、维护小区治安、调查客户兴趣等。但是,由于光照变化、拍摄视角、遮挡模糊、相似着装、肢体形变,以及目标检测的不精确,使得行人再识别成为一项极具挑战性的任务。行人再识别的核心就是匹配跨摄像机拍摄的行人图像,重点关注于行人图像的特征表示。2014年之前,行人再识别技术主要由人工来设计特征表示,效果较差;此后,研究者开始转向利用深度学习实现特征表示,大幅度提高了行人再识别的精度。目前,行人再识别主流方法都是基于标准卷积神经网络,由于标准卷积操作本身具有固定的几何结构,而由其层叠搭建而成的卷积神经网络的几何结构也是固定的,因此标准卷积神经网络缺乏对行人非刚体形变的建模和适应能力。
技术实现思路
为了克服行人再识别中标准卷积操作存在的不足,本专利技术构建一种混合可变形卷积的行人再识别方法,该方法在标准卷积的基础上混合使用可变形卷积操作。不同于标准卷积中卷积核在规则格点上采样,可变形卷积通过对卷积核中每个采样点的位置增加一个偏移变量,实现了在规则格点位置附近随意采样的能力,克服了标准卷积缺乏对几何形变建模的适应能力的问题。为实现上述目的,本专利技术采用以下技术方案:一种混合可变形卷积的行人再识别方法,其特征在于,包括如下步骤:步骤一:构建一个行人再识别训练数据集,所述训练数据集包含跨摄像机采集的、预设数量的行人图像;步骤二:基于标准卷积和可变形卷积构建行人再识别特征抽取网络,所述特征抽取网络具有多个分支,可以对给定的行人图像抽取预设维度的特征向量;步骤三:针对每个网络分支,分别构造多类逻辑斯特回归分类目标函数;步骤四:利用所采集的训练数据集训练特征抽取网络,获得网络模型参数;步骤五:采用训练好的网络,对跨摄像机拍摄的行人图像提取特征向量;步骤六:计算跨摄像机行人特征向量之间的相似度,并根据相似度大小排序实现跨摄像机识别行人。为优化上述技术方案,采取的具体措施还包括:优选地,步骤一具体包括如下步骤:同一行人先后经过多个摄像机时,分别获取该行人在各个摄像机视频中的行人图像;将行人图像缩放至固定大小,并统一图像格式保存;对跨摄像机采集的同一行人图像,人工标注类别,并赋予一个唯一的编号;当训练数据集中行人数目达到预设数量时,停止收集数据。优选地,步骤二具体包括如下步骤:针对标准卷积神经网络(如ResNet网络)的网络高层,复制对应结构和参数,构造一个新的网络分支;采用可变形卷积替换新复制的网络分支中的标准卷积,得到混合可变形卷积和标准卷积的特征抽取网络;混合可变形卷积和标准卷积的特征抽取网络具有两个独立的网络分支,分别对应标准卷积分支和可变形卷积分支;对给定的一幅行人图像,两个网络分支可独立抽取预设维度为d的特征向量。优选地,步骤三具体包括如下步骤:针对各网络分支,先构造一个特征映射层,将d维特征向量映射到一个新向量f,该新向量的维度等于训练数据集中行人个数;基于新向量f,构造网络的多类逻辑斯特回归目标函数:其中,B表示输入行人的图像个数,C表示待分类的目标类别个数,Ii表示输入行人图像,yi表示Ii的真实标签且数值取自于集合{1,2,...,C},yi是j中的一个,f(Ii)表示经特征提取网络得到的特征向量,和bj为对应待学习的权重参数和偏置参数。优选地,步骤四具体包括如下步骤:对训练数据集中的样本数据进行随机排序,每次读取固定数量的图像作为网络输入;对图像进行数据增广操作,包括水平翻转、随机噪声、随机擦除、随机切块等变换,并统一缩放大小;批量输入数据进入混合可变形卷积和标准卷积的特征抽取网络后逐层进行前向计算,至多类逻辑斯特回归目标函数时,计算目标函数L相对权重参数和偏置参数bj的梯度,以及相对输入f(Ii)的梯度,再依链式法则进行梯度反向计算,最后采用批量随机梯度下降算法更新网络模型参数;训练过程中,随着迭代次数的增加,逐步降低学习率,并在达到最大迭代次数时终止训练,得到网络模型参数,由于网络模型参数已经训练完成,故该网络模型可直接用于抽取一副行人图像的特征向量。优选地,步骤五具体包括如下步骤:将跨摄像机拍摄的行人图像缩放到预设大小,作为网络模型的输入图像;将输入图像输入已训练的网络模型,经前向计算后,各分支输出特征向量fk,k∈(1,2},将两个分支的特征拼接起来,得到最终特征向量F=[f1,f2]。优选地,步骤六具体包括如下步骤:计算跨摄像机行人特征向量之间的相似度s=cos(f1,f2);根据相似度大小对所有结果排序,对于排序第一的结果,若相似度值大于预设阈值,则判定为同一个行人。本专利技术的有益效果是:在标准卷积神经网络的基础上,对网络高层进行结构和参数复制,并采用可变形卷积代替标准卷积,形成两个分支的混合网络,最终构建混合可变形卷积的行人再识别网络。该网络可根据训练数据集训练模型参数,并利用各个分支计算输出行人图像的特征,最终特征由各分支特征拼接得到。该方法在标准卷积基础上加入了可变形卷积,具备对行人非刚体形变的建模和适应能力。附图说明图1为本专利技术提供的混合可变形卷积的行人再识别方法的流程示意图。具体实施方式现在结合附图对本专利技术作进一步详细的说明。如图1所示,本专利技术提供一种混合可变形卷积的行人再识别方法,包括以下步骤:步骤S1:构建一个行人再识别训练数据集,训练数据集包含跨摄像机采集的、预设数量的行人图像。在本实施方式中,为了构建行人再识别训练数据集,首先选择多个不存在拍摄场景交叠的摄像机,当同一行人先后经过多个摄像机时,可分别获取该行人在各个摄像机视频中的行人图像。行人图像可根据视频运动目标检测算法,如背景差法和行人检测器,得到仅包括单个行人的图像。接着,将行人图像缩放至预设大小,如256像素×128像素,并统一将行人图像保存为无损压缩的PNG格式。对跨摄像机采集的一组同为一个行人的图像,人工为该组图像标注类别,并赋予一个唯一的编号。最后,当数据集中行人数目达到预设数量时,停止收集数据。该步骤中,训练数据集中每个行人采集的图像个数不少于预设张数,如10张。同时,每张图像尽可能跨摄像机,以保持同一行人类内具有较大的差异性。这种差异性主要来自于拍摄视角,也可以体现在光照变化、遮挡背景等方面。训练数据集中不同行人的个数应该足够多,以便适应实际应用开发的需要,保证所训练模型的鲁棒性。步骤S2:基于标准卷积和可变形卷积构建行人再识别特征抽取网络,特征抽取网络具有多个分支,可以对给定的行人图像抽取预设维度的特征向量。在本实施方式中,为构建混合标准卷积和可变性卷积的网络,首本文档来自技高网...

【技术保护点】
1.一种混合可变形卷积的行人再识别方法,其特征在于,包括如下步骤:步骤一:构建一个行人再识别训练数据集,所述训练数据集包含跨摄像机采集的、预设数量的行人图像;步骤二:基于标准卷积和可变形卷积构建行人再识别特征抽取网络,所述特征抽取网络具有多个分支,可以对给定的行人图像抽取预设维度的特征向量;步骤三:针对每个网络分支,分别构造多类逻辑斯特回归分类目标函数;步骤四:利用所采集的训练数据集训练特征抽取网络,获得网络模型参数;步骤五:采用训练好的网络,对跨摄像机拍摄的行人图像提取特征向量;步骤六:计算跨摄像机行人特征向量之间的相似度,并根据相似度大小排序实现跨摄像机识别行人。

【技术特征摘要】
1.一种混合可变形卷积的行人再识别方法,其特征在于,包括如下步骤:步骤一:构建一个行人再识别训练数据集,所述训练数据集包含跨摄像机采集的、预设数量的行人图像;步骤二:基于标准卷积和可变形卷积构建行人再识别特征抽取网络,所述特征抽取网络具有多个分支,可以对给定的行人图像抽取预设维度的特征向量;步骤三:针对每个网络分支,分别构造多类逻辑斯特回归分类目标函数;步骤四:利用所采集的训练数据集训练特征抽取网络,获得网络模型参数;步骤五:采用训练好的网络,对跨摄像机拍摄的行人图像提取特征向量;步骤六:计算跨摄像机行人特征向量之间的相似度,并根据相似度大小排序实现跨摄像机识别行人。2.如权利要求1所述的混合可变形卷积的行人再识别方法,其特征在于:步骤一具体包括如下步骤:同一行人先后经过多个摄像机时,分别获取该行人在各个摄像机视频中的行人图像;将行人图像缩放至固定大小,并统一图像格式保存;对跨摄像机采集的同一行人图像,人工标注类别,并赋予一个唯一的编号;当训练数据集中行人数目达到预设数量时,停止收集数据。3.如权利要求1所述的混合可变形卷积的行人再识别方法,其特征在于:步骤二具体包括如下步骤:针对标准卷积神经网络的网络高层,复制对应结构和参数,构造一个新的网络分支;采用可变形卷积替换新复制的网络分支中的标准卷积,得到混合可变形卷积和标准卷积的特征抽取网络;混合可变形卷积和标准卷积的特征抽取网络具有两个独立的网络分支,分别对应标准卷积分支和可变形卷积分支;对给定的一幅行人图像,两个网络分支可独立抽取预设维度为d的特征向量。4.根据权利要求3所述的混合可变形卷积的行人再识别方法,其特征在于:步骤三具体包括如下步骤:针对各网络分支,先构造一个特征映射层,将d维特征向量映射到一个新向量f,该新向量的维度等于训练数据集中行...

【专利技术属性】
技术研发人员:王家宝苗壮李阳张睿王继霄张洋硕
申请(专利权)人:中国人民解放军陆军工程大学
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1