基于高位相机鸟瞰视角感知的车辆重识别方法及系统技术方案

本发明专利技术公开了一种基于高位相机鸟瞰视角感知的车辆重识别方法及系统，该方法包括：获取多个高位相机拍摄的待重识别的鸟瞰视角图像；将待重识别的鸟瞰视角图像输入训练完成的车辆重识别模型中，利用骨干网络提取样本图像中目标车辆的图像特征，将图像特征投影到3D空间，生成时空特征，采用基于序列化可形变注意力机制的Transformer编码器对时空特征进行特征增强；基于样本图像中增强后的时空特征，判断待重识别图像中车辆的身份，实现目标车辆的重识别。本发明专利技术解决现有车辆重识别方法由于类间差距小或类间差距大而导致识别困难的问题，实现鲁棒性更强的车辆重识别。实现鲁棒性更强的车辆重识别。实现鲁棒性更强的车辆重识别。

【技术实现步骤摘要】
基于高位相机鸟瞰视角感知的车辆重识别方法及系统


[0001]本专利技术涉及车辆重识别
，尤其涉及一种基于高位相机鸟瞰视角感知的车辆重识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先进技术。
[0003]随着经济的发展和私家车的普及，对车辆进行跨摄像头、跨区域的长时间持续检测和跟踪对公共安防有着重要意义。
[0004]目前，室内外停车场大都采用高位相机进行监管，通过在停车场四周安装高度4
‑
6米的相机，结合深度学习算法，同时监管停车场的多个泊位，其中，静态的监控画面可以捕捉固定视角下的长期画面，对监控分析和风险防控提供了重要的数据支持。然而，在高位相机面对的停车场景中，最容易出现问题的情况是出现车辆遮挡，如大型车辆(公交车、卡车、运输车等)因为其较大的体积，很容易对泊位车辆造成遮挡，导致车辆重识别失败；同时还存在剧烈光线变化的情况。当车辆出现长时间严重遮挡或者剧烈的光线变化时，判断车辆的身份就变得异常艰难，存在管理风险和安全隐患。
[0005]现有的基于视觉的深度学习方法大都基于相似性度量和细粒度特征匹配等判别式方法，然而，目前判别式车辆重识别方法存在类间差距小和类间差距大的问题，如现有的私家车外形大都相似，其类间差距小，车辆重识别效果较差；高位相机拍摄画面很容易受光照等影响而出现噪声，即存在类内差距大的情况，很容易出现误判，导致车辆重识别难度较大。

技术实现思路

[0006]为解决上述现有技术的不足，本专利技术提供了一种基于高位相机鸟瞰视角感知的车辆重识别方法及系统，区别于传统算法，基于高位相机获取的鸟瞰视角的2D图像，将目标车辆坐标投影至3D空间，通过判断目标车辆的移动轨迹，进而实现对目标车辆身份的判断，解决现有车辆重识别方法由于类间差距小或类间差距大而导致识别困难的问题，实现鲁棒性更强的车辆重识别。
[0007]第一方面，本公开提供了一种基于高位相机鸟瞰视角感知的车辆重识别方法，包括以下步骤：
[0008]获取多个高位相机拍摄的待重识别的鸟瞰视角图像；
[0009]将待重识别的鸟瞰视角图像输入训练完成的车辆重识别模型中，利用骨干网络提取样本图像中目标车辆的图像特征，将图像特征投影到3D空间，生成时空特征，采用基于序列化可形变注意力机制的Transformer编码器对时空特征进行特征增强；基于样本图像中增强后的时空特征，判断待重识别图像中车辆的身份，实现目标车辆的重识别。
[0010]进一步的技术特征，所述车辆重识别模型的训练过程包括：
[0011]获取多个高位相机拍摄的包含目标车辆的多帧鸟瞰视角图像，以此作为样本图像，标注样本图像中目标车辆的位置；
[0012]将样本图像输入车辆重识别模型中，利用骨干网络提取样本图像中目标车辆的图像特征，将图像特征投影到3D空间，生成时空特征，采用基于序列化可形变注意力机制的Transformer编码器对时空特征进行特征增强；基于样本图像中目标车辆增强后的时空特征和标注位置，训练该车辆重识别模型。
[0013]进一步的技术方案，所述利用骨干网络提取样本图像中目标车辆的图像特征，包括：
[0014]使用ResNet101骨干网络提取不同样本图像中目标车辆的多尺度图像特征；
[0015]利用金字塔模型FPN
‑
LSS对多尺度图像特征进行特征融合，生成样本图像中目标车辆的融合多尺度特征的图像特征。
[0016]进一步的技术方案，所述将图像特征投影到3D空间，生成时空特征，包括：
[0017]对图像特征进行离散卷积操作，获取图像特征的深度维度数据；
[0018]基于图像特征的二维维度数据和深度维度数据，获取图像特征的点云数据；
[0019]张量化图像特征的点云数据，并利用PointNet对张量化的点云数据进行特征提取，之后再进行Max Pooling操作，获得时空特征。
[0020]进一步的技术方案，所述基于序列化可形变注意力机制的Transformer编码器由8个可形变注意力编码块组成，以时空特征作为第一个编码块的输入，其余编码块的输入是上一个编码块的输出。
[0021]进一步的技术方案，所述可形变注意力编码块的结构为：
[0022]每个编码块的输入首先经过一个8头可形变注意力层，其输出作为输入再输入到一个Add&Norm模块中；
[0023]所述Add&Norm模块的输出中间结果，中间结果经过一个前馈神经层后再输入另一个Add&Norm模块，输出所述编码块的编码结果。
[0024]进一步的技术方案，所述Add&Norm模块中，输入经过一个Dropout
[0025]层后与该模块所在编码块的输入进行加权融合，再通过一个层级正则化层输出。
[0026]进一步的技术方案，多头可形变注意力机制的计算公式为：
[0027]DefoMultiHead(Q,K,V)＝Concat(dhead1,
…
,dhead
h
)W
o
[0028]where dhead
i
＝DefoAttention(QW
iQ
,KW
iK
,VW
iV
)
[0029][0030]其中，DefoAttention()表示可形变自注意力处理过程，V()表示一个函数，表示在可学习的参数矩阵V上的局部采样点，p
Q
来自一个Q的局部采样区域，Δp
offset
是学习到的采样点的偏移量，Q、K和V分别表示查询向量、键向量和值向量，softmax是一个归一化函数，表示向量的维度。
[0031]第二方面，本公开提供了一种基于高位相机鸟瞰视角感知的车辆重识别系统，包括：
[0032]图像数据获取模块，用于获取多个高位相机拍摄的待重识别的鸟瞰视角图像；
[0033]车辆重识别模块，用于将待重识别的鸟瞰视角图像输入训练完成的车辆重识别模型中，利用骨干网络提取样本图像中目标车辆的图像特征，将图像特征投影到3D空间，生成时空特征，采用基于序列化可形变注意力机制的Transformer编码器对时空特征进行特征增强；基于样本图像中增强后的时空特征，判断待重识别图像中车辆的身份，实现目标车辆的重识别。
[0034]第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
[0035]第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
[0036]以上一个或多个技术方案存在以下有益效果：
[0037]1、本专利技术提供了一种基于高位相机鸟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高位相机鸟瞰视角感知的车辆重识别方法，其特征是，包括以下步骤：获取多个高位相机拍摄的待重识别的鸟瞰视角图像；将待重识别的鸟瞰视角图像输入训练完成的车辆重识别模型中，利用骨干网络提取样本图像中目标车辆的图像特征，将图像特征投影到3D空间，生成时空特征，采用基于序列化可形变注意力机制的Transformer编码器对时空特征进行特征增强；基于样本图像中增强后的时空特征，判断待重识别图像中车辆的身份，实现目标车辆的重识别。2.如权利要求1所述的基于高位相机鸟瞰视角感知的车辆重识别方法，其特征是，所述车辆重识别模型的训练过程包括：获取多个高位相机拍摄的包含目标车辆的多帧鸟瞰视角图像，以此作为样本图像，标注样本图像中目标车辆的位置；将样本图像输入车辆重识别模型中，利用骨干网络提取样本图像中目标车辆的图像特征，将图像特征投影到3D空间，生成时空特征，采用基于序列化可形变注意力机制的Transformer编码器对时空特征进行特征增强；基于样本图像中目标车辆增强后的时空特征和标注位置，训练该车辆重识别模型。3.如权利要求1所述的基于高位相机鸟瞰视角感知的车辆重识别方法，其特征是，所述利用骨干网络提取样本图像中目标车辆的图像特征，包括：使用ResNet101骨干网络提取不同样本图像中目标车辆的多尺度图像特征；利用金字塔模型FPN
‑
LSS对多尺度图像特征进行特征融合，生成样本图像中目标车辆的融合多尺度特征的图像特征。4.如权利要求1所述的基于高位相机鸟瞰视角感知的车辆重识别方法，其特征是，所述将图像特征投影到3D空间，生成时空特征，包括：对图像特征进行离散卷积操作，获取图像特征的深度维度数据；基于图像特征的二维维度数据和深度维度数据，获取图像特征的点云数据；张量化图像特征的点云数据，并利用PointNet对张量化的点云数据进行特征提取，之后再进行Max Pooling操作，获得时空特征。5.如权利要求1所述的基于高位相机鸟瞰视角感知的车辆重识别方法，其特征是，所述基于序列化可形变注意力机制的Transformer编码器由8个可形变注意力编码块组成，以时空特征作为第一个编码块的输入，其余编码块的输入是上一个编码块的输出。6.如权利要求5所述的基于高位相机鸟瞰视角感知的车辆重识别方法，其特征是，所述可形变注意力编码块的结构为：每个编...

【专利技术属性】
技术研发人员：徐龙生，庞先昂，张德斌，宫玮玮，杨纪冲，
申请(专利权)人：山东省凯麟环保设备股份有限公司，
类型：发明
国别省市：