基于可变形注意力机制的全景图像拼接方法技术

本发明专利技术公开了一种基于可变形注意力机制的全景图像拼接方法，将多视角图像送入主干网络后获得多尺度特征图；生成可学习的Bev Queries模型，随机生成栅格形的Bev Queries，Bev Queries的每个格子都代表了实际的物理尺寸和对应一个自车坐标系的三维坐标，通过注意力机制在多视角的多尺度图片中查询和聚合相关特征信息，经过转置卷积生成全景鸟瞰图；最后根据获得的Bev Queries模型进行模型训练，使用MS

【技术实现步骤摘要】
基于可变形注意力机制的全景图像拼接方法


[0001]本专利技术属于多视角图像的全景拼接
，涉及汽车的辅助驾驶技术，主要涉及了一种基于可变形注意力机制的全景图像拼接方法。

技术介绍

[0002]在诸多交通事故中，汽车盲区造成的意外事故占据比较大的比重，因此使用全景鸟瞰图来解决驾驶员的视觉盲区问题越来越受到重视。
[0003]当前的主流方法都是从图像采集设备采集到多视角图像后，通过逆变换透视投影(Inverse Perspective Mapping,IPM)来获得全景图像。具体的过程是，对多视角图像通过SIFT等方法提取特征对，然后获得单应性矩阵，然后根据单应性矩阵进行逐像素透视投影并转换为全景鸟瞰图视角，然后对多视角形成的全景鸟瞰图进行缝合和接口处的融合。但是IPM算法有两个假设前提：1.路面与世界坐标系平行，2.车辆自身的坐标系与世界坐标系平行。前者在路面非平坦的情况下并不满足，后者依赖车辆姿态参数(Pitch和Roll)的实时校正，且精度要求较高，非常不易实现。而且在商用车行驶过程中，外部环境是比较复杂的，商用车的相机会从它标定的位置偏移，相机的内外参也因此而漂移，这对于逐像素的投影方法具有很大的影响，图像拼接结果容易有较大图形畸变甚至投影错误等问题，因此某些商用车需要定期的重新标定相机，这是非常不实用和不经济的，同时因为图像视差而导致的伪影现象也不容忽视。所以基于IPM的图像拼接方法比较容易出现畸变严重，图像对不齐，有像素空洞等问题，在实际的使用中不甚理想。
[0004]针对目前主流的图像拼接方法存在的这些问题，为了更好的解决商用车驾驶员的汽车盲区问题，为驾驶员提供平滑无畸变的全景鸟瞰图，急需一种可以构建更加平滑和较少畸变和失真的全景鸟瞰图，同时能够克服复杂环境、相机内外参漂移等问题的更佳方法。

技术实现思路

[0005]本专利技术正是针对现有技术中传统方法存在严重畸变，图像对不齐和存在伪影等问题，提供一种基于可变形注意力机制的全景图像拼接方法，将多视角图像送入主干网络后获得多尺度特征图；生成可学习的Bev Queries模型，随机生成栅格形的Bev Queries，Bev Queries的每个格子都代表了实际的物理尺寸和对应一个自车坐标系的三维坐标，通过注意力机制在多视角的多尺度图片中查询和聚合相关特征信息，经过转置卷积生成全景鸟瞰图；最后根据获得的Bev Queries模型进行模型训练，使用MS
‑
SSIM Loss来学习图形的结构，在MS
‑
SSIM Loss降低到设定阈值时，采用L2 Loss损失函数，用来学习边缘特征和修正图像的颜色，最后使用L1Loss损失函数，去除图像噪声，获得全景图像。本专利技术不仅可以构建更加平滑和较少畸变和失真的全景鸟瞰图，同时对于在复杂环境中的相机内外参漂移具有较强的鲁棒性，能够比较好的面对复杂环境，同时因为只进行局部注意力的计算，本方法具有较快的计算速度。
[0006]为了实现上述目的，本专利技术采取的技术方案是：基于可变形注意力机制的全景图
像拼接方法，包括以下步骤：
[0007]S1，多视角图像的多尺度特征提取：将多视角图像送入主干网络后获得多尺度特征图，多尺度特征图中特征点的位置信息由特征层位置编码与基于三角函数公式计算的位置编码相加得出；
[0008]S2，生成可学习的Bev Queries模型：随机生成栅格形的Bev Queries，Bev Queries的每个格子都代表了实际的物理尺寸和对应一个自车坐标系的三维坐标，通过注意力机制在多视角的多尺度图片中查询和聚合相关特征信息，经过转置卷积生成全景鸟瞰图；
[0009]S3，模型训练：根据步骤S2获得的Bev Queries模型，使用MS
‑
SSIM Loss来学习图形的结构，在MS
‑
SSIM Loss降低到设定阈值时，采用L2Loss损失函数，用来学习边缘特征和修正图像的颜色，最后使用L1Loss损失函数，去除图像噪声，获得全景图像。
[0010]作为本专利技术的一种改进，所述步骤S1中使用EfficientNet
‑
B4作为主干网络。
[0011]作为本专利技术的一种改进，所述步骤S2具体为：随机初始化Bev Queries∈R
H
×
W
×
C
，H,W,C分别是Bev Queries的高，宽和通道数，Bev Queries被分为H
×
W个格子，每个格子都代表实际的物理尺寸和对应一个自车坐标系的三维坐标(x,y,z)，所有的格子都会共享一个0左右的Z坐标；
[0012]Bev Queries的每个格子都会查询基于几何先验和注意力机制生成的相关特征信息，根据查询结果不断地更新Bev Queries，最后将Bev Queries经过转置卷积生成全景鸟瞰图。
[0013]作为本专利技术的一种改进，所述步骤S2中，Bev Queries每个格子查询会注意的特征范围包括K
h
×
K
w
固定区域和变形采样的区域：
[0014]K
h
×
K
w
固定区域指以为中心的K
h
×
K
w
区域，每个格子将会查询的固定区域的相关特征是其中N
view
,N
scale
,c,K
h
,K
w
分别是视角的个数，特征图尺度的个数，通道数，采样区域的高，采样区域的宽；指每个格子在不同视角和不同尺寸特征图中的二维坐标；
[0015]变形采样的区域指用Bev Queries通过线性映射生成一组位置偏移的区域。
[0016]作为本专利技术的另一种改进，所述二维坐标的生成方式具体为：
[0017]S21：确定Bev Queries每个格子的三维坐标p
i
(x,y,z)，i代表Bev Queries的格子号；
[0018]S22：将三维坐标p
i
(x,y,z)根据相机的内外参投影到多视角图像上,获得其对应的二维坐标投影的计算方式如下：
[0019][0020]其中，v代表不同的视角；R
v
是相机外参；K
v
是相机内参；
[0021]S23：对步骤S22获得的二维坐标归一化，获得其在多尺度特征图上对应的二维坐
标s代表不同尺度的特征图；
[0022]S24：用Round函数获得整数的坐标，Round函数对数值进行四舍五入并返回其整数值：
[0023][0024]作为本专利技术的另一种改进，所述步骤S2中Bev Queries的更新方式具体为：将Bev Queries通过全连接层和Softmax层生成采样区域对应的所有权重，根据采样区域的特征值及其对应权重对Bev Queries进行更新，计算公式如下
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于可变形注意力机制的全景图像拼接方法，其特征在于，包括以下步骤：S1，多视角图像的多尺度特征提取：将多视角图像送入主干网络后获得多尺度特征图，多尺度特征图中特征点的位置信息由特征层位置编码与基于三角函数公式计算的位置编码相加得出；S2，生成可学习的Bev Queries模型：随机生成栅格形的Bev Queries，Bev Queries的每个格子都代表了实际的物理尺寸和对应一个自车坐标系的三维坐标，通过注意力机制在多视角的多尺度图片中查询和聚合相关特征信息，经过转置卷积生成全景鸟瞰图；S3，模型训练：根据步骤S2获得的Bev Queries模型，使用MS
‑
SSIM Loss来学习图形的结构，在MS
‑
SSIM Loss降低到设定阈值时，采用L2 Loss损失函数，用来学习边缘特征和修正图像的颜色，最后使用L1 Loss损失函数，去除图像噪声，获得全景图像。2.如权利要求1所述的基于可变形注意力机制的全景图像拼接方法，其特征在于：所述步骤S1中使用EfficientNet
‑
B4作为主干网络。3.如权利要求2所述基于可变形注意力机制的全景图像拼接方法，其特征在于：所述步骤S2具体为：随机初始化Bev Queries∈R
H
×
W
×
C
，H,W,C分别是Bev Queries的高，宽和通道数，Bev Queries被分为H
×
W个格子，每个格子都代表实际的物理尺寸和对应一个自车坐标系的三维坐标(x,y,z)，所有的格子都会共享一个0左右的Z坐标；Bev Queries的每个格子都会查询基于几何先验和注意力机制生成的相关特征信息，根据查询结果不断地更新Bev Queries，最后将Bev Queries经过转置卷积生成全景鸟瞰图。4.如权利要求3所述基于可变形注意力机制的全景图像拼接方法，其特征在于：所述步骤S2中，Bev Queries每个格子查询会注意的特征范围包括K
h
×
K
w
固定区域和变形采样的区域：K
h
×
K
w
固定区域指以为中心的K
h
×
K
w
区域，每个格子将会查询的固定区域的相关特征是其中N
view
,N
scale
,c,K
h
,K
w
分别是视角的个数，特征图尺度的个数，通道数，采样区域的高，采样区域的宽；指每个格子在不同视角和不同尺寸特征图中的二维坐标；变形采样的区域指用Bev Queries通过线性映射生成...

【专利技术属性】
技术研发人员：李旭，刘鑫，王贲武，
申请(专利权)人：东南大学，
类型：发明
国别省市：