一种保持行人完整性的全景视频拼接方法和装置制造方法及图纸

本发明专利技术涉及一种保持行人完整性的全景视频拼接方法和装置，方法包括：采用结构化的环视全景相机阵列采集多路视频；基于光束平差法对相机位姿进行联合标定；对不同相机采集的视频图像进行几何对齐，映射到统一的圆柱标准曲面上；使用两步最小二乘法对不同相机拍摄的图像进行光度对齐，消除亮度差异；基于语义分割定位图像中的行人目标，得到语义蒙版；基于语义蒙版，构建视频图像的缝合线代价函数，使用动态规划求解最佳缝合线，将对齐图像的重叠部分融合。与现有技术相比，本发明专利技术得到的全景拼接结果拥有更好的视觉一致性，对语义信息的考虑大大增强了该系统在监控领域的实用性，同时该方法拥有良好的计算效率，能够实现对视频图像的实时处理。像的实时处理。像的实时处理。

【技术实现步骤摘要】
一种保持行人完整性的全景视频拼接方法和装置


[0001]本专利技术涉及视频拼接
，尤其是涉及一种保持行人完整性的全景视频拼接方法和装置。

技术介绍

[0002]全景拼接系统是监视或太空探索中不可或缺的模块，使用结构化的相机阵列以及全景拼接系统，能够得到覆盖四周所有视角的水平视图，让观看者立即了解周围环境。随着视频会议、远程教育、机器人导航等领域的兴起，单一摄像机由于视域较小不能记录下大场景下的所有目标，表达的场景区域信息有限，而高清广角摄像机因为价格昂贵又得不到普及，全景拼接技术的出现满足了各个领域对大视场的需求，具有重要的实用价值。目前，全景图像拼接技术被广泛应用于安防监控、军事作战、虚拟现实技术、遥感图像处理、汽车驾驶辅助等领域。
[0003]为了给观看者提供一个自然的全景视图，全景拼接系统需要将不同视角的图像对齐并进行拼接，同时需要实现多个图像在接缝处的平滑过渡，让观看者无法察觉到图像间存在拼接的痕迹。另外有别于普通的图像全景拼接，视频拼接对于算法实时性以及鲁棒性的要求更高。
[0004]全景视频图像主要是由一组使用摄像机环绕四周拍摄获得的照片拼接而成，能够获取摄像机周围更加全面的环境信息。由于摄像机的旋转运动，获取的图像是实体景物在不同的摄像机坐标系下的二维投影，直接对图像进行拼接将会产生严重的图像畸变，无法满足视觉一致性，因此需要将待拼接图像映射到标准平面再进行图像拼接。全景图像依据其映射平面形式的不同可以分为球面全景图像、立方体全景图像、圆柱面全景图像。圆柱面全景模型拥有360度水平视角，使用该模型的全景图像质量均匀，细节、真实度高，并且可以直接使用传统的图像处理算法进行后续处理，因此得到广泛应用。
[0005]全景拼接主要包含两个步骤。第一步是将多张待拼接图像映射到统一坐标系下进行对齐，便于后续进行图像拼接，这一步需要对多张图像的变换关系进行估计，通常可采用基于特征点匹配的方法或基于相机外参标定的方法，然后根据变换关系投影至统一坐标系下进行对齐。第二步是对投影对齐后的图像进行融合，实现相邻图像间自然的过渡，最终获得令人眼视觉系统满意的全景图像。由于视差的存在，相邻图像中的前景物体往往无法完全对齐，对于如何对动态前景进行智能处理以保证其在全景中的一致性，仍有很大的研究空间。此外，实际应用中的全景视频拼接系统，还会涉及到多个相机图像的光度对齐、视频拼接算法的实时性以及暗光下的视频质量不佳等问题，现有的全景拼接系统往往难以兼顾。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在光度差异、图像割裂、重影的缺陷而提供一种保持行人完整性的全景视频拼接方法和装置。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种保持行人完整性的全景视频拼接方法，包括以下步骤：
[0009]S1：采用多个相机，构建结构化的环视全景相机阵列，采集多路视频；
[0010]S2：在相邻相机的共视区域放置标定板，形成特征点匹配对，构建相邻相机的相对位姿，以及回环前视相机位姿，从而采用光束平差法进行位姿优化；
[0011]S3：基于位姿优化的结果，对不同相机采集的视频图像进行几何对齐，将像素坐标映射到统一的圆柱标准曲面上；
[0012]S4：几何对齐后，构建各相机的视频图像的光度对齐方程，以及相邻图像重叠区域的均值与方差对齐方程，采用两步最小二乘法进行求解，消除相邻图像间的亮度差异；
[0013]S5：基于语义分割定位各相机视频图像中的行人目标，得到语义蒙版；
[0014]S6：基于光度对齐后的相机视频图像和语义蒙版，构建缝合线代价函数，使用动态规划求解最佳缝合线，将光度对齐后的相机视频图像的重叠部分融合。
[0015]进一步地，所述结构化的环视全景相机阵列包括四个相机，四个相机分别朝向前、后、左、右四个方向，各相机均通过支架固定，各相机的水平视角在100
‑
200度范围以内。
[0016]进一步地，构建的所述相邻相机的相对位姿包括前视与左视相机之间的相对位姿T
LF
、左视与后视相机之间的相对位姿T
BL
、后视与右视相机之间的相对位姿T
RB
、右视与前视相机之间的相对位姿T
FR
和前视相机的位姿T
FF
；
[0017]所述回环前视相机位姿T
′
FF
的计算表达式为：
[0018]T
′
FF
＝T
FR
·
T
RB
·
T
BL
·
T
LF
·
T
FF
。
[0019]进一步地，所述采用光束平差法进行位姿优化具体为：
[0020]以相邻相机的相对位姿、回环前视相机位姿和特征点匹配对作为待优化变量，构建位姿损失函数，基于图优化进行求解，得到优化后相邻相机之间的相对位姿；
[0021]所述位姿损失函数的计算表达式为：
[0022][0023]式中，u
ij
是第i个相机可以观测到的第j个特征点的像素坐标，s
ij
是该特征点的深度，K
i
是第i个相机的内参，是第i个相机位姿的李代数形式，P
ij
是该特征点的齐次三维坐标，上述损失函数中隐含了齐次坐标与非齐次坐标的转换。
[0024]进一步地，步骤S3具体包括以下步骤：
[0025]S301：将环视全景相机阵列中四个相机的中心位置作为中心坐标P
center
，由四个相机在前视相机坐标系下的坐标均值求得中心坐标：
[0026][0027]S302：计算前视相机相对于中心坐标的变换矩阵T
FW
为：
[0028][0029]S303：基于相邻相机之间的相对位姿，以及前视相机相对于中心坐标的变换矩阵T
FW
，得到各相机相对于中心坐标的位姿变换为：
[0030]T
LW
＝T
LF
T
FW
[0031]T
BW
＝T
BL
T
LF
T
FW
[0032]T
RW
＝T
RB
T
BL
T
LF
T
FW
[0033]式中，T
LW
为左视相机相对于中心坐标的变换矩阵，T
BW
为后视相机相对于中心坐标的变换矩阵，T
RW
为右视相机相对于中心坐标的变换矩阵；
[0034]S304：以P
center
为坐标中心建立半径为r的圆柱投影曲面，并定义映射的z轴尺度因子h
scale
，将像素坐标映射到统一的圆柱标准曲面上，该映射过程的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种保持行人完整性的全景视频拼接方法，其特征在于，包括以下步骤：S1：采用多个相机，构建结构化的环视全景相机阵列，采集多路视频；S2：在相邻相机的共视区域放置标定板，形成特征点匹配对，构建相邻相机的相对位姿，以及回环前视相机位姿，从而采用光束平差法进行位姿优化；S3：基于位姿优化的结果，对不同相机采集的视频图像进行几何对齐，将像素坐标映射到统一的圆柱标准曲面上；S4：几何对齐后，构建各相机的视频图像的光度对齐方程，以及相邻图像重叠区域的均值与方差对齐方程，采用两步最小二乘法进行求解，消除相邻图像间的亮度差异；S5：基于语义分割定位各相机视频图像中的行人目标，得到语义蒙版；S6：基于光度对齐后的相机视频图像和语义蒙版，构建缝合线代价函数，使用动态规划求解最佳缝合线，将光度对齐后的相机视频图像的重叠部分融合。2.根据权利要求1所述的一种保持行人完整性的全景视频拼接方法，其特征在于，所述结构化的环视全景相机阵列包括四个相机，四个相机分别朝向前、后、左、右四个方向，各相机均通过支架固定，各相机的水平视角在100
‑
200度范围以内。3.根据权利要求2所述的一种保持行人完整性的全景视频拼接方法，其特征在于，构建的所述相邻相机的相对位姿包括前视与左视相机之间的相对位姿T
LF
、左视与后视相机之间的相对位姿T
BL
、后视与右视相机之间的相对位姿T
RB
、右视与前视相机之间的相对位姿T
FR
和前视相机的位姿T
FF
；所述回环前视相机位姿T
′
FF
的计算表达式为：T
′
FF
＝T
FR
·
T
RB
·
T
BL
·
T
LF
·
T
FF
。4.根据权利要求3所述的一种保持行人完整性的全景视频拼接方法，其特征在于，所述采用光束平差法进行位姿优化具体为：以相邻相机的相对位姿、回环前视相机位姿和特征点匹配对作为待优化变量，构建位姿损失函数，基于图优化进行求解，得到优化后相邻相机之间的相对位姿；所述位姿损失函数的计算表达式为：式中，u
ij
是第i个相机可以观测到的第j个特征点的像素坐标，s
ij
是该特征点的深度，K
i
是第i个相机的内参，是第i个相机位姿的李代数形式，P
ij
是该特征点的齐次三维坐标，上述损失函数中隐含了齐次坐标与非齐次坐标的转换。5.根据权利要求3所述的一种保持行人完整性的全景视频拼接方法，其特征在于，步骤S3具体包括以下步骤：S301：将环视全景相机阵列中四个相机的中心位置作为中心坐标P
center
，由四个相机在前视相机坐标系下的坐标均值求得中心坐标：
S302：计算前视相机相对于中心坐标的变换矩阵T
FW
为：S303：基于相邻相机之间的相对位姿，以及前视相机相对于中心坐标的变换矩阵T
FW
，得到各相机相对于中心坐标的位姿变换为：T
LW
＝T
LF
T
FW
T
BW
＝T
BL
T
LF
T
FW
T
RW
＝T
RB
T
BL
T
LF
T
FW
式中，T
LW
为左视相机相对于中心坐标的变换矩阵，T
BW
为后视相机相对于中心坐标的变换矩阵，T
RW
为右视相机相对于中心坐标的变换矩阵；S304：以P<...

【专利技术属性】
技术研发人员：张林，郭超政，朱安琪，沈莹，赵生捷，
申请(专利权)人：同济大学，
类型：发明
国别省市：