一种三维注册方法、装置、终端及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种三维注册方法、装置、终端及计算机可读存储介质，方法包括：对视频流中的目标帧进行物体检测，获取所述目标帧中至少一个目标物体的目标2D图像框；将所述目标物体对应的长方体采用所述长方体在相机坐标系下的旋转矩阵进行表示，提取所述目标2D图像框内的线特征，根据所述线特征和所述长方体的边求解所述长方体的误差，根据所述长方体的误差求解所述长方体的3D姿态；根据所述长方体在至少一个关键帧上的投影对所述3D姿态进行优化，得到所述目标帧对应的相机姿态。本发明专利技术提取出视频内物体对象的3D姿态作为帧间约束项优化得到相机姿态，受纹理、视角变化的影响小，比传统基于特征点的三维注册方法更加鲁棒。统基于特征点的三维注册方法更加鲁棒。统基于特征点的三维注册方法更加鲁棒。

【技术实现步骤摘要】
一种三维注册方法、装置、终端及计算机可读存储介质


[0001]本专利技术涉及增强现实
，特别涉及一种三维注册方法、装置、终端及计算机可读存储介质。

技术介绍

[0002]增强现实技术在各个领域下的应用越来越广泛，增强现实中的三维注册技术是指通过相机对显示场景的拍摄采集场景信息，对相机的姿态变化进行跟踪，在通过三维注册技术获取到相机的姿态后，根据相机姿态来进行虚实融合场景渲染。
[0003]现有的三维注册方法主要使用视觉SLAM(simultaneous localization and mapping，同步定位与地图绘制)作为三维注册算法，提取图像特征点，通过特征点之间的匹配实现帧间姿态估计和闭环检测，该方法虽然能计算出相机姿态，实现三维注册功能，但是该方法依赖场景中的纹理特征，受光照变化，视角变化的影响较大，鲁棒性差。
[0004]因此，现有技术还有待改进和提高。

技术实现思路

[0005]针对现有技术的上述缺陷，本专利技术提供一种三维注册方法、装置、终端及计算机可读存储介质，旨在解决现有技术中基于特征点的视觉SLAM算法鲁棒性差的问题。
[0006]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0007]本专利技术的第一方面，提供一种三维注册方法，所述方法包括：
[0008]对视频流中的目标帧进行物体检测，获取所述目标帧中至少一个目标物体的目标2D图像框；
[0009]将所述目标物体对应的长方体采用所述长方体在相机坐标系下的旋转矩阵进行表示，提取所述目标2D图像框内的线特征，根据所述线特征和所述长方体的边求解所述长方体的误差，根据所述长方体的误差求解所述长方体的3D姿态，其中，所述长方体的3D姿态包括所述长方体在世界坐标系下的旋转矩阵、尺寸矩阵以及位置矩阵；
[0010]根据所述长方体在至少一个关键帧上的投影对所述3D姿态进行优化，得到所述目标帧对应的相机姿态。
[0011]所述的三维注册方法，其中，所述将所述目标物体对应的长方体采用所述长方体在相机坐标系下的旋转矩阵进行表示，包括：
[0012]将所述长方体的三个消失点采用所述长方体在相机坐标系下的旋转矩阵进行表示；
[0013]在所述目标2D图像框的选定边上选定第一角点，根据所述第一交点、所述三个消失点和所述目标2D图像框确定所述长方体的其余角点。
[0014]所述的三维注册方法，其中，所述根据所述线特征和所述长方体的边求解所述长方体的误差，包括：
[0015]根据预设的误差函数求解所述长方体的误差；
[0016]其中，所述误差函数中包括所述长方体的边与所述线特征之间的距离误差以及所述长方体的比例误差。
[0017]所述的三维注册方法，其中，所述长方体的3D姿态通过所述目标帧对应的相机姿态与所述长方体在相机坐标系下的目标姿态表示，所述根据所述长方体的误差求解所述长方体的3D姿态，包括：
[0018]在所述选定边上进行第一角点采样，确定所述长方体多个采样姿态；
[0019]选择对应的误差最小的姿态作为所述长方体在相机坐标系下的目标姿态。
[0020]所述的三维注册方法，其中，所述根据所述长方体在至少一个关键帧上的投影对所述3D姿态进行优化，包括：
[0021]将所述长方体的各个角点重投影至出现所述目标物体的所述关键帧，得到所述长方体在所述关键帧上对应的投影2D图像框；
[0022]提取第一特征点和第二特征点，其中，所述第一特征点为在所述长方体内的特征点，所述第二特征点为在所述目标帧和至少一个所述关键帧内均出现的特征点；
[0023]根据所述投影2D图像框、所述第一特征点和所述第二特征点构建最小化问题，求解所述最小化问题，得到所述目标帧对应的相机姿态。
[0024]所述的三维注册方法，其中，所述根据所述投影2D图像框、所述第一特征点和所述第二特征点构建最小化问题，包括：
[0025]分别根据所述投影2D图像框、所述第一特征点和所述第二特征点计算第一误差、第二误差和第三误差；
[0026]根据所述第一误差、所述第二误差和所述第三误差构建最小化问题；
[0027]其中，所述第一误差e
co
＝(x,y,w,h)
‑
z
o
，(x,y,w,h)为所述投影2D图像框，z
o
为所述目标物体在所述关键帧上的2D图像框；
[0028]所述第二误差e
op
＝max(T
ow
P
w1
|
‑
s,0)，T
ow
为所述长方体包括旋转和位置的6自由度姿态，P
w1
为所述第一特征点在世界坐标系下的坐标，s为所述长方体的尺寸；
[0029]所述第三误差e
cp
＝KT
cw
P
w2
‑
z
p
，K为相机的内参矩阵，T
cw
为所述关键帧对应的相机姿态，P
w2
为所述第二特征点在世界坐标系下的坐标，z
p
为所述第二特征点在所述关键帧的2D观测位置。
[0030]所述的三维注册方法，其中，所述根据所述第一误差、所述第二误差和所述第三误差构建最小化问题，包括：
[0031]根据第一预设公式构建最小化问题；
[0032]其中，所述第一预设公式为：
[0033][0034]其中，i对所述目标帧上每一个所述目标物体进行投影后生成的所述2D投影框的序号，n为所述2D投影框的数量，j为所述第一特征点的序号，m为所述第一特征点的数量，l为对所有所述第二特征点在所述目标帧和所述关键帧上形成的映射关系的序号，k为所有所述第二特征点在所述目标帧和所述关键帧上形成的映射关系的数量。
[0035]本专利技术的第二方面，提供一种三维注册装置，包括：
[0036]检测模块，用于对视频流中的目标帧进行物体检测，获取所述目标帧中至少一个
目标物体的目标2D图像框；
[0037]姿态求解模块，用于将所述目标物体对应的长方体采用所述长方体在相机坐标系下的旋转矩阵进行表示，提取所述目标2D图像框内的线特征，根据所述线特征和所述长方体的边求解所述长方体的误差，根据所述长方体的误差求解所述长方体的3D姿态，其中，所述长方体的3D姿态包括所述长方体在世界坐标系下的旋转矩阵、尺寸矩阵以及位置矩阵；
[0038]优化模块，用于根据所述长方体在至少一个关键帧上的投影对所述3D姿态进行优化，得到所述目标帧对应的相机姿态。
[0039]本专利技术的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的三维注册方法的步骤。
[0040]本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维注册方法，其特征在于，所述方法包括：对视频流中的目标帧进行物体检测，获取所述目标帧中至少一个目标物体的目标2D图像框；将所述目标物体对应的长方体采用所述长方体在相机坐标系下的旋转矩阵进行表示，提取所述目标2D图像框内的线特征，根据所述线特征和所述长方体的边求解所述长方体的误差，根据所述长方体的误差求解所述长方体的3D姿态，其中，所述长方体的3D姿态包括所述长方体在世界坐标系下的旋转矩阵、尺寸矩阵以及位置矩阵；根据所述长方体在至少一个关键帧上的投影对所述3D姿态进行优化，得到所述目标帧对应的相机姿态。2.根据权利要求1所述的三维注册方法，其特征在于，所述将所述目标物体对应的长方体采用所述长方体在相机坐标系下的旋转矩阵进行表示，包括：将所述长方体的三个消失点采用所述长方体在相机坐标系下的旋转矩阵进行表示；在所述目标2D图像框的选定边上选定第一角点，根据所述第一交点、所述三个消失点和所述目标2D图像框确定所述长方体的其余角点。3.根据权利要求1所述的三维注册方法，其特征在于，所述根据所述线特征和所述长方体的边求解所述长方体的误差，包括：根据预设的误差函数求解所述长方体的误差；其中，所述误差函数中包括所述长方体的边与所述线特征之间的距离误差以及所述长方体的比例误差。4.根据权利要求2所述的三维注册方法，其特征在于，所述长方体的3D姿态通过所述目标帧对应的相机姿态与所述长方体在相机坐标系下的目标姿态表示，所述根据所述长方体的误差求解所述长方体的3D姿态，包括：在所述选定边上进行第一角点采样，确定所述长方体多个采样姿态；选择对应的误差最小的姿态作为所述长方体在相机坐标系下的目标姿态。5.根据权利要求1所述的三维注册方法，其特征在于，所述根据所述长方体在至少一个关键帧上的投影对所述3D姿态进行优化，包括：将所述长方体的各个角点重投影至出现所述目标物体的所述关键帧，得到所述长方体在所述关键帧上对应的投影2D图像框；提取第一特征点和第二特征点，其中，所述第一特征点为在所述长方体内的特征点，所述第二特征点为在所述目标帧和至少一个所述关键帧内均出现的特征点；根据所述投影2D图像框、所述第一特征点和所述第二特征点构建最小化问题，求解所述最小化问题，得到所述目标帧对应的相机姿态。6.根据权利要求5所述的三维注册方法，其特征在于，所述根据所述投影2D图像框、所述第一特征点和所述第二特征点构建最小化问题，包括：分别根据所述投影2D图像框、所述第一特征点和所述第二特征点计算第一误差、第二误差和第三误差；根据所述第一误差、所述第二误差和所述第三误差构建最小化问题；其中，所述第一误差e
co
＝(x,y,w,h)
‑
z
o
，(x,y,w,h)为所述投影2D图像...

【专利技术属性】
技术研发人员：齐越，谢振威，王君义，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：