一种三维线图重建方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供一种三维线图重建方法、装置和电子设备，该方法包括：获取前一帧图像的二维特征线段，以及当前帧图像的观测线段；确定所述观测线段中与所述二维特征线段匹配的匹配线段；根据所述匹配线段，确定拍摄设备的当前位姿；根据所述当前位姿，对所述匹配线段求解三角化，获得所述当前帧图像的三维线图。整个计算过程简单，提高了获取三维线图的效率，可实时获得当前帧图像的三维线图。

【技术实现步骤摘要】
一种三维线图重建方法、装置和电子设备
本专利技术涉及图像处理
，尤其涉及一种三维线图重建方法、装置和电子设备。
技术介绍
现有的三维线图重建的方法，使用线段的特征匹配的方式处理线段特征，需要使用一组采集好的数据联合优化，无法实时在采集过程中观察到当前重建的质量，运算量要求极大，往往需要数小时甚至数天的运算，例如Line3D++等。也就是说，现有的三维线图重建方法处理的数据量大，不能实时生成三维线图。
技术实现思路
本专利技术的目的在于提供一种三维线图重建方法、装置和电子设备，以解决现有的三维线图重建方法处理的数据量大，不能实时生成三维线图的问题。为了达到上述目的，本专利技术提供一种三维线图重建方法，包括：获取前一帧图像的二维特征线段，以及当前帧图像的观测线段；确定所述观测线段中与所述二维特征线段匹配的匹配线段；根据所述匹配线段，确定拍摄设备的当前位姿；根据所述当前位姿，对所述匹配线段求解三角化，获得所述当前帧图像的三维线图。进一步的，所述确定所述观测线段中与所述二维特征线段匹配的匹配线段，包括：对所述二维特征线段进行采样，获得采样点；根据所述采样点，获取所述采样点在所述当前帧图像中的预测点；对所述预测点进行拟合，获得预测线段；若所述观测线段包括与所述预测线段部分重合或全部重合的线段，则将所述观测线段中与所述预测线段部分重合或全部重合的线段确定为候选线段；将所述候选线段中长度最长的线段确定为与所述二维特征线段匹配的匹配线段。进一步的，在所述对所述预测点进行拟合，获得预测线段之后，还包括：若所述观测线段不包括与所述预测线段部分重合或全部重合的线段，则生成一条线段，并将生成的线段确定为与所述二维特征线段匹配的匹配线段。进一步的，所述根据所述匹配线段，确定拍摄设备的当前位姿，包括：获取所述前一帧图像的三维特征点和所述当前帧图像的二维特征点；根据所述三维特征点、所述二维特征点，获得第一误差；将所述前一帧图像的三维线图的三维线段投影到所述当前帧图像，获得二维投影线段；根据所述二维投影线段与所述匹配线段，获得第二误差；根据所述第一误差和所述第二误差，确定所述拍摄设备的当前位姿。本专利技术实施例还提供一种三维线图重建装置，包括：第一获取模块，用于获取前一帧图像的二维特征线段，以及当前帧图像的观测线段；第一确定模块，用于确定所述观测线段中与所述二维特征线段匹配的匹配线段；第二确定模块，用于根据所述匹配线段，确定拍摄设备的当前位姿；第二获取模块，用于根据所述当前位姿，对所述匹配线段求解三角化，获得所述当前帧图像的三维线图。进一步的，所述第一确定模块，包括：采样子模块，用于对所述二维特征线段进行采样，获得采样点；第一获取子模块，用于根据所述采样点，获取所述采样点在所述当前帧图像中的预测点；第二获取子模块，用于对所述预测点进行拟合，获得预测线段；第一确定子模块，用于若所述观测线段包括与所述预测线段部分重合或全部重合的线段，则将所述观测线段中与所述预测线段部分重合或全部重合的线段确定为候选线段；第二确定子模块，用于将所述候选线段中长度最长的线段确定为与所述二维特征线段匹配的匹配线段。进一步的，所述第一确定模块还包括：第三确定子模块，用于若所述观测线段不包括与所述预测线段部分重合或全部重合的线段，则生成一条线段，并将生成的线段确定为与所述二维特征线段匹配的匹配线段。进一步的，所述第二确定模块，包括：第三获取子模块，用于获取所述前一帧图像的三维特征点和所述当前帧图像的二维特征点；第四获取子模块，用于根据所述三维特征点、所述二维特征点，获得第一误差；第五获取子模块，用于将所述前一帧图像的三维线图的三维线段投影到所述当前帧图像，获得二维投影线段；第六获取子模块，用于根据二维投影线段与所述预测线段，获得第二误差；第四确定子模块，用于根据所述第一误差和所述第二误差，确定所述拍摄设备的当前位姿。本专利技术实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本专利技术实施例提供的三维线图重建方法中的步骤。本专利技术实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例提供的三维线图重建方法中的步骤。本专利技术实施例中，获取前一帧图像的二维特征线段，以及当前帧图像的观测线段；确定所述观测线段中与所述二维特征线段匹配的匹配线段；根据所述匹配线段，确定拍摄设备的当前位姿；根据所述当前位姿，对所述匹配线段求解三角化，获得所述当前帧图像的三维线图。整个计算过程简单，提高了获取三维线图的效率，可实时获得当前帧图像的三维线图。附图说明图1是本专利技术实施例提供的一种三维线图重建方法的流程图；图1a是本专利技术实施例提供三维线段在坐标系中的表示示意图；图1b是本专利技术实施例提供三维线段的重投影示意图；图1c是本专利技术实施例提供三维线段重投影后的二维投影线段示意图；图1d是本专利技术实施例提供贝叶斯网络示意图；图2是本专利技术实施例提供的一种三维线图重建装置的结构图；图3是本专利技术实施例提供的一种电子设备的结构图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。请参见图1，图1是本专利技术实施例提供的一种三维线图重建方法的流程图，如图1所示，本实施例提供一种三维线图重建方法，应用于电子设备，包括以下步骤：步骤101、获取前一帧图像的二维特征线段，以及当前帧图像的观测线段。拍摄设备拍摄获得连续帧图像，前一帧图像为在当前帧图像之前拍摄获得，且与当前帧图像相邻的图像。在本步骤中，前一帧图像的二维特征线段，可理解为前一帧图像的匹配线段，该匹配线段根据前前一帧图像的二维特征线段获得。前前一帧图像为在前一帧图像之前拍摄获得，且与前一帧图像相邻的图像，依次类推，在此不做赘述。对于首帧图像来说，首帧图像没有上一帧图像，因此，首帧图像的匹配线段的确定可采用现有技术中的方式确定，在此不做限定。对于除首帧图像之外的其他帧图像来说，均可以采用本实施例中的方法，来确定匹配线段。进一步的，将当前帧图像的匹配线段作为二维特征线段，参与确定下一帧图像的匹配线段。当前帧图像的观测线段，可通过直线段检测算法(LineSegmentDetector，简称LSD)算法获取。步骤102、确定所述观测线段中与所述二维特征线段匹配的匹配线段。本步骤为线段跟踪部分，前一帧的二维特征线段可以提供给当前帧，以对根据当前帧获取的观测线段进行优化，具体过程包括：对所述二维特征线段进行采样，本文档来自技高网...

【技术保护点】
1.一种三维线图重建方法，其特征在于，包括：/n获取前一帧图像的二维特征线段，以及当前帧图像的观测线段；/n确定所述观测线段中与所述二维特征线段匹配的匹配线段；/n根据所述匹配线段，确定拍摄设备的当前位姿；/n根据所述当前位姿，对所述匹配线段求解三角化，获得所述当前帧图像的三维线图。/n

【技术特征摘要】
1.一种三维线图重建方法，其特征在于，包括：
获取前一帧图像的二维特征线段，以及当前帧图像的观测线段；
确定所述观测线段中与所述二维特征线段匹配的匹配线段；
根据所述匹配线段，确定拍摄设备的当前位姿；
根据所述当前位姿，对所述匹配线段求解三角化，获得所述当前帧图像的三维线图。


2.根据权利要求1所述的方法，其特征在于，所述确定所述观测线段中与所述二维特征线段匹配的匹配线段，包括：
对所述二维特征线段进行采样，获得采样点；
根据所述采样点，获取所述采样点在所述当前帧图像中的预测点；
对所述预测点进行拟合，获得预测线段；
若所述观测线段包括与所述预测线段部分重合或全部重合的线段，则将所述观测线段中与所述预测线段部分重合或全部重合的线段确定为候选线段；
将所述候选线段中长度最长的线段确定为与所述二维特征线段匹配的匹配线段。


3.根据权利要求2所述的方法，其特征在于，在所述对所述预测点进行拟合，获得预测线段之后，还包括：
若所述观测线段不包括与所述预测线段部分重合或全部重合的线段，则生成一条线段，并将生成的线段确定为与所述二维特征线段匹配的匹配线段。


4.根据权利要求1所述的方法，其特征在于，所述根据所述匹配线段，确定拍摄设备的当前位姿，包括：
获取所述前一帧图像的三维特征点和所述当前帧图像的二维特征点；
根据所述三维特征点、所述二维特征点，获得第一误差；
将所述前一帧图像的三维线图的三维线段投影到所述当前帧图像，获得二维投影线段；
根据所述二维投影线段与所述匹配线段，获得第二误差；
根据所述第一误差和所述第二误差，确定所述拍摄设备的当前位姿。


5.一种三维线图重建装置，其特征在于，包括：
第一获取模块，用于获取前一帧图像的二维特征线段，以及当前帧图像的观测线段；
第一确定模块，用于确定所述观测线段中与所述二维特征线段匹配的匹配线段；
第二确定模块，用于根据所述匹配线段，确定拍摄设备的当前位姿；
第二获取模块...

【专利技术属性】
技术研发人员：查红彬，王求元，姜立，方奕庚，
申请(专利权)人：京东方科技集团股份有限公司，北京大学，
类型：发明
国别省市：北京;11