本公开提供了一种三维重建方法、装置、电子设备及存储介质，通过获取待重建场景中目标监控图像的直线数据，根据直线数据寻找消失点，确定对应的相机标定参数；根据检测的直线集合通过神经网络划分室内几何结构，将目标监控图像按照几何结构拆分成多幅图像；将拆分的图像投影到新的视平面进行透视变换，并计算图像梯度幅值和方向。对梯度幅值进行非极大值抑制，计算两幅图像中相邻区域的灰度直方图，采用双阈值算法对图像进行边缘检测和连接。构建待重建场景的三维模型，根据相机标定参数，确定映射图像与三维模型之间的投影矩阵，根据投影矩阵，将图像中的纹理信息投影至三维模型中。可以实现精准的实时三维重建，并且具有较好的重建视觉效果。好的重建视觉效果。好的重建视觉效果。
【技术实现步骤摘要】
一种三维重建方法、装置、电子设备及存储介质
[0001]本公开涉及计算机图形学
，具体而言，涉及一种三维重建方法、装置、电子设备及存储介质。
技术介绍
[0002]三维重建(3D Reconstruction)是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
[0003]在现有的三维重建技术中，基本采用激光点云进行重建，需要添加激光相机作为硬件设备，成本昂贵，且花费时间长。并且在应用于机场航站楼的场景时，由于机场航站楼中较多存在玻璃等光滑表面，拍摄到的监控视频多存在反光、畸变等情形，使二维相机采集到的场景纹理信息存在畸变等问题，与三维模型之间无法对应，进而导致三维重建的效果较差。
技术实现思路
[0004]本公开实施例至少提供一种三维重建方法、装置、电子设备及存储介质，可以针对待重建场景的三维空间进行准确的重建，并且具有较好的重建视觉效果。
[0005]本公开实施例提供了一种三维重建方法，所述方法包括：
[0006]获取待重建场景的目标监控图像，检测所述目标监控图像的直线数据，并确定拍摄所述目标监控图像的相机标定参数；
[0007]根据所述直线数据以及所述目标监控图像，确定划分所述目标监控图像中几何结构的目标直线集合；根据所述直线集合，将所述目标监控图像按照对应的几何结构拆分成多个结构图像；
[0008]将所述结构图像通过透视变换投影至预设目标视平面，确定透视变换后的所述结构图像的像素梯度幅值和方向，根据预设梯度阈值在透视变换后的所述结构图像中进行边缘检测，确定所述结构图像对应的图像边缘区域；
[0009]确定所述图像边缘区域对应的灰度对比度，拼接所述灰度对比度之间的差值小于预设灰度对比度阈值的相邻所述结构图像，得到结构拼接图像；
[0010]构建所述待重建场景对应的三维模型，根据所述相机标定参数，确定所述结构拼接图像与所述三维模型之间的投影矩阵，根据所述投影矩阵，将所述结构拼接图像中的纹理信息投影至所述三维模型中。
[0011]一种可选的实施方式中，所述根据所述直线数据以及所述目标监控图像，确定划分所述目标监控图像中几何结构的目标直线集合；根据所述直线集合，将所述目标监控图像按照对应的几何结构拆分成多个结构图像，具体包括：
[0012]将所述直线数据以及所述目标监控图像输入至预先训练好的语义分割网络中，针对所述目标监控图像中的几何结构进行分类，确定所述目标监控图像对应的掩码矩阵；
[0013]将所述直线数据在所述目标监控图像中对应的像素点矩阵，与所述掩码矩阵求交，确定所述目标直线集合；
[0014]按照所述目标直线集合中包括的各个目标直线数据，将所述目标监控图像拆分成多个所述结构图像。
[0015]一种可选的实施方式中，在所述获取待重建场景的目标监控图像，检测所述目标监控图像中的直线数据，并确定拍摄所述目标监控图像的相机标定参数之后，所述方法还包括：
[0016]确定所述直线数据中，每条直线的两个端点对应的齐次坐标，并根据所述齐次坐标将对应的所述直线表示为齐次坐标向量；
[0017]根据所述齐次坐标向量，确定所述直线数据对应的目标消失点；
[0018]过滤所述直线数据中，与所述消失点之间对应向量方向之差大于预设阈值的直线。
[0019]一种可选的实施方式中，所述预设梯度阈值包括预设梯度高阈值以及预设梯度低阈值，基于以下方法确定所述结构图像对应的图像边缘区域：
[0020]遍历所述结构图像中的全部像素点，将每个所述像素点对应的所述像素梯度幅值分别与所述预设梯度高阈值以及所述预设梯度低阈值进行比较；
[0021]若所述像素点对应的所述像素梯度幅值大于所述预设梯度高阈值，则保留该像素点；
[0022]若所述像素点对应的所述像素梯度幅值小于所述预设梯度低阈值，则过滤掉该像素点；
[0023]若所述像素点对应的所述像素梯度幅值小于所述预设梯度高阈值且高于所述预设梯度低阈值，则在该像素点的八邻域中寻找是否存在高于所述预设梯度高阈值的所述像素梯度幅值；
[0024]若存在，则保留该像素点；若不存在，则过滤掉该像素点。
[0025]一种可选的实施方式中，所述根据所述相机标定参数，确定所述结构拼接图像与所述三维模型之间的投影矩阵，具体包括：
[0026]确定所述结构拼接图像中，每幅所述结构图像对应的边缘角点，以及所述边缘角点对应的图像坐标；
[0027]根据所述相机标定参数，确定所述边缘角点在所述三维模型中的对应的目标空间点，以及所述目标空间点对应的空间坐标；
[0028]根据所述边缘角点对应的图像坐标以及所述目标空间点对应的空间坐标之间的对应关系，确定所述结构拼接图像与所述三维模型之间的投影矩阵。
[0029]一种可选的实施方式中，所述根据所述投影矩阵，将所述结构拼接图像中的纹理信息投影至所述三维模型中，具体包括：
[0030]提取所述结构拼接图像中的纹理信息；
[0031]根据所述投影矩阵，针对所述纹理信息进行矩阵运算，将所述纹理信息投影至所述三维模型中。
[0032]本公开实施例还提供一种三维重建装置，所述装置包括：
[0033]相机标定模块，用于获取待重建场景的目标监控图像，检测所述目标监控图像的
直线数据，并确定拍摄所述目标监控图像的相机标定参数；
[0034]几何结构划分模块，用于根据所述直线数据以及所述目标监控图像，确定划分所述目标监控图像中几何结构的目标直线集合；根据所述直线集合，将所述目标监控图像按照对应的几何结构拆分成多个结构图像；
[0035]透视变换模块，用于将所述结构图像通过透视变换投影至预设目标视平面，确定透视变换后的所述结构图像的像素梯度幅值和方向，根据预设梯度阈值在透视变换后的所述结构图像中进行边缘检测，确定所述结构图像对应的图像边缘区域；
[0036]图像拼接模块，用于确定所述图像边缘区域对应的灰度对比度，拼接所述灰度对比度之间的差值小于预设灰度对比度阈值的相邻所述结构图像，得到结构拼接图像；
[0037]纹理映射模块，用于构建所述待重建场景对应的三维模型，根据所述相机标定参数，确定所述结构拼接图像与所述三维模型之间的投影矩阵，根据所述投影矩阵，将所述结构拼接图像中的纹理信息投影至所述三维模型中。
[0038]一种可选的实施方式中，所述几何结构划分模块具体用于：
[0039]将所述直线数据以及所述目标监控图像输入至预先训练好的语义分割网络中，针对所述目标监控图像中的几何结构进行分类，确定所述目标监控图像对应的掩码矩阵；
[0040]将所述直线数据在所述目标监控图像中对应的像素点矩阵，与所述掩码矩阵求交，确定所述目标直线集合；
[0041]按照所述目标直线集合中包括的各个目标直线数据，将所述目标监控本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：获取待重建场景的目标监控图像，检测所述目标监控图像的直线数据，并确定拍摄所述目标监控图像的相机标定参数；根据所述直线数据以及所述目标监控图像，确定划分所述目标监控图像中几何结构的目标直线集合；根据所述直线集合，将所述目标监控图像按照对应的几何结构拆分成多个结构图像；将所述结构图像通过透视变换投影至预设目标视平面，确定透视变换后的所述结构图像的像素梯度幅值和方向，根据预设梯度阈值在透视变换后的所述结构图像中进行边缘检测，确定所述结构图像对应的图像边缘区域；确定所述图像边缘区域对应的灰度对比度，拼接所述灰度对比度之间的差值小于预设灰度对比度阈值的相邻所述结构图像，得到结构拼接图像；构建所述待重建场景对应的三维模型，根据所述相机标定参数，确定所述结构拼接图像与所述三维模型之间的投影矩阵，根据所述投影矩阵，将所述结构拼接图像中的纹理信息投影至所述三维模型中。2.根据权利要求1所述的方法，其特征在于，所述根据所述直线数据以及所述目标监控图像，确定划分所述目标监控图像中几何结构的目标直线集合；根据所述直线集合，将所述目标监控图像按照对应的几何结构拆分成多个结构图像，具体包括：将所述直线数据以及所述目标监控图像输入至预先训练好的语义分割网络中，针对所述目标监控图像中的几何结构进行分类，确定所述目标监控图像对应的掩码矩阵；将所述直线数据在所述目标监控图像中对应的像素点矩阵，与所述掩码矩阵求交，确定所述目标直线集合；按照所述目标直线集合中包括的各个目标直线数据，将所述目标监控图像拆分成多个所述结构图像。3.根据权利要求1所述的方法，其特征在于，在所述获取待重建场景的目标监控图像，检测所述目标监控图像中的直线数据，并确定拍摄所述目标监控图像的相机标定参数之后，所述方法还包括：确定所述直线数据中，每条直线的两个端点对应的齐次坐标，并根据所述齐次坐标将对应的所述直线表示为齐次坐标向量；根据所述齐次坐标向量，确定所述直线数据对应的目标消失点；过滤所述直线数据中，与所述消失点之间对应向量方向之差大于预设阈值的直线。4.根据权利要求1所述的方法，其特征在于，所述预设梯度阈值包括预设梯度高阈值以及预设梯度低阈值，基于以下方法确定所述结构图像对应的图像边缘区域：遍历所述结构图像中的全部像素点，将每个所述像素点对应的所述像素梯度幅值分别与所述预设梯度高阈值以及所述预设梯度低阈值进行比较；若所述像素点对应的所述像素梯度幅值大于所述预设梯度高阈值，则保留该像素点；若所述像素点对应的所述像素梯度幅值小于所述预设梯度低阈值，则过滤掉该像素点；若所述像素点对应的所述像素梯度幅值小于所述预设梯度高阈值且高于所述预设梯度低阈值，则在该像素点的八邻域中寻找是否存在高于所述预设梯度高阈值的所述像素梯
度幅值；若存在，则保留该像素点；若不存在，则...
【专利技术属性】
技术研发人员：党婉丽，曹利波，王朝，耿龙，郑怀宇，牛杰，潘野，陈肇欣，张涛，游奕，
申请(专利权)人：中国民用航空总局第二研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。