三维场景重建、在线家装与商品获取方法、设备及介质技术

本申请实施例提供一种三维场景重建、在线家装与商品获取方法、设备及介质。在本申请实施例中，以第一空间对象对应的图像为基础，通过检测图像中存在的交界线和消影点等2D视觉信息，基于这些2D视觉信息，结合交界线之间以及消影点之间存在的约束关系，得到第一空间对应的3D结构信息，即目标三维模型，在该目标三维模型中可体现第一空间对象对应的真实场景信息，有利于提高基于该三维模型的应用效果，例如在家装场景中，可以提高基于该三维模型的家装搭配效果。而且，三维模型的稳定性更高，可解释性更强，效果更具鲁棒性；同时，结合交界线之间和消影点之间的约束关系，所生成的三维模型中模型主体结构之间的贴合程度更高。型中模型主体结构之间的贴合程度更高。型中模型主体结构之间的贴合程度更高。

【技术实现步骤摘要】
三维场景重建、在线家装与商品获取方法、设备及介质


[0001]本申请涉及三维重建
，尤其涉及一种三维场景重建、在线家装与商品获取方法、设备及介质。

技术介绍

[0002]随着互联网应用的发展，用户可以在线进行各种操作，例如选购商品、在线家装等。以在线家装为例，用户可以通过家装类应用（APP）选择与房屋户型相似度最高的已有3D样板间，在3D样板间中放置各种家具或装饰物，以查看家装效果，进而根据家装效果来选购家具进行线下实际家装。
[0003]但是，现有3D样板间是通过使用3D制图技术制作出立体的房屋三维模型，缺少用户真实的房屋场景信息，面对需要与真实房屋环境进行搭配的家装需求，家装搭配效果不是很理想。为此，亟需一种能够在房屋三维模型中体现真实房屋场景信息的解决方案，用以提高在线家装的搭配效果。

技术实现思路

[0004]本申请的多个方面提供一种三维场景重建、在线家装与商品获取方法、设备及介质，用以在三维场景模型中体现真实三维场景信息，提高基于三维场景模型的应用效果，例如家装搭配效果。
[0005]本申请实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维场景重建方法，其特征在于，包括：获取第一空间对象对应的目标图像，所述第一空间对象是目标物理空间中的至少部分空间对象；检测所述目标图像中存在的多条交界线以及至少两个正交主方向上的消影点，所述交界线是所述第一空间对象中相邻物理主体结构之间的交线；根据所述至少两个正交主方向上的消影点，确定目标相机的相机内参数和相机坐标系下的重力方向，所述目标相机是指拍摄所述目标图像使用的相机；根据所述多条交界线和所述相机坐标系下的重力方向，重建所述第一空间对象对应的初始三维模型，所述初始三维模型中包括与所述相邻物理主体结构对应的相邻模型主体结构；根据所述多条交界线之间的约束关系、所述至少两个正交主方向上的消影点之间的约束关系以及所述相机内参数，对所述初始三维模型进行优化，以得到目标三维模型。2.根据权利要求1所述的方法，其特征在于，检测所述目标图像中存在的多条交界线以及至少两个正交主方向上的消影点，包括：将所述目标图像输入基于霍夫变换的交界线检测模型进行交界线的检测，以获取所述目标图像中存在的多条交界线；将所述目标图像输入基于霍夫变换的消影点检测模型进行消影点检测，以获取所述目标图像中至少两个正交主方向上的消影点。3.根据权利要求2所述的方法，其特征在于，将所述目标图像输入基于霍夫变换的交界线检测模型进行交界线的检测，以获取所述目标图像中存在的多条交界线，包括：在基于霍夫变换的交界线检测模型中，利用融合跳跃连接和多尺度特征的第一特征提取网络对所述目标图像进行特征提取，得到多个尺度的第一目标特征图；利用基于极坐标的霍夫变换对所述多个尺度的第一目标特征图进行霍夫变换，以将所述目标图像中存在的直线映射为霍夫空间中的点；在所述霍夫空间中选择与交界线特征匹配的多个目标点，并将所述多个目标点重新映射到图像空间中，以得到所述目标图像中存在的多条交界线。4.根据权利要求3所述的方法，其特征在于，利用基于极坐标的霍夫变换对所述多个尺度的第一目标特征图进行霍夫变换，以将所述目标图像中存在的直线映射为霍夫空间中的点，包括：对所述多个尺度的第一目标特征图进行霍夫变换，以得到基于极坐标的霍夫空间中多个尺度的第二目标特征图；对所述多个尺度的第二目标特征图进行尺度变换，以得到尺度相同的多个特征图，对所述尺度相同的多个特征图进行拼接，得到第三目标特征图；对所述第三目标特征图进行卷积降维，以得到霍夫空间中的二维图像，所述二维图像中包含多个点，每个点与所述目标图像中存在的直线对应。5.根据权利要求2所述的方法，其特征在于，将所述目标图像输入基于霍夫变换的消影点检测模型进行消影点检测，以获取所述目标图像中至少两个正交主方向上的消影点，包括：在基于霍夫变换的消影点检测模型中，利用第二特征提取网络对所述目标图像进行特
征提取，得到第四目标特征图；利用基于高斯球面的霍夫变换对所述第四目标特征图进行霍夫变换，以将所述目标图像中存在的直线映射为高斯球面空间中的点；在所述高斯球面空间中选择概率值和角度值满足要求的至少两个正交主方向上的消影点，并重新映射到图像空间中，以得到所述目标图像中至少两个正交主方向上的消影点。6.根据权利要求5所述的方法，其特征在于，利用基于高斯球面的霍夫变换对所述第四目标特征图进行霍夫变换，以将所述目标图像中存在的直线映射为高斯球面空间中的点，包括：对所述第四目标特征图进行霍夫变换，以得到基于极坐标的霍夫空间中的第五目标特征图；在所述霍夫空间中对所述第五目标特征图进行霍夫卷积，以得到第六目标特征图；对所述第六目标特征图进行高斯球面变换，以得到高斯球面空间中的第七目标特征图；在所述高斯球面空间中对所述第七目标特征图进行球面卷积，得到第八目标特征图，所述第八目标特征图中包括多个点，每个点与所述目标图像中存在的直线对应。7.根据权利要求1所述的方法，其特征在于，根据所述至少两个正交主方向上的消影点，确定目标相机的相机内参数和相机坐标系下的重力方向，包括：在所述至少两个正交主方向上的消影点中包括至少两个有限消影点的情况下，从所述至少两个有限消影点中选择距离相机光心最近的两个目标消影点；根据所述两个目标消影点与相机内参数的约束关系，确定所述目标相机的相机内参数；根据所述相机内参数，将所述至少两个正交主方向中位于重力方向上的消影点转换到相机坐标系中，以得到相机坐标系下的重力方向。8.根据权利要求1所述的方法，其特征在于，根据所述多条交界线和所述相机坐标系下的重力方向，重建所述第一空间对象对应的初始三维模型，包括：根据所述相机坐标系下的重力方向，在相机坐标系下构建三维空间的基准平面，所述基准平面与所述第一空间对象中包含的基准物理主体结构对应；从所述多条交界线中识别与所述基准物理主体结构相交的多条基准交界线，根据所述多条基准交界线之间的交点位置，在所述基准平面上构建与所述基准物理主体结构对应的基准模型主体结构；根据预设的相机光心到所述基准平面的高度和所述多条基准交界线之间的交点位置，在所述基准模型主体结构上构建与其它物理主体结构对应的其它模型主体结构，以...

【专利技术属性】
技术研发人员：宋瑾，马林，费义云，胡晓航，蒋健安，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：