一种基于混合现实的虚拟装修方法、系统、设备和介质技术方案

本发明专利技术提出一种基于混合现实的虚拟装修方法、系统、设备和介质，通过获取目标场景不同位置的视频流，根据视频流获取目标场景的多个图像信息；利用多个图像信息计算不同位置的深度信息、点云信息和视频流以实现目标场景的测距；基于测距得到目标场景的距离信息，根据距离信息及图像信息构建目标场景的虚拟三维模型；获取装修数据，根据虚拟三维模型及装修数据实时渲染得到装修三维模型；将装修三维模型与目标场景的虚拟三维模型匹配标记；通过混合现实将装修三维模型实时叠加到真实的目标场景中。本发明专利技术将装修三维模型实时叠加到真实的目标场景中，以获得用户需要的装修效果，混合现实的叠加使装修效果更真实，帮助用户更好的进行看房及装修。进行看房及装修。进行看房及装修。

【技术实现步骤摘要】
一种基于混合现实的虚拟装修方法、系统、设备和介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于混合现实的虚拟装修方法、系统、设备和介质。

技术介绍

[0002]随着我国经济的不断发展，人民生活水平逐渐提高，越来越多的人购房或自建房，因为每家每户的装修理念不同，虽然装修设计公司可以提供三维设计图给到用户，但不少装修公司装修交付成果与用户期望中的设计图相差甚远，往往不能达到客户需求。而不少虚拟装修模型，因为每一用户的房型不同，因为尺寸偏差或者视觉偏差造成并不能真实反映出装修效果。
[0003]其次，用户在买房时多数都是以毛坯房或样板房出售，用户在看房时并不能真实体验出此房型的居住效果，以此造成用户的看房体验并不好。
[0004]因此亟待提出一种可以使装修设计能够真实还原装修效果的方法。

技术实现思路

[0005]基于此，有必要针对上述问题，提出一种基于混合现实的虚拟装修方法、系统、设备和介质，以改善现有技术中存在的如何使装修三维模型能够真实还原装修效果的技术问题。
[0006]第一方面，提供了一种基于混合现实的虚拟装修方法，包括：
[0007]通过球幕相机获取目标场景不同位置的视频流，根据所述视频流获取目标场景的多个图像信息；
[0008]利用所述多个图像信息计算对应不同位置的深度信息，根据所述深度信息计算对应位置的点云信息，根据所述点云信息追踪当前位置的视频流以实现目标场景的测距；
[0009]基于所述测距得到目标场景的距离信息，根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型；
[0010]获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型；
[0011]将所述装修三维模型与所述目标场景的虚拟三维模型匹配标记；
[0012]通过混合现实将所述装修三维模型实时叠加到真实的目标场景中。
[0013]作为优选的，利用所述多个图像信息计算对应不同位置的深度信息、点云信息和视频流以实现目标场景的测距，包括：
[0014]所述多个图像信息具有重叠的特征区域，根据所述特征区域获取至少第一位置、第二位置，计算不同图像信息中所述第一位置和第二位置的坐标，通过所述坐标标记所述第一位置、第二位置的像素坐标信息，并结合所述特征区域的灰度信息、视差信息计算图像信息中不同位置的深度信息；
[0015]根据所述深度信息获取对应位置的点云信息，根据所述点云信息追踪当前位置的
视频流，并提取目标场景中特定区域的点云信息和视频流，根据特定区域的点云信息和视频流进行目标场景的测距。
[0016]作为优选的，所述基于所述测距得到目标场景的距离信息，根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型，包括：
[0017]根据所述距离信息建立数字化模型，并对所述数字化模型进行回环检测，利用所述图像信息贴图到所述数化字模型上，得到所述目标场景的虚拟三维模型。
[0018]作为优选的，所述获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型，包括：
[0019]所述装修数据包括二维装修设计图，将所述二维装修设计图与所述目标场景的虚拟三维模型根据所述特定区域进行匹配标记，以实时调整所述二维装修设计图的参数与所述目标场景的虚拟三维模型的参数相对应；
[0020]识别二维装修设计图中的特征物体，将所述二维装修设计图及所述特征物体按照所述目标场景的虚拟三维模型的参数进行数字化建模；
[0021]对经过数字化建模的二维装修设计图及特征物体根据装修风格实时渲染以得到装修三维模型。
[0022]作为优选的，所述获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型，包括：
[0023]所述装修数据包括各类装修模型，用户自定义选取所述装修模型放置到所述目标场景的虚拟三维模型中；
[0024]识别所述装修模型的参数，对所述装修模型与所述目标场景的虚拟三维模型进行匹配标记，根据匹配标记将所述装修模型进行定位放置在所述目标场景的虚拟三维模型中；
[0025]对所述装修模型及放置有所述装修模型的目标场景的虚拟三维模型进行实时渲染以得到装修三维模型。
[0026]作为优选的，将所述装修三维模型与所述目标场景的虚拟三维模型匹配标记，包括：
[0027]检测所述装修三维模型中多个特定区域的位置信息与所述目标场景的虚拟三维模型的特定区域的位置信息是否匹配；
[0028]若匹配，则基于所述装修三维模型与所述目标场景的虚拟三维模型的多个特定区域的位置信息进行方向标记绑定；
[0029]若不匹配，则对所述装修三维模型及所述目标场景的虚拟三维模型进行局部回环检测并实时调整所述装修三维模型的参数，直至所述装修三维模型与所述目标场景的虚拟三维模型的多个特定区域的位置信息匹配，并进行方向标记绑定。
[0030]作为优选的，通过混合现实将所述装修三维模型实时叠加到真实的目标场景中，包括：
[0031]采集真实场景中对应所述多个特定区域的定位信息，并获取所述球幕相机拍摄目标场景的拍摄轨迹，根据所述定位信息和所述拍摄轨迹叠加所述装修三维模型。
[0032]第二方面，提供了一种基于混合现实的虚拟装修系统，包括：
[0033]数据获取单元，用于获取目标场景不同位置的视频流，根据所述视频流获取目标
场景的多个图像信息；并利用所述多个图像信息计算对应不同位置的深度信息、点云信息和视频流以实现目标场景的测距；
[0034]第一模型单元，基于所述测距得到目标场景的距离信息，并根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型；
[0035]第二模型单元，获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型；
[0036]数据输出单元，用于将所述装修三维模型与所述目标场景的虚拟三维模型匹配标记；并通过混合现实将所述装修三维模型实时叠加到真实的目标场景中。
[0037]第三方面，提供了一种基于混合现实的虚拟装修设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的基于混合现实的虚拟装修方法的步骤。
[0038]第四方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于混合现实的虚拟装修方法的步骤。
[0039]实施本专利技术实施例，将具有如下有益效果：
[0040]本专利技术提出了一种基于混合现实的虚拟装修方法、系统、设备和介质，通过球幕相机获取目标场景不同位置的视频流，根据视频流获取目标场景的多个图像信息；利用多个图像信息计算对应不同位置的深度信息、点云信息和视频流以实现目标场景的测距；基于测距得到目标场景的距离信息，根据距离信息及图像信息构建目标场景的虚拟三维模型；获取装修数据，根据目标场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实的虚拟装修方法，其特征在于，包括：通过球幕相机获取目标场景不同位置的视频流，根据所述视频流获取目标场景的多个图像信息；利用所述多个图像信息计算对应不同位置的深度信息，根据所述深度信息计算对应位置的点云信息，根据所述点云信息追踪当前位置的视频流以实现目标场景的测距；基于所述测距得到目标场景的距离信息，根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型；获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型；将所述装修三维模型与所述目标场景的虚拟三维模型匹配标记；通过混合现实将所述装修三维模型实时叠加到真实的目标场景中。2.根据权利要求1所述的基于混合现实的虚拟装修方法，其特征在于，利用所述多个图像信息计算对应不同位置的深度信息，根据所述深度信息获取对应位置的点云信息，根据所述点云信息追踪当前位置的视频流以实现目标场景的测距，包括：所述多个图像信息具有重叠的特征区域，根据所述特征区域获取至少第一位置、第二位置，计算不同图像信息中所述第一位置和第二位置的坐标，通过所述坐标标记所述第一位置、第二位置的像素坐标信息，并结合所述特征区域的灰度信息、视差信息计算图像信息中不同位置的深度信息；根据所述深度信息获取对应位置的点云信息，根据所述点云信息追踪当前位置的视频流，并提取目标场景中特定区域的点云信息和视频流，根据特定区域的点云信息和视频流进行目标场景的测距。3.根据权利要求2所述的基于混合现实的虚拟装修方法，其特征在于，所述基于所述测距得到目标场景的距离信息，根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型，包括：根据所述距离信息建立数字化模型，并对所述数字化模型进行回环检测，利用所述图像信息贴图到所述数化字模型上，得到所述目标场景的虚拟三维模型。4.根据权利要求3所述的基于混合现实的虚拟装修方法，其特征在于，所述获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型，包括：所述装修数据包括二维装修设计图，将所述二维装修设计图与所述目标场景的虚拟三维模型根据所述特定区域进行匹配标记，以实时调整所述二维装修设计图的参数与所述目标场景的虚拟三维模型的参数相对应；识别二维装修设计图中的特征物体，将所述二维装修设计图及所述特征物体按照所述目标场景的虚拟三维模型的参数进行数字化建模；对经过数字化建模的二维装修设计图及特征物体根据装修风格实时渲染以得到装修三维模型。5.根据权利要求3所述的基于混合现实的虚拟装修方法，其特征在于，所述获取装修数据，根据所述目标场景的虚拟三维模型及装...

【专利技术属性】
技术研发人员：崔岩，
申请(专利权)人：中德人工智能研究院有限公司珠海市四维时代网络科技有限公司，
类型：发明
国别省市：