基于混合现实的室内关键物体识别定位方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于混合现实的室内关键物体识别定位方法、装置及设备，包括获取针对目标室内区域的图像视频流，并识别获其中包括的室内物体集以及各室内物体的二维图像信息；将各室内物体的二维图像反投影映射至三维真实空间；获取各室内物体在三维真实空间中的分布空间位置，并确定与各室内物体对应的虚拟现实模型锚点信息以构建对应的虚拟现实模型；若检测到当前拍摄对准室内区域中存在当前室内物体，获取对应的目标虚拟现实模型并与当前室内物体融合显示。本发明专利技术实施例实现了在数字化量房过程中将室内各物体基于视频数据对应转换为虚拟现实模型，使得设计师还原客户住房的户型模型的准确度提高，降低了还原难度，而且还提升了还原的效率。且还提升了还原的效率。且还提升了还原的效率。

【技术实现步骤摘要】
基于混合现实的室内关键物体识别定位方法、装置及设备


[0001]本专利技术涉及人工智能
，尤其涉及一种基于混合现实的室内关键物体识别定位方法、装置及设备。

技术介绍

[0002]随着人工智能技术的发展和应用，为当今各行各业提供了降本增效的可能性。在日新月异的信息化开放时代，家装领域数字化转型势在必行。
[0003]家装设计过程中，设计师需要先进行量房得到客户家比较精准的户型真实尺寸，现有智能量房软件能够大体测量出户型墙体数据，但户型测量后很多辅助测量元素也需要被记录，设计师往往采用拍照来估计其大体位置。例如，强弱电点位，包含开关、中央空调控制面板，插座，网络接口等；强弱电箱，包含强弱电电箱等；卫浴部件，包含马桶，花洒，下水，水表等；主要家居，包含床，沙发等大件物体；厨房部件，包含燃气表，水管阀门等；室内开孔位置，包含空调预留口烟道等。通过这些传统手段，量房过程中辅助测量元素最后不能有效地绑定在客户住房户型数据当中，这会让设计师还原客户住房的户型模型的准确度降低，难度增大，而且还降低了还原的效率。

技术实现思路

[0004]本专利技术实施例提供了一种基于混合现实的室内关键物体识别定位方法、装置及设备，旨在解决现有技术中家装设计师在基于智能量房软件量房时仅能测量出户型墙体数据，量房过程中辅助测量元素最后不能有效地绑定在客户住房户型数据当中，这会让设计师还原客户住房的户型模型的准确度降低，难度增大，而且还降低了还原的效率的问题。
[0005]第一方面，本专利技术实施例提供了一种基于混合现实的室内关键物体识别定位方法，其包括：
[0006]获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；
[0007]基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；
[0008]将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；
[0009]获取各室内物体在三维真实空间中的分布空间位置；
[0010]根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；
[0011]基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；
[0012]若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取
与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
[0013]第二方面，本专利技术实施例还提供了一种基于混合现实的室内关键物体识别定位装置，其包括：
[0014]视频采集单元，用于获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；
[0015]物体二维信息获取单元，用于基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；
[0016]反投影映射单元，用于将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；
[0017]分布位置确定单元，用于获取各室内物体在三维真实空间中的分布空间位置；
[0018]锚点信息获取单元，用于根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；
[0019]AR模型构建单元，用于基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；
[0020]混合现实融合单元，用于若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
[0021]第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
[0022]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述第一方面所述的方法。
[0023]本专利技术实施例提供了一种基于混合现实的室内关键物体识别定位方法、装置及设备，方法包括：获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；获取各室内物体在三维真实空间中的分布空间位置；根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。本专利技术实施例实现了在数字化量房过程中将室内各物体基于视频数据对应转换为虚拟现实模型，使得设计师还原客户住房的户型模型的准确度提高，降低了还原难度，而且还提升了还原的效率。
附图说明
[0024]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本专利技术实施例提供的基于混合现实的室内关键物体识别定位方法的流程示意图；
[0026]图2为本专利技术实施例提供的基于混合现实的室内关键物体识别定位方法的子流程示意图；
[0027]图3为本专利技术实施例提供的基于混合现实的室内关键物体识别定位方法的另一子流程示意图；
[0028]图4为本专利技术实施例提供的基于混合现实的室内关键物体识别定位装置的示意性框图；
[0029]图5为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0032]还应当理解，在此本专利技术说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实的室内关键物体识别定位方法，其特征在于，包括：获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；获取各室内物体在三维真实空间中的分布空间位置；根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。2.根据权利要求1所述的方法，其特征在于，所述基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型，包括：将各室内物体对应的虚拟现实模型锚点信息基于Mesh功能组件的Mesh网格模型构建与各室内物体对应的虚拟现实模型。3.根据权利要求1所述的方法，其特征在于，所述基于图像识别获取所述图像视频流中包括的室内物体集，包括：将所述图像视频流按帧拆分，得到多帧视频图片以组成视频图片集；根据预设的图片筛选策略从所述视频图片集中筛选视频图片，组成目标视频图片集；将所述目标视频图片集中各目标视频图片基于目标检测模型进行图像识别，得到各目标视频图片对应的识别结果以组成室内物体集。4.根据权利要求1所述的方法，其特征在于，所述将各室内物体的二维图像基于反投影映射至三维真实空间，包括：获取反投影对应的转换矩阵；将各室内物体的二维图像对应的二维坐标与所述转换矩阵相乘，得到各室内物体在三维真实空间的三维坐标以映射至三维真实空间。5.根据权利要求1所述的方法，其特征在于，所述获取各室内物体在三维真实空间中的分布空间位置，包括：获取各室内物体在三维真实空间中的顶点坐标，以确定各室内物体在三维真实空间中的分布空间位置。6...

【专利技术属性】
技术研发人员：朱燕，贾雪辉，刘垒，
申请(专利权)人：东易日盛家居装饰集团股份有限公司，
类型：发明
国别省市：