房间布局估计方法和技术技术

公开了用于估计房间布局的系统和方法。房间布局可包括地板、一个或多个墙壁和天花板的位置。在一个方面，神经网络可以分析房间的一部分的图像以确定房间布局。神经网络可以包括具有编码器子网络、解码器子网络和侧子网络的卷积神经网络。神经网络可以使用与房间类型相关联的二维有序关键点来确定三维房间布局。房间布局可用于诸如增强或混合现实、机器人、自主室内导航等的应用。

Methods and techniques of room layout estimation

【技术实现步骤摘要】
【国外来华专利技术】房间布局估计方法和技术相关申请的交叉引用本申请要求2017年3月17日提交的题为“ROOMLAYOUTESTIMATIONMETHODSANDTECHNIQUES”的美国专利申请号62/473,257的优先权权益，该申请通过引用整体并入本文。
本公开一般涉及用于使用自动图像分析来估计房间布局的系统和方法，并且更具体地涉及用于确定房间布局的深度机器学习系统(例如，卷积神经网络)。
技术介绍
深度神经网络(DNN)是一种计算机器学习方法。DNN属于一类人工神经网络(NN)。利用NN，构建了模拟生物神经网络特征的计算图。生物神经网络包括突出用于计算并且负责生物系统的许多能力的特征，，否则这些特征可能难以通过其它方法捕获。在一些实现方式中，这种网络被布置成单向连接的顺序分层结构。例如，特定层的人工神经元的输出可以连接到后续层的人工神经元的输入。DNN可以是具有大量层(例如，10、100或更多层)的NN。不同的NN在不同的视角中彼此不同。例如，不同NN的拓扑或架构(例如，层的数量和层如何互连)和权重可以是不同的。权重可以近似类似于生物系统中神经连接的突触强度。权重影响从一层传播到另一层的效果强本文档来自技高网...

【技术保护点】
1.一种系统，包括：非暂态存储器，其被配置为存储：用于房间布局估计的房间图像；以及用于估计房间布局的神经网络，所述神经网络包括：编码器‑解码器子网络；以及分类器子网络，其连接到所述编码器‑解码器子网络；硬件处理器，其与所述非暂态存储器通信，所述硬件处理器被编程为：访问所述房间图像；使用所述编码器‑解码器子网络和所述房间图像确定与多个房间类型对应的多个预测的二维(2D)关键点图；使用所述编码器‑解码器子网络、所述分类器子网络和所述房间图像从所述多个房间类型确定预测房间类型；使用所述多个预测的2D关键点图和所述预测的房间类型确定与所述预测的房间类型相关联的多个有序关键点；以及使用所述多个有序关键点...

【技术特征摘要】
【国外来华专利技术】2017.03.17 US 62/473,2571.一种系统，包括：非暂态存储器，其被配置为存储：用于房间布局估计的房间图像；以及用于估计房间布局的神经网络，所述神经网络包括：编码器-解码器子网络；以及分类器子网络，其连接到所述编码器-解码器子网络；硬件处理器，其与所述非暂态存储器通信，所述硬件处理器被编程为：访问所述房间图像；使用所述编码器-解码器子网络和所述房间图像确定与多个房间类型对应的多个预测的二维(2D)关键点图；使用所述编码器-解码器子网络、所述分类器子网络和所述房间图像从所述多个房间类型确定预测房间类型；使用所述多个预测的2D关键点图和所述预测的房间类型确定与所述预测的房间类型相关联的多个有序关键点；以及使用所述多个有序关键点确定所述房间图像中所述房间的预测布局。2.根据权利要求1所述的系统，其中，所述多个房间类型中的每个房间类型包括有序的一组房间类型关键点。3.根据权利要求2所述的系统，其中，所述多个房间类型中的每个房间类型包括用于所述房间类型中的区域的语义分割，所述语义分割包括作为地板、天花板或墙壁的标识。4.根据权利要求2所述的系统，其中，第一关键点顺序与所述多个房间类型中的第一房间类型相关联，并且第二关键点顺序与所述多个房间类型中的第二房间类型相关联，其中，所述第一关键点顺序和所述第二关键点顺序不同。5.根据权利要求1所述的系统，其中，所述房间图像包括单眼图像。6.根据权利要求1所述的系统，其中，所述房间图像包括红绿蓝(RGB)图像。7.根据权利要求1所述的系统，其中，所述房间图像的维度大于所述预测的2D关键点图的维度。8.根据权利要求1所述的系统，其中，所述编码器-解码器子网络包括编码器子网络，所述编码器子网络包括多个卷积层和多个池化层。9.根据权利要求1所述的系统，其中，所述编码器-解码器子网络包括解码器子网络，所述解码器子网络包括多个卷积层和多个上采样层。10.根据权利要求1所述的系统，其中，所述编码器-解码器子网络包括存储器增强的递归编码器-解码器(MRED)网络。11.根据权利要求1所述的系统，其中，所述编码器-解码器子网络包括多个递归层。12.根据权利要求11所述的系统，其中，所述多个递归层的递归迭代的数量是两次。13.根据权利要求11所述的系统，其中，所述多个递归层的递归迭代的数量是至少三次。14.根据权利要求11至13中任一项所述的系统，其中，所述多个递归层中的每一个具有权重矩阵，并且所述权重矩阵对于所述多个递归层中的所有递归层相同。15.根据权利要求1所述的系统，其中，所述预测的二维(2D)关键点图包括热图。16.根据权利要求15所述的系统，其中，所述硬件处理器被编程为从所述热图中提取关键点位置作为所述热图的最大值。17.根据权利要求1所述的系统，其中，所述硬件处理器被编程为：从分析所述房间图像的物体识别器访问物体信息；以及将所述物体信息与所述房间的所述预测布局相结合。18.根据权利要求17所述的系统，其中，所述物体识别器被配置为检测所述房间图像中的长方体。19.一种可穿戴显示设备，包括：面向外的成像系统，其被配置为捕获用于房间布局估计的房间图像；以及根据权利要求1所述的系统。20.一种系统，包括：非暂态存储器，其被配置为存储用于神经网络的参数；以及硬件处理器，其与所述非暂态存储器通信，所述硬件处理器被编程为：接收训练房间图像，其中，所述训练房间图像与以下相关联：多种房间类型中的参考房间类型，以及与参考房间布局相关联的参考关键点；生成用于房间布局估计的神经网络，其中，所述神经网络包括：编码器-解码器子网络，其被配置为输出和与所述多个房间类型中的每一个相关联的预测房间布局相关联的预测的二维(2D)关键点，以及连接到所述编码器-解码器网络的侧子网络，其被配置为从所述多个房间类型输出预测的房间类型；以及基于用于所述预测的2D关键点的第一损失和用于所述预测的房间类型的第二损失来...

【专利技术属性】
技术研发人员：李镇宇，V·巴德里娜拉亚楠，T·马利西维茨，A·拉比诺维奇，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US