一种基于关键点热图修正的房间布局估计获取方法与系统技术方案

本发明专利技术公开了一种基于关键点热图修正的房间布局估计获取方法与系统，涉及关键点热图修正领域，其通过对数据集中的图片进行翻转、关键点重排序后训练神经网络模型，通过神经网络模型获取待识别图像的关键点热图以及房间类型，根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点，获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上，最后根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计，该方法通过关键点重排序以及修正边界关键点的操作，解决了关键点重叠以及像素误差导致的关键点连通区域数量错误问题，很大程度上提升了数据集以及模型的精准性。

【技术实现步骤摘要】
一种基于关键点热图修正的房间布局估计获取方法与系统
本专利技术涉及关键点热图修正领域，尤其涉及一种基于关键点热图修正的房间布局估计获取方法与系统。
技术介绍
目前，通过神经网络获取的关键点热图，其边界关键点通常会由于网络的预测误差以及坐标放缩的误差导致经常把本应存在于图片边界的关键点预测在距离边界几十个像素的位置，如果不进行关键点修正则会导致在根据房间类型获取关键点热图的连接关系时得到错误的连通区域数量，对模型的最终表现有很大的影响。其次，在训练神经网络时使用的数据集，目前基本上是对数据集清洗后诸如筛选出关键点顺序错误的图片后就进行使用，对翻转了的数据集图片均未进行处理，这些操作均可导致数据集图片数据不精准，使用这种数据集进行训练，对模型的最终表现有很大的影响，如果对数据集的数据进行调整，将会有效提升训练模型的精度。
技术实现思路
为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于关键点热图修正的房间布局估计获取方法，包括步骤：S1：接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；S2：根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；S3：获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；S4：根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。进一步地，所述步骤S1前还包括神经网络模型的训练，具体包括步骤：S01：获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；S02：根据扩充后的数据集训练神经网络模型。进一步地，所述步骤S01中重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。进一步地，所述步骤S3中的修正方法包括步骤：S31：根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；S32：获取垂直距离最小的关键点热图边界线并作为修正边界线；S33：以修正边界线的垂直方向为目标方向移动边界关键点至修正边界线上。本专利技术还提出了一种基于关键点热图修正的房间布局估计获取系统，包括：神经网络模块，接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；边界关键点模块，根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；关键点热图修正模块，获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；边界关键点连接模块，根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。进一步地，所述神经网络模块前还包括神经网络模型的训练，具体包括：获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；根据扩充后的数据集训练神经网络模型。进一步地，所述重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。进一步地，所述关键点热图修正模块中的修正方法包括：根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；获取垂直距离最小的关键点热图边界线并作为修正边界线；以修正边界线的垂直方向为目标方向移动边界关键点至修正边界线上。本专利技术至少具有以下有益效果：1、修正边界关键点至关键点热图的图像边界线上解决了由于网络的预测以及坐标放缩导致的像素误差问题；2、修正边界关键点避免了算错关键点连通区域数量的问题；3、对图片关键点重排序后，每个点都分布在图片中相对固定的区域，该操作减小了网络的学习难度，使网络能较快收敛并且起到一定减小误差的效果；4、另外重排序后减小了关键点重叠区域，从语义上降低了模糊性从而使模型预测结果得到了显著的提升。附图说明图1为一种基于关键点热图修正的房间布局估计获取方法的方法步骤图；图2为一种基于关键点热图修正的房间布局估计获取系统的系统结构图；图3为房间类型关键点图；图4为房间类型关键点图。具体实施方式以下是本专利技术的具体实施例并结合附图，对本专利技术的技术方案作进一步的描述，但本专利技术并不限于这些实施例。实施例一基于目前神经网络获取到的关键点热图，我们可以了解到其边界关键点通常会预测在距离边界几十个像素的位置，导致在根据房间类型获取关键点热图的连接关系时得到错误的连通区域数量，对模型的最终表现有很大的影响，其次在对神经网络进行训练时使用到的数据集，在进行数据集扩充时水平翻转了数据集图片，这些操作均可导致数据集图片数据不精准，为了解决这些问题，提升模型精准度，如图1所示，本专利技术提出了一种基于关键点热图修正的房间布局估计获取方法，具体通过下述步骤实现：神经网络模型的训练方法，具体包括步骤：S01：获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；所述步骤S01中重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。需要说明的是，首先，对翻转后的图片关键点重排序后，每个点都分布在图片中相对固定的区域，该操作减小了神经网络的学习难度，使网络能较快收敛并且起到一定减小误差的效果，其次，降低了关键点误差、逐像素的计算误差，提升了数据集图片的精准度。另外重排序后减小了关键点重叠区域，从语义上降低了模糊性从而使模型预测结果得到了显著的提升。S02：根据扩充后的数据集训练神经网络模型。S1：接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；S2：根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；需要说明的是，边界关键点为图片最外围的点，参见图3中的点2、4、6、8，图4中的点2、3、5、6，该图3、图4中的点均为房间类型的关键点，每一个不同类型的房间都可以被视为一个立方体盒子，按照特定顺序将这些顶点连接起来就可以得出正确的房间布局估计。S3：获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；所述步骤S3中的修正方法包括步骤：S31：根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；S32：获取垂直距离最小的关键点热图边界线并作为修正边界线；S33：以修正边界线的垂直方向为目标方本文档来自技高网...

【技术保护点】
1.一种基于关键点热图修正的房间布局估计获取方法，其特征在于，包括步骤：/nS1：接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；/nS2：根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；/nS3：获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；/nS4：根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。/n

【技术特征摘要】
1.一种基于关键点热图修正的房间布局估计获取方法，其特征在于，包括步骤：
S1：接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；
S2：根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；
S3：获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；
S4：根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。


2.根据权利要求1所述的基于关键点热图修正的房间布局估计获取方法，其特征在于，所述步骤S1前还包括神经网络模型的训练方法，具体包括步骤：
S01：获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；
S02：根据扩充后的数据集训练神经网络模型。


3.根据权利要求2所述的基于关键点热图修正的房间布局估计获取方法，其特征在于，所述步骤S01中重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。


4.根据权利要求1所述的基于关键点热图修正的房间布局估计获取方法，其特征在于，
所述步骤S3中的修正方法包括步骤：
S31：根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；
S32：获取垂直距离最小的关键点热图边界线并作为修正边界线；
S33：以修正边界线的垂直方向为目标方向移动边界关键点至修正边界线上...

【专利技术属性】
技术研发人员：文世挺，王傲鹏，高云君，庞超逸，
申请(专利权)人：浙大宁波理工学院，
类型：发明
国别省市：浙江;33