基于人机互动、多模态感知和户型理解的户型三维重建方法及系统技术方案

本发明专利技术提供一种基于人机互动、多模态感知和户型理解的户型三维重建方法及系统，该方法通过对户型室内场景进行多维度下的采集数据，形成室内空间三维点云数据；将采集的室内空间三维点云数据与户型分类库的户型模板匹配，获得匹配的户型模板；结合人机互动，对得到的匹配的户型模板，进行编辑与自适应修正，得到重建的户型图；将采集的色彩、敲击反馈声波、用户语音以及触摸反馈数据，进行多模态户型数据融合与映射，填充到户型地图；对多模态信息进行高维语义识别，重建出含高维语义的多模态三维户型；本发明专利技术与现有技术相比，能够构建精确的多模态三维户型，并具有更多的高维语义信息，为用户提供信息更准确更全面的三维户型。为用户提供信息更准确更全面的三维户型。为用户提供信息更准确更全面的三维户型。

【技术实现步骤摘要】
基于人机互动、多模态感知和户型理解的户型三维重建方法及系统


[0001]本专利技术涉及一种基于人机互动、多模态感知和户型理解的户型三维重建方法及系统，属于计算机图形


技术介绍

[0002]户型三维展示相对于二维平面图，可以更直观立体地展示室内结构、布局等，让用户更加清晰明了，并快速了解户型信息。但是，目前生成的三维户型的构建不够精确、语义信息少、不全面等问题。
[0003]随着3D数据采集技术的发展，可获取大量的室内房屋点云数据用于户型图的重建，为后续的户型拆改、家具放置等处理提供基础。但是，现有技术通常是通过激光雷达或深度相机获取室内场景的点云信息，在视觉层面进行户型图重建，因此重建的信息只包含通过视觉感知获取的几何形状、颜色等信息，缺乏更多的语义信息，难以满足越来越多样化的市场需求。
[0004]例如，中国专利CN107452055A公开的一种三维户型图生成方法及装置，同样存在构建不够精确、语义信息少的问题。
[0005]上述问题是在基于人机互动、多模态感知和户型理解的户型三维重建过程中应当予以考虑并解决的问题。

技术实现思路

[0006]本专利技术的目的是提供一种基于人机互动、多模态感知和户型理解的户型三维重建方法及系统，解决现有技术中存在的的三维户型的构建不够精确、语义信息少的问题。
[0007]本专利技术的技术解决方案是：
[0008]一种基于人机互动、多模态感知和户型理解的户型三维重建方法，包括以下步骤，
[0009]S1、对户型室内场景进行多维度下的采集数据，包括室内户型的空间结构数据、室内场景颜色数据、墙面敲击声波数据、用户语音信号数据以及墙面触觉信号数据，并将采集数据形成室内空间三维点云数据；
[0010]S2、将采集的室内空间三维点云数据与户型分类库的户型模板匹配，获得匹配的户型模板；
[0011]S3、结合人机互动，对得到的匹配的户型模板，进行编辑与自适应修正，得到重建的户型图；
[0012]S4、将步骤S1采集的色彩、敲击反馈声波、用户语音以及触摸反馈数据，进行多模态户型数据融合与映射，填充到步骤S3得到的重建的户型图；
[0013]S5、对多模态信息进行高维语义识别，重建出含高维语义的多模态三维户型。
[0014]进一步地，步骤S1中，将采集数据形成室内空间三维点云数据，具体为，
[0015]S11、采集室内户型的空间结构数据包括室内空间的拓扑、几何形状，得到空间结
构的三维点云数据L＝(X,Y,Z)；
[0016]S12、采集室内场景颜色数据C＝(r,g,b)后，其中，r、g、b为RGB值色彩信息；
[0017]S13、采用墙面敲击声波采集装置，收集沿室内墙面遍历一周的墙面敲击声波数据，记录对应位置下的声波信息S＝(s1,s2,s3)，其中，s1,s2,s3分别为振动频率、振幅、频谱信息；
[0018]S14、收集用户语音信号数据V；
[0019]S15、采集墙面触觉信号数据F，包括触摸墙面时的压力、振动、温度、摩擦力信息，用符号F＝(f1,f2,f3,f4)表示；
[0020]S16、对步骤S11
‑
S15分别采集的空间结构的三维点云数据L、室内场景颜色数据C、声波信息S、用户语音信号数据V和墙面触觉信号数据F，进行配准融合，形成室内空间三维点云数据，表示为(L；C；S；V；F)。
[0021]进一步地，S161、粗配准阶段中，对点云进行滤波后，标识点云中的若干特征区域R，再标识源点云A、目标点云B中特征区域的配对关系R，再标识源点云A、目标点云B中特征区域的配对关系计算特征区域中的特征点的局部特征，特征点配对时只在配对的特征区域之内进行，即中的特征点配对时只与中的特征点比较，不会与且j≠i，的特征点进行比较，然后从配对的区域中随机采样特征点，迭代计算刚性变换矩阵，选择误差最小的变换矩阵；
[0022]S162、精配准阶段中采用ICP算法，根据距离原则确定点对，根据误差最小原则确定目标函数，求解刚性变换，逐步迭代更新刚性变换矩阵，直到达到迭代次数或者误差收敛到设定范围；多个采集模块采集的信息配准融合后得到统一坐标系下的点云模型，表示为(L；C；S；V；F)。
[0023]进一步地，步骤S2中，将采集的室内空间三维点云数据与户型分类库的户型模板匹配，获得匹配的户型模板，具体为，
[0024]S21、结合户型图识别和户型理解，对离线户型数据按照空间拓扑关系进行聚类，形成户型分类库；
[0025]S22、构造基于点云的户型分类器，将采集的室内空间三维点云数据输入户型分类器，得到对应的户型类别，将户型分类库中该户型类别对应的户型模板作为匹配的户型模板。
[0026]进一步地，步骤S22中，构造基于点云的户型分类器，具体为，
[0027]S221、户型分类库中的户型数据增加高度信息，通过逆向工程生成户型的点云数据，并得到含类别标签的数据集，即数据集中每个数据由<户型的点云，类别标签>构成；
[0028]S222、利用数据集训练深度神经网络获得基于点云的户型分类器CL，实现预测点云的户型类别功能C＝CL(I)，即输入一个户型的点云I，预测该户型所属的类别标签C。
[0029]进一步地，步骤S3中，结合人机互动，对得到的匹配的户型模板，进行编辑与自适应修正，得到重建的户型图，具体为，
[0030]S31、将墙线集合划分成三个子集：长度固定不变墙线集W
f
、待人工修正长度墙线集W
e
、自适应更新长度墙线集W
a
；
[0031]S32、人工编辑W
e
中的墙线的长度；
[0032]S33、对自适应更新长度墙线集W
a
中的墙线长度自适应调整，长度固定不变墙线集W
f
中墙线对应平移，保持拓扑形状和空间封闭，得到重建的户型图。
[0033]进一步地，步骤S4中，进行多模态户型数据融合与映射，填充到步骤S3得到的重建的户型图，具体为，
[0034]S41、计算点云的法线信息，将点云沿着这个高度进行切片，投影到平面上，得到点云切片的平面投影；
[0035]S42、将平面投影与重建的户型图变换到同一个坐标系下，将点云切片投影中的点按照法线方向和距离进行聚类，分割出来不同的点集，一个点集对应一条墙线；
[0036]S43、建立重建的户型图中的墙线到点云中表示该墙线的点集的索引；
[0037]S44、将点云点集中表示颜色、墙面敲击反馈音、触觉的信息分离出来，按比例映射到户型图的墙线中，并将语音信息映射到对应的整个墙线，使得户型图中的墙线包含多维度的信息。
[0038]进一步地，步骤S5中，对多模态信息进行高维语义识别，重建出含高维语义的多模态三维户型，具体为，
[0039]S51、利用矢量房间平面图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人机互动、多模态感知和户型理解的户型三维重建方法，其特征在于：包括以下步骤，S1、对户型室内场景进行多维度下的采集数据，包括室内户型的空间结构数据、室内场景颜色数据、墙面敲击声波数据、用户语音信号数据以及墙面触觉信号数据，并将采集数据形成室内空间三维点云数据；S2、将采集的室内空间三维点云数据与户型分类库的户型模板匹配，获得匹配的户型模板；S3、结合人机互动，对得到的匹配的户型模板，进行编辑与自适应修正，得到重建的户型图；S4、将步骤S1采集的颜色、敲击反馈声波、用户语音以及墙面触觉信号数据，进行多模态户型数据融合与映射，填充到步骤S3得到的重建的户型图；S5、对多模态信息进行高维语义识别，重建出含高维语义的多模态三维户型。2.如权利要求1所述的基于人机互动、多模态感知和户型理解的户型三维重建方法，其特征在于：步骤S1中，将采集数据形成室内空间三维点云数据，具体为，S11、采集室内户型的空间结构数据包括室内空间的拓扑、几何形状，得到空间结构的三维点云数据L＝(X,Y,Z)；S12、采集室内场景颜色数据C＝(r,g,b)后，其中，r、g、b为RGB值色彩信息；S13、采用墙面敲击声波采集装置，收集沿室内墙面遍历一周的墙面敲击声波数据，记录对应位置下的声波信息S＝(s1,s2,s3)，其中，s1,s2,s3分别为振动频率、振幅、频谱信息；S14、收集用户语音信号数据V；S15、采集墙面触觉信号数据F，包括触摸墙面时的压力、振动、温度、摩擦力信息，用符号F＝(f1,f2,f3,f4)表示；S16、对步骤S11
‑
S15分别采集的空间结构的三维点云数据L、室内场景颜色数据C、声波信息S、用户语音信号数据V和墙面触觉信号数据F，进行配准融合，形成室内空间三维点云数据，表示为(L；C；S；V；F)。3.如权利要求2所述的基于人机互动、多模态感知和户型理解的户型三维重建方法，其特征在于：步骤S16中，进行配准融合，具体为，S161、粗配准阶段中，对点云进行滤波后，标识点云中的若干特征区域R，再标识源点云A、目标点云B中特征区域的配对关系计算特征区域中的特征点的局部特征，特征点配对时只在配对的特征区域之内进行，即中的特征点配对时只与中的特征点比较，不会与且j≠i，的特征点进行比较，然后从配对的区域中随机采样特征点，迭代计算刚性变换矩阵，选择误差最小的变换矩阵；S162、精配准阶段中采用ICP算法，根据距离原则确定点对，根据误差最小原则确定目标函数，求解刚性变换，逐步迭代更新刚性变换矩阵，直到达到迭代次数或者误差收敛到设定范围；多个采集模块采集的信息配准融合后得到统一坐标系下的点云模型，表示为(L；C；S；V；F)。4.如权利要求1所述的基于人机互动、多模态感知和户型理解的户型三维重建方法，其特征在于：步骤S2中，将采集的室内空间三维点云数据与户型分类库的户型模板匹配，获得
匹配的户型模板，具体为，S21、结合户型图识别和户型理解，对离线户型数据按照空间拓扑关系进行聚类，形成户型分类库；S22、构造基于点云的户型分类器，将采集的室内空间三维点云数据输入户型分类器，得到对应的户型类别，将户型分类库中该户型类别对应的户型模板作为匹配的户型模板。5.如权利要求4所述的基于人机互动、多模态感知和户型理解的户型三维重建方法，其特征在于：步骤S22中，构造基于点云的户型分类器，具体为，S221、户型分类库中的户型数据增加高度信息，通过逆向工程生成户型的点云数据，并得到含类别标签的数据集，即数据集中每个数据由<户型的点云，类别标签>构成；S222、利用数据集训练深度神经网络获得基于点云的户型分类器CL，实现预测点云的户型类别功能C＝CL(I)，即输入一个户型的点云I，预测该户型所属的类别标签C。6.如权利要求1
‑
5任一项所述的基于人机互动、多模态感知和户型理解的户型三维重建方法，其特征在于：步骤S3中，结合人机互动，对得到的匹配的户型模板，进行编辑与自适应修正，得到重建的户型图，具体为，S31、将墙线集合划分成三个子集：长度固定不变墙线集W
f
、待人工修正长度墙线集W
e
、自适应更新长度墙线集W
a<...

【专利技术属性】
技术研发人员：罗松，骆晓娟，朱召文，
申请(专利权)人：江苏艾佳家居用品有限公司，
类型：发明
国别省市：