基于多模态户型知识图谱的布局搜索方法及系统技术方案

本发明专利技术公开了基于多模态户型知识图谱的布局搜索方法及系统，方法包括：获取若干个户型的多模态户型信息；将户型图像重构为户型图纸和房间图纸并编码，生成编码数据；根据户型图像确定户型中每个房间的功能类型和家具分布；按照多模态户型知识图谱的形式组织户型数据；通过多模态神经网络，对多模态户型知识图谱中的各个户型的户型数据各自进行信息融合，生成各个户型布局的第一高维编码信息；根据用户输入的待匹配户型信息，在多模态户型知识图谱中进行标签信息匹配或者高维编码信息匹配，得到目标户型布局集合

【技术实现步骤摘要】
基于多模态户型知识图谱的布局搜索方法及系统


[0001]本专利技术涉及计算机
，尤其涉及基于多模态户型知识图谱的布局搜索方法及系统
。

技术介绍

[0002]一般设计师在考虑房间布局时，首先要测量房间尺寸，根据功能选择合适的家具，确保流线型布局
、
平衡对称和非对称元素，选定主要家具位置，保持家具尺寸与房间比例协调，创造视觉焦点，协调颜色和风格，充分利用墙面空间，避免阻挡光线，考虑多功能家具，通过试验和调整确保布局的实用性和美感
。
[0003]户型布局搜索作为用户在特定户型中设计家具摆放的方法，不仅涉及户型设计图纸的各类图形信息，还涉及各类标签
、
描述等户型本身自带的各种文本信息
。
一般的户型识别往往只着眼于图纸中所涵盖的数据，忽视类似户型风格
、
位置
、
朝向等额外信息，导致在部分场景中无法与用户需求完全匹配
。
现有技术一般以标签筛选的方式对额外信息进行处理，往往由于收集的户型数据分布不均，在长尾场景中可能遇到没有合适候选户型的情况
。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一
。
为此，本专利技术提出一种搜索结果合理
、
搜索准确性高的基于多模态户型知识图谱的布局搜索方法及系统
。
[0005]一方面，本专利技术实施例提供了基于多模态户型知识图谱的布局搜索方法，包括：
[0006]获取若干个户型的多模态户型信息；其中，所述多模态户型信息包括标签信息
、
户型图像和户型属性介绍；
[0007]将所述户型图像重构为户型图纸和房间图纸并编码，生成编码数据；
[0008]根据所述户型图像确定所述户型中每个房间的功能类型和家具分布；
[0009]按照多模态户型知识图谱的形式组织户型数据；其中，所述户型数据包括所述多模态户型信息
、
所述编码数据
、
所述功能类型和所述家具分布；所述多模态户型知识图谱具有依次为小区
、
户型
、
房间和家具的四层实体结构；
[0010]通过多模态神经网络，对所述多模态户型知识图谱中的各个所述户型的户型数据各自进行信息融合，生成各个户型布局的第一高维编码信息；
[0011]根据用户输入的待匹配户型信息，在所述多模态户型知识图谱中进行标签信息匹配或者高维编码信息匹配，得到目标户型布局集合
。
[0012]可选地，所述将所述户型图像重构为户型图纸和房间图纸并编码，生成编码数据，包括：
[0013]对所述户型图像进行预处理；其中，所述预处理包括图像去噪
、
灰度化
、
二值化至少之一；
[0014]采用深度学习的特征检测算法识别所有户型图像中的第一轮廓线段；
[0015]从所述第一轮廓线段中确定表示门
、
窗和墙的目标轮廓线段；
[0016]根据所述目标轮廓线段的几何特征确定所述目标轮廓线段的方向
、
起始点和终止点；
[0017]将所述几何特征
、
所述方向
、
所述起始点和所述终止点作为户型轮廓特征；
[0018]将所述户型轮廓特征输入
SVG
绘制工具进行图像绘制并转换为标准的
PNG
图像，得到户型图纸；
[0019]根据所述户型轮廓特征，将所述户型图纸按照房间切分为若干个房间图纸；
[0020]采用深度学习模型的编码器，对所述户型图纸和所述房间图纸进行编码，得到编码数据
。
[0021]可选地，所述根据所述户型图像确定所述户型中每个房间的功能类型和家具分布，包括：
[0022]通过家具包围盒识别模型识别所述户型图像中的家具包围盒，得到识别结果；其中，所述家具包围盒包括家具的位置信息和边界信息；所述家具包围盒识别模型是基于卷积神经网络所构建的；
[0023]根据所述位置信息，将所述家具包围盒映射在户型图纸中；
[0024]采用分类器，根据所述识别结果确定房间中的家具数量和家具分布；
[0025]根据所述家具数量确定所述房间的功能类型
。
[0026]可选地，所述按照多模态户型知识图谱的形式组织户型数据，包括：
[0027]基于历史户型经验，构建四层实体结构的图数据库和向量数据库，形成多模态户型知识图谱数据库；其中，所述向量数据库通过索引的方式与所述图数据库关联；
[0028]将所述多模态户型信息中的全部文字以图的形式存储到所述图数据库中；
[0029]将所述编码数据存储到向量数据库中
。
[0030]可选地，所述通过多模态神经网络，对所述多模态户型知识图谱中的各个所述户型的户型数据各自进行信息融合，生成各个所述户型布局的第一高维编码信息，包括：
[0031]对所述多模态户型知识图谱进行随机游走处理，确定所述户型布局中各个实体的属性集合；
[0032]基于多模态神经网络的自注意力机制，对所述属性集合进行聚合处理，得到所述户型的第一高维编码信息
。
[0033]可选地，所述根据用户输入的待匹配户型信息，在所述多模态户型知识图谱中进行标签信息匹配或者高维编码信息匹配，得到目标户型布局集合，包括：
[0034]根据待匹配户型信息中的标签信息，在所述多模态户型知识图谱中索引搜索实体节点；
[0035]根据所述实体节点确定各类所述标签信息关联的实体范围；
[0036]对所有的所述布局实体范围取并集，得到符合标签范围内的所有第一户型布局；
[0037]当所述待匹配户型信息中包括轮廓图纸，则将所述待匹配户型编码信息转化为待匹配高维编码信息，与所有的所述第一户型布局进行高维编码匹配，并按照相似度计算欧式距离；
[0038]根据所述欧式距离的大小对所述第一户型布局进行排序，得到目标户型布局集合
。
[0039]可选地，所述根据用户输入的待匹配户型信息，在所述多模态户型知识图谱中进
行标签信息匹配或者高维编码信息匹配，得到目标户型布局集合，包括：
[0040]将所述待匹配户型信息按照多模态户型知识图谱的形式组织数据；
[0041]计算所述待匹配户型信息中每个实体的初始多模态编码；
[0042]通过多模态模型对所有的所述初始多模态编码进行迭代融合，得到待匹配高维编码信息；
[0043]计算所述待匹配高维编码信息与所述多模态户型知识图谱数据库中各个户型布局的第一高维编码信息的欧式距离；
[0044]根据所述欧式距离对所述户型布局进行排序，生成目标户型布局集合
。
[0045]可选地，所述初始多模态编码的计算公式为：
[0046]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于多模态户型知识图谱的布局搜索方法，其特征在于，包括：获取若干个户型的多模态户型信息；其中，所述多模态户型信息包括标签信息
、
户型图像和户型属性介绍；将所述户型图像重构为户型图纸和房间图纸并编码，生成编码数据；根据所述户型图像确定所述户型中每个房间的功能类型和家具分布；按照多模态户型知识图谱的形式组织户型数据；其中，所述户型数据包括所述多模态户型信息
、
所述编码数据
、
所述功能类型和所述家具分布；所述多模态户型知识图谱具有依次为小区
、
户型
、
房间和家具的四层实体结构；通过多模态神经网络，对所述多模态户型知识图谱中的各个所述户型的户型数据各自进行信息融合，生成各个户型布局的第一高维编码信息；根据用户输入的待匹配户型信息，在所述多模态户型知识图谱中进行标签信息匹配或者高维编码信息匹配，得到目标户型布局集合
。2.
根据权利要求1所述的基于多模态户型知识图谱的布局搜索方法，其特征在于，包括，所述将所述户型图像重构为户型图纸和房间图纸并编码，生成编码数据，包括：对所述户型图像进行预处理；其中，所述预处理包括图像去噪
、
灰度化
、
二值化至少之一；采用深度学习的特征检测算法识别所有户型图像中的第一轮廓线段；从所述第一轮廓线段中确定表示门
、
窗和墙的目标轮廓线段；根据所述目标轮廓线段的几何特征确定所述目标轮廓线段的方向
、
起始点和终止点；将所述几何特征
、
所述方向
、
所述起始点和所述终止点作为户型轮廓特征；将所述户型轮廓特征输入
SVG
绘制工具进行图像绘制并转换为标准的
PNG
图像，得到户型图纸；根据所述户型轮廓特征，将所述户型图纸按照房间切分为若干个房间图纸；采用深度学习模型的编码器，对所述户型图纸和所述房间图纸进行编码，得到编码数据
。3.
根据权利要求1所述的基于多模态户型知识图谱的布局搜索方法，其特征在于，所述根据所述户型图像确定所述户型中每个房间的功能类型和家具分布，包括：通过家具包围盒识别模型识别所述户型图像中的家具包围盒，得到识别结果；其中，所述家具包围盒包括家具的位置信息和边界信息；所述家具包围盒识别模型是基于卷积神经网络所构建的；根据所述位置信息，将所述家具包围盒映射在户型图纸中；采用分类器，根据所述识别结果确定房间中的家具数量和家具分布；根据所述家具数量确定所述房间的功能类型
。4.
根据权利要求1所述的基于多模态户型知识图谱的布局搜索方法，其特征在于，所述按照多模态户型知识图谱的形式组织户型数据，包括：基于历史户型经验，构建四层实体结构的图数据库和向量数据库，形成多模态户型知识图谱数据库；其中，所述向量数据库通过索引的方式与所述图数据库关联；将所述多模态户型信息中的全部文字以图的形式存储到所述图数据库中；将所述编码数据存储到向量数据库中
。
5.
根据权利要求1所述的基于多模态户型知识图谱的布局搜索方法，其特征在于，所述通过多模态神经网络，对所述多模态户型知识图谱中的各个所述户型的户型数据各自进行信息融合，生成各个所述户型布局的第一高维编码信息，包括：对所述多模态户型知识图谱进行随机游走处理，确定所述户型布局中各个实体的属性集合；基于多模态神经网络的自注意力机制，对所述属性集合进行聚合处理，得到所述户型的第一高维编码信息
。6.
根据权利要求1所述的基于多模态户型知识图谱的布局搜索方法...

【专利技术属性】
技术研发人员：柯建生，王兵，戴振军，陈学斌，
申请(专利权)人：广州极点三维信息科技有限公司，
类型：发明
国别省市：