基于深度学习的图像识别方法技术

本发明专利技术涉及一种基于深度学习的图像识别方法，包括：S1、获取待识别的户型图的角点信息和字符信息，并将所述角点信息输入到二次规划模型中，获取墙线和门窗的连接信息；所述二次规划模型预先建立的、包括多个对应角点连接规则、墙线与门窗的位置关系的约束条件的模型；S2、将所述墙线和门窗的连接信息输入到图论优化模型中，获取所述户型图中各房间区域的区域构成信息；所述图论优化模型为预先建立的，基于图论知识改进的Graham算法模型；S3、将所述字符信息和所述区域构成信息进行匹配，获取识别结果。解决了现有技术中户型图识别结果精度不高，识别过程计算复杂且扩展性差的问题。

【技术实现步骤摘要】
基于深度学习的图像识别方法
本专利技术涉及图像处理
，尤其涉及一种基于深度学习的图像识别方法。
技术介绍
在智能家装设计领域，随着互联网技术与人工智能技术的飞速发展，各种线上体验需求激增，不管是在自动布局方面，还是三维重建方面，户型图元素自动提取都具有重要的现实意义。建筑平面户型图中信息的理解可以准确地表达真实场景的几何和语义信息，这些几何和语义信息通常包括：房间的区域信息、门窗的位置以及对象的几何布置信息；为此，对平面户型图中几何、语义信息的识别成为当前研究的热点。户型图中信息的理解可以通过人工标注的方法也可以通过图像自动识别技术；人工标注的方法通常是采用纯人工的方法或者简单的借助一些制图工具，工作效率极其低下，浪费大量的人力、物力资源，远远不能满足批量化生产的任务。现有技术中提供两种自动识别户型图的方法，第一种是采用传统的opencv模型检测户型图中直线的方法来识别，第二种是采用深度学习技术。第一种方法的缺点是精确度低，并且无法同时识别多种类型的户型图，通常需要手动调整一些超参数才能识别，通用性差；第二种方法的深度学习技术当前最流行的图像识别技术，但是目前应用在户型图识别方面的算法还是有所欠缺，户型图识别之前需要对户型图做大量的预处理工作，算法对户型图本身的质量要求过高；同时由于技术单一直接导致识别算法实时性差、硬件要求高、可扩展性不强，精确度无法满足用户的使用需求。
技术实现思路
(一)要解决的技术问题鉴于现有技术的上述缺点、不足，本专利技术提供一种基于深度学习的图像识别方法，其解决了现有技术中户型图识别结果精度不高，识别过程计算复杂且扩展性差的问题。(二)技术方案为了达到上述目的，本专利技术采用的主要技术方案包括：第一方面，本专利技术实施例提供一种基于深度学习的图像识别方法。S1、获取待识别的户型图的角点信息和字符信息，并将所述角点信息输入到二次规划模型中，获取墙线和门窗的连接信息；所述二次规划模型为预先建立的、包括多个对应角点连接规则、墙线与门窗的位置关系的约束条件的模型；S2、将所述墙线和门窗的连接信息输入到图论优化模型中，获取所述户型图中各房间区域的区域构成信息；所述图论优化模型为预先建立的，基于图论知识改进的Graham算法模型；S3、将所述字符信息和所述区域构成信息进行匹配，获取识别结果。可选地，所述S1中的获取待识别的户型图的角点信息，包括：将待识别的户型图输入训练好的神经网络中，获取角点信息；所述神经网络为预先采用标注的户型图数据进行训练获得的网络。可选地，所述角点信息包括：墙线的角点类型、门窗的角点类型以及角点位置信息；和/或，所述识别结果包括：户型图中房间的区域构成、房间名称、房间面积大小、门和窗的位置、比例尺信息。可选地，所述S1中的获取待识别的户型图的字符信息，包括：基于OCR识别技术识别所述待识别的户型图中的字符信息。可选地，所述墙线和门窗的连接信息包括：构成墙线的两个角点之间的连线关系、构成门或窗的两个角点之间的连线关系；对应角点连接规则的约束条件包括：如果两个角点中包含的若干个方向有相互指向的两个方向出现，则能够连接，否则不能连接；如果两个角点连线方向近似于预定义的四种直线中的任何一种则能够连接，否则不能连接；对应墙线与门窗的位置关系的约束条件包括：门或窗的角点连接结果必须在墙线上，否则调整墙线连接关系或者调整门窗连接关系，最终连接结果要保证门和窗必须在墙线上面。可选地，所述区域构成信息包括：构成房间顺时针或逆时针墙线的起点和终点的点集合、门窗的起点信息、门窗的终点信息、门窗的分类信息。可选地，所述S1之前，还包括：建立包括多个墙线、门窗、角点的约束条件的二次规划模型和建立图论优化模型。可选地，所述S1中将所述角点信息输入到二次规划模型中，获取墙线和门窗的连接信息包括：将神经网络输出的角点信息输入到预先定义的二次规划模型中，借助于二次规划模型中的损失函数进行迭代优化，获得输出的墙线和门窗的连接信息；其中，损失函数的自变量对应约束条件中的角点变量和角点之间的连接关系，存在连接关系，则定义为1，否则定义为0；迭代优化的过程就是不断调整墙线和门窗的连接方式的过程，以保证损失函数最小；和/或，所述S2包括：基于墙线和门窗的连接信息，抽象墙线和门窗的连接关系，将墙线和门窗的起点、终点作为顶点；改进Graham算法，在顶点中加入点与点之间的连接关系，并定义新的搜索规则，构成改进后的Graham算法；将抽象的墙线和门窗的连接关系、顶点输入到改进后的Graham算法，获得搜索的户型图中各房间区域的区域构成信息；区域构成信息包括：房间区域的坐标点信息和门窗的起点、终点信息以及门窗的分类信息。第二方面，本专利技术还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于深度学习的图像识别方法的步骤。第三方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面任一项所述的基于深度学习的图像识别方法的步骤。(三)有益效果本专利技术的有益效果是：本专利技术的方法借助于神经网络获取户型图中墙线和门窗的角点信息，对角点信息进行二次规划得到墙线和门窗的连接信息，把连接信息进行图论线性规划得到具体的区域信息、门窗的起点和终点信息，最后结合户型图的区域信息和OCR识别出来的字符信息做优化匹配，可较好的获得识别结果，节约了大量的人工成本，完全满足实时性要求，最重要的是准确率得到了极大的提高。在本申请中，采用深度学习技术、二次规划模型、图论线性优化模型和OCR识别等一系列技术，首先，结合注意力机制搭建深层次神经网络模型，通过对大量标注数据进行训练得到神经网络模型，进而对未知的户型图直接输入训练后的神经网络模型预测出户型图角点类型；其次，把神经网络识别出来的角点类型全部输入定义好的二次规划模型，通过二次规划模型的优化理论得到角点之间的连接信息；再次通过图论优化模型中大量图论知识对角点之间的连接信息进行区域分类，得到包括区域分类结果、门窗信息的区域构成信息；最后，通过OCR识别技术识别出未知户型图中的字符信息，再结合前面获取的区域构成信息进行位置和区域名称匹配。本实施例的识别方法可以识别各种角点类型的户型图，其角点类型可以在神经网络模型训练阶段实现扩充，进而在应用中具有很强的扩展性。也就是说，方便角点类型的扩充，可以用来识别各种类型的角点类型(如直线角点、斜线角点)，同时可以识别不同风格类型的户型图。需要说明的是，训练神经网络时采用注意力机制模型，由此，提取角点特征能力更强，最终识别准确率得到很大提高。上述的二次规划模型由一系本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像识别方法，其特征在于，包括：/nS1、获取待识别的户型图的角点信息和字符信息，并将所述角点信息输入到二次规划模型中，获取墙线和门窗的连接信息；/n所述二次规划模型为预先建立的、包括多个对应角点连接规则、墙线与门窗的位置关系的约束条件的模型；/nS2、将所述墙线和门窗的连接信息输入到图论优化模型中，获取所述户型图中各房间区域的区域构成信息；/n所述图论优化模型为预先建立的，基于图论知识改进的Graham算法模型；/nS3、将所述字符信息和所述区域构成信息进行匹配，获取识别结果。/n

【技术特征摘要】
1.一种基于深度学习的图像识别方法，其特征在于，包括：
S1、获取待识别的户型图的角点信息和字符信息，并将所述角点信息输入到二次规划模型中，获取墙线和门窗的连接信息；
所述二次规划模型为预先建立的、包括多个对应角点连接规则、墙线与门窗的位置关系的约束条件的模型；
S2、将所述墙线和门窗的连接信息输入到图论优化模型中，获取所述户型图中各房间区域的区域构成信息；
所述图论优化模型为预先建立的，基于图论知识改进的Graham算法模型；
S3、将所述字符信息和所述区域构成信息进行匹配，获取识别结果。


2.根据权利要求1所述的方法，其特征在于，所述S1中的获取待识别的户型图的角点信息，包括：
将待识别的户型图输入训练好的神经网络中，获取角点信息；
所述神经网络为预先采用标注的户型图数据进行训练获得的网络。


3.根据权利要求2所述的方法，其特征在于，所述角点信息包括：
墙线的角点类型、门窗的角点类型以及角点的位置信息；
和/或，
所述识别结果包括：户型图中房间的区域构成、房间名称、房间面积大小、门和窗的位置、比例尺信息。


4.根据权利要求1所述的方法，其特征在于，所述S1中的获取待识别的户型图的字符信息，包括：
基于OCR识别技术识别所述待识别的户型图中的字符信息。


5.根据权利要求1所述的方法，其特征在于，
所述墙线和门窗的连接信息包括：构成墙线的两个角点之间的连线关系、构成门或窗的两个角点之间的连线关系；
对应角点连接规则的约束条件包括：
如果两个角点中包含的若干个方向有相互指向的两个方向出现，则能够连接，否则不能连接；
如果两个角点连线方向近似于预定义的四种直线中的任何一种则能够连接，否则不能连接；
对应墙线与门窗的位置关系的约束条件包括：
门或窗的角点连接结果必须在墙线上，否则调整墙线连接关系或者调整门窗连接关系，最终连接结果要保证门...

【专利技术属性】
技术研发人员：陈文栋，刘川，
申请(专利权)人：北京比邻弘科科技有限公司，
类型：发明
国别省市：北京;11