结构图的内容识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种结构图的内容识别方法，对目标结构图片进行结构识别，识别出所述目标结构图片中的m个图形器单元和n个文本框，其中，m和n均为正整数；对所述目标结构图片进行文本识别，得到n个文本信息，其中，n为正整数；将所述m个图形器单元、所述n个文本框和所述n个文本信息进行匹配，得到所述目标结构图片中的目标结构图。本发明专利技术公开的结构图的内容识别方法、装置及电子设备，能够对结构图片中的结构图进行还原，且能够提高还原效率。且能够提高还原效率。且能够提高还原效率。

【技术实现步骤摘要】
结构图的内容识别方法、装置、电子设备及存储介质


[0001]本专利技术涉及图像处理
，特别涉及一种结构图的内容识别方法、装置及电子设备。

技术介绍

[0002]随着互联网技术的飞速发展，为了提高展示效果，通常是将各种结构图以图片的方式进行展示，使得用户的体验更好。
[0003]但是在结构图以图片的方式进行展示时，若需要获取图片中的内容，通常是对图片中的结构图中的图形器和文本进行分类检测，以提取到结构图中的图形器和文本，但两者之间的关联关系无法识别。
[0004]如此，亟需一种能够还原图片中的结构图的方法。

技术实现思路

[0005]本专利技术实施例提供一种结构图的内容识别方法、装置及电子设备，能够对结构图片中的结构图进行还原，且能够提高还原效率。
[0006]本专利技术实施例第一方面提供一种结构图的内容识别方法，所述方法包括：
[0007]对目标结构图片进行结构识别，识别出所述目标结构图片中的m个图形器单元和n个文本框，其中，m和n均为正整数；
[0008]对所述目标结构图片进行文本识别，得到n个文本信息，其中，n为正整数；
[0009]将所述m个图形器单元、所述n个文本框和所述n个文本信息进行匹配，得到所述目标结构图片中的目标结构图。
[0010]可选的，所述对目标结构图片进行结构识别，识别出所述目标结构图片中的m个图形器单元和n个文本框，包括：
[0011]通过预先训练的深度学习模型对所述目标结构图片进行结构识别，识别出所述m个图形器单元和n个文本框，其中，每个图形器单元包括图形器形状和图形位置。
[0012]可选的，每个所述图形器单元还包括与所述图形器形状对应的图形颜色，每个所述文本框包括文本类别。
[0013]可选的，所述深度学习模型的训练步骤，包括：
[0014]获取训练样本集，所述训练样本集中每个训练样本包括训练结构图片，及所述训练结构图片中的图形标注信息和文本框标注信息，所述图形标注信息包括图形器形状和图形位置；
[0015]利用所述每个训练结构图片、所述每个训练结构图片中的所述图形标注信息和所述文本框标注信息进行模型训练，得到所述深度学习模型。
[0016]可选的，所述对所述目标结构图片进行文本识别，得到n个文本信息，包括：
[0017]通过文字识别方法对所述目标结构图片进行文本识别，得到所述n个文本信息，其中，每个文本信息还包括文本类别。
[0018]可选的，所述将所述m个图形器单元、所述n个文本框和所述n个文本信息进行匹配，得到所述目标结构图片中的目标结构图，包括：
[0019]获取所述n个文本信息和所述n个文本框的文本对应关系；
[0020]获取所述n个文本框和所述m个图形器单元的位置对应关系；
[0021]根据所述文本对应关系和所述位置对应关系，得到所述目标结构图。
[0022]本专利技术实施例第二方面还提供一种结构图的内容识别装置，所述装置包括：
[0023]结构识别单元，用于对目标结构图片进行结构识别，识别出所述目标结构图片中的m个图形器单元和n个文本框，其中，m和n均为正整数；
[0024]文本识别单元，用于对所述目标结构图片进行文本识别，得到n个文本信息，其中，n为正整数；
[0025]匹配单元，用于将所述m个图形器单元、所述n个文本框和所述n个文本信息进行匹配，得到所述目标结构图片中的目标结构图。
[0026]可选的，所述结构识别单元，用于通过预先训练的深度学习模型对所述目标结构图片进行结构识别，识别出所述m个图形器单元和n个文本框，其中，每个图形器单元包括图形器形状和图形位置。
[0027]可选的，所述文本识别单元，用于通过文字识别方法对所述目标结构图片进行文本识别，得到所述n个文本信息，其中，每个文本信息还包括文本类别。
[0028]本专利技术实施例第三方面提供了一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上的程序存储于存储器中，且经配置以由一个或者一个以上的处理器执行所述一个或者一个以上的程序所包含的用于进行如第一方面提供的结构图的内容识别方法对应的操作指令。
[0029]本专利技术实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的结构图的内容识别方法对应的步骤。
[0030]本申请实施例中的上述一个或至少一个技术方案，至少具有如下技术效果：
[0031]基于上述技术方案，对目标结构图片进行结构识别，识别出所述目标结构图片中的m个图形器单元和n个文本框；对所述目标结构图片进行文本识别，得到n个文本信息；将所述m个图形器单元、所述n个文本框和所述n个文本信息进行匹配，得到所述目标结构图片中的目标结构图。如此可知，可以将文本信息和文本框进行匹配，再根据文本框与图形器单元的对应关系，将图形器单元与文本信息相互关联。进而将目标结构图片中的结构图进行还原得到目标结构图，确保了还原的准确性和还原效率。
附图说明
[0032]图1为本申请实施例提供的一种结构图的内容识别方法的流程示意图；
[0033]图2为本申请实施例提供的深度学习模型训练步骤的流程示意图；
[0034]图3a为本申请实施例提供的目标结构图片的整体结构图；
[0035]图3b为对3a进行结构提取得到n个文本框的结构示意图；
[0036]图3c为对3a进行结构提取得到m个图形器单元的结构示意图；
[0037]图4为本申请实施例提供的一种结构图的内容识别装置的方框图；
[0038]图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0039]下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
[0040]实施例
[0041]请参考图1，本申请实施例提供一种结构图的内容识别方法，所述方法包括：
[0042]S101、对目标结构图片进行结构识别，识别出所述目标结构图片中的m个图形器单元和n个文本框，其中，m和n均为正整数；
[0043]S102、对所述目标结构图片进行文本识别，得到n个文本信息，其中，n为正整数；
[0044]S103、将所述m个图形器单元、所述n个文本框和所述n个文本信息进行匹配，得到所述目标结构图片中的目标结构图。
[0045]本说明书实施例中，目标结构图片可以是包含了流程图和思维导图等结构图的图片；本说明书实施例提供的识别方法可以应用在服务器中，也可以应用在用户终端中，其中，服务器例如可以台式电脑、笔记本电脑和一体机等，用户终端例如可以是台式电脑、笔记本电脑、一体机、平板电脑和智能手机等。
[0046]其中，在步骤S101中，首先获取目标结构图片，再对目标结构图片进行结构识别，识别出m个图形器单元和n个文本框，其中，m例如可以为1、2、4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结构图的内容识别方法，其特征在于，所述方法包括：对目标结构图片进行结构识别，识别出所述目标结构图片中的m个图形器单元和n个文本框，其中，m和n均为正整数；对所述目标结构图片进行文本识别，得到n个文本信息，其中，n为正整数；将所述m个图形器单元、所述n个文本框和所述n个文本信息进行匹配，得到所述目标结构图片中的目标结构图。2.如权利要求1所述的方法，其特征在于，所述对目标结构图片进行结构识别，识别出所述目标结构图片中的m个图形器单元和n个文本框，包括：通过预先训练的深度学习模型对所述目标结构图片进行结构识别，识别出所述m个图形器单元和n个文本框，其中，每个图形器单元包括图形器形状和图形位置。3.如权利要求2所述的方法，其特征在于，每个所述图形器单元还包括与所述图形器形状对应的图形颜色，每个所述文本框包括文本类别。4.如权利要求3所述的方法，其特征在于，所述深度学习模型的训练步骤，包括：获取训练样本集，所述训练样本集中每个训练样本包括训练结构图片，及所述训练结构图片中的图形标注信息和文本框标注信息，所述图形标注信息包括图形器形状和图形位置；利用所述每个训练结构图片、所述每个训练结构图片中的所述图形标注信息和所述文本框标注信息进行模型训练，得到所述深度学习模型。5.如权利要求4所述的方法，其特征在于，所述对所述目标结构图片进行文本识别，得到n个文本信息，包括：通过文字识别方法对所述目标结构图片进行文本识别，得到所述n个文本信息，其中，每个文本信息还包括文本类别。6.如权利要求5所述的方法，其特征在于，所述将所述m个图形器单元、所述n个文本框和所述n个文本信息进行匹配，得到所述目标结构图片中的目标结构图，包括：获取所述n个文本信息和所述n个文本框的文本对应关系；获取所述n个文本框和所述m个图形...

【专利技术属性】
技术研发人员：赵志勇，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：