思维导图识别方法、装置、设备、介质及程序产品制造方法及图纸

本申请实施例公开了一种思维导图识别方法、装置、设备、介质及程序产品，其中的方法包括：获取包含目标思维导图的目标图像；响应于针对目标思维导图的还原操作，在目标图像中显示目标思维导图中的预测根节点；响应于对预测根节点的确认操作，输出目标思维导图，目标思维导图处于可编辑状态。采用本申请实施例能够自动识别出思维导图中的根节点，提高思维导图还原的智能性和准确性。还原的智能性和准确性。还原的智能性和准确性。

【技术实现步骤摘要】
思维导图识别方法、装置、设备、介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种思维导图识别方法、装置、设备、介质及程序产品。

技术介绍

[0002]思维导图是一种可以有效表达发散性思维的图形工具；通过使用思维导图能够高效地对繁多的信息进行分析与归纳，帮助用户对象澄清信息之间的关系。在多数情况下，思维导图是以图像形式存在的，不利于对思维导图的编辑；因此，如何对思维导图进行还原成为研究热点话题。
[0003]经实践发现，现有的思维导图的还原方式包括：1、用户对象手动在图像中标注出思维导图的根节点，然后基于手动标注的根节点还原思维导图；这增加了用户对象的工作量，使得整个思维导图还原过程需要人工干预，不够自动化、智能化，用户对象的体验不佳。2、使用先验规则还原思维导图，如指定绝对坐标(如(0，0))处的节点为根节点实现对思维导图的还原；这种方式在绝大多数情况下选择的根节点都是错误的，只能用于特定场景(例如要求用户对象将根节点放在指定位置处等)，导致泛化能力差。

技术实现思路

[0004]本申请实施例提供一种思维导图识别方法、装置、设备、介质及程序产品，能够自动识别出思维导图中的根节点，提高思维导图还原的智能性和准确性。
[0005]一方面，本申请实施例提供一种思维导图识别方法，该方法包括：
[0006]获取包含目标思维导图的目标图像；
[0007]响应于针对目标思维导图的还原操作，在目标图像中显示目标思维导图中的预测根节点；
[0008]响应于对预测根节点的确认操作，输出目标思维导图，目标思维导图处于可编辑状态。
[0009]另一方面，本申请实施例提供一种思维导图识别装置，该装置包括：
[0010]获取单元，用于获取包含目标思维导图的目标图像；
[0011]处理单元，用于响应于针对目标思维导图的还原操作，在目标图像中显示目标思维导图中的预测根节点；
[0012]处理单元，还用于响应于对预测根节点的确认操作，输出目标思维导图，目标思维导图处于可编辑状态。
[0013]在一种实现方式中，处理单元用于在目标图像中显示目标思维导图中的预测根节点时，具体用于：
[0014]在目标图像中标注显示目标思维导图中的预测根节点；
[0015]标注显示包括：以视觉显示的形式显示预测根节点；或者，以标注标识的形式显示预测根节点；
[0016]其中，标注标识显示于预测根节点所处的区域内；或者，标注标识以批注形式显示于目标图像中。
[0017]在一种实现方式中，处理单元用于获取包含目标思维导图的目标图像时，具体用于：
[0018]显示功能选择界面，功能选择界面中包括图像转思维导图选项；
[0019]响应于对图像转思维导图选项的触发，显示图像获取界面；
[0020]在图像获取界面中获取包含目标思维导图的目标图像。
[0021]在一种实现方式中，图像获取界面中包括图像上传选项，处理单元用于在图像获取界面中获取包含目标思维导图的目标图像时，具体用于：
[0022]响应于对图像上传选项的触发，显示至少一个候选图像；
[0023]在至少一个候选图像中选择任一候选图像，将被选择的任一候选图像作为目标图像，将任一候选图像包含的思维导图作为目标图像所包含的目标思维导图。
[0024]在一种实现方式中，图像获取界面中包括图像扫描选项，处理单元用于在图像获取界面中获取包含目标思维导图的目标图像时，具体用于：
[0025]响应于对图像扫描选项的触发，对包含目标思维导图的目标图像进行扫描操作，以获取目标图像。
[0026]在一种实现方式中，处理单元，还用于：
[0027]响应于在目标图像中重新选择根节点的操作，在目标图像中撤销对预测根节点的标注显示，并在目标图像中标注显示重新选择的新的根节点；
[0028]响应于对新的根节点的确认操作，输出目标思维导图；
[0029]其中，预测根节点的标注显示被撤销用于表示：预测根节点未被确认。
[0030]在一种实现方式中，处理单元，还用于：
[0031]响应于对目标思维导图的编辑操作，更新目标思维导图；
[0032]响应于对更新后的目标思维导图的分享操作，对包含更新后的目标思维导图的分享图像进行分享处理。
[0033]在一种实现方式中，处理单元用于响应于针对目标思维导图的还原操作，在目标图像中显示目标思维导图中的预测根节点时，具体用于：
[0034]响应于针对目标思维导图的还原操作，调用目标语义分割模型对目标图像进行根节点预测处理，得到目标思维导图中的初始预测根节点；
[0035]根据初始预测根节点和目标思维导图中的每个节点，确定初始预测根节点和每个节点之间的节点距离；
[0036]将与初始预测根节点之间的节点距离最短的节点，作为预测根节点。
[0037]在一种实现方式中，处理单元用于调用目标语义分割模型对目标图像进行根节点预测处理，得到目标思维导图中的初始预测根节点时，具体用于：
[0038]调用目标语义分割模型对目标图像进行语义分割处理，得到目标图像对应的目标语义标签图像，目标语义标签图像中包括前景区域；
[0039]将前景区域的目标连通域作为目标图像中的显著性区域；
[0040]将显著性区域的中心点作为目标思维导图中的初始预测根节点。
[0041]在一种实现方式中，处理单元，还用于：
[0042]获取训练图像，训练图像中包括训练思维导图；
[0043]对训练图像中的训练思维导图进行第一语义分割处理，得到第一语义标签图像；以及，
[0044]调用初始语义分割模型对训练图像中的训练思维导图进行第二语义分割处理，得到第二语义标签图像；
[0045]获取初始语义分割模型的损失函数，并根据第一语义标签图像与第二语义标签图像，计算损失函数的损失值；
[0046]若损失值满足预设条件，则初始语义分割模型达到收敛条件，将初始语义分割模型作为训练好的目标语义分割模型；
[0047]若损失值不满足预设条件，则对初始语义分割模型进行迭代训练。
[0048]在一种实现方式中，处理单元用于对训练图像中的训练思维导图进行第一语义分割处理，得到第一语义标签图像时，具体用于：
[0049]对训练图像进行区域提取处理，得到注意力图像，注意力图像中包括显著性区域；
[0050]对注意力图像进行特征提取，得到特征图；
[0051]根据注意力图像对特征图中的类别标签进行重定义处理，得到第一语义标签图像。
[0052]在一种实现方式中，处理单元用于对训练图像进行区域提取处理，得到注意力图像时，具体用于：
[0053]获取训练图像对应的根节点标注文件，根节点标注文件中包括预设的训练思维导图中的根节点的坐标信息；
[0054]基于坐标信息对训练图像进行区域提取处理，生成注意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种思维导图识别方法，其特征在于，包括：获取包含目标思维导图的目标图像；响应于针对所述目标思维导图的还原操作，在所述目标图像中显示所述目标思维导图中的预测根节点；响应于对所述预测根节点的确认操作，输出所述目标思维导图，所述目标思维导图处于可编辑状态。2.如权利要求1所述的方法，其特征在于，所述在所述目标图像中显示所述目标思维导图中的预测根节点，包括：在所述目标图像中标注显示所述目标思维导图中的预测根节点；所述标注显示包括：以视觉显示的形式显示所述预测根节点；或者，以标注标识的形式显示所述预测根节点；其中，所述标注标识显示于所述预测根节点所处的区域内；或者，所述标注标识以批注形式显示于所述目标图像中。3.如权利要求1所述的方法，其特征在于，所述获取包含目标思维导图的目标图像，包括：显示功能选择界面，所述功能选择界面中包括图像转思维导图选项；响应于对所述图像转思维导图选项的触发，显示图像获取界面；在所述图像获取界面中获取包含目标思维导图的目标图像。4.如权利要求3所述的方法，其特征在于，所述图像获取界面中包括图像上传选项，所述在所述图像获取界面中获取包含目标思维导图的目标图像，包括：响应于对所述图像上传选项的触发，显示至少一个候选图像；在所述至少一个候选图像中选择任一候选图像，将被选择的所述任一候选图像作为目标图像，将所述任一候选图像包含的思维导图作为所述目标图像所包含的目标思维导图。5.如权利要求3所述的方法，其特征在于，所述图像获取界面中包括图像扫描选项，所述在所述图像获取界面中获取包含目标思维导图的目标图像，包括：响应于对所述图像扫描选项的触发，对包含目标思维导图的目标图像进行扫描操作，以获取所述目标图像。6.如权利要求2所述的方法，其特征在于，所述方法还包括：响应于在所述目标图像中重新选择根节点的操作，在所述目标图像中撤销对所述预测根节点的标注显示，并在所述目标图像中标注显示重新选择的新的根节点；响应于对所述新的根节点的确认操作，输出目标思维导图；其中，所述预测根节点的标注显示被撤销用于表示：所述预测根节点未被确认。7.如权利要求1所述的方法，其特征在于，所述输出所述目标思维导图之后，还包括：响应于对所述目标思维导图的编辑操作，更新所述目标思维导图；响应于对更新后的目标思维导图的分享操作，对包含所述更新后的目标思维导图的分享图像进行分享处理。8.如权利要求1所述的方法，其特征在于，所述响应于针对所述目标思维导图的还原操作，在所述目标图像中显示所述目标思维导图中的预测根节点，包括：响应于针对所述目标思维导图的还原操作，调用目标语义分割模型对所述目标图像进
行根节点预测处理，得到所述目标思维导图中的初始预测根节点；根据所述初始预测根节点和所述目标思维导图中的每个节点，确定所述初始预测根节点和所述每个节点之间的节点距离；将与所述初始预测根节点之间的节点距离最短的节点，作为预测根节点。9.如权利要求8所述的方法，其特征在于，所述调用目标语义分割模型对所述目标图像进行根节点预测处理，得到所述目标思维导图中的初始预测根节点，包括：调用目标语义分割模型对所述目标图像进行语义分割处理，得到所述目标图像对应的目标语义标签图像，所述目标语义标签图像中包括前景区域；将所述前景区域的目标连通域作为所述目标图像中的显著性区域；将所述显著性区域的中心点作为所述目标思维导图中的初始预测根节点。10.如权利要求8所述的方法，其特征在于，所述方法还包括：获取训练图像，所述训练图像中包括训练思维导图；对所述训练图像中的所述训练思维导图进行第一语义分割处理，得到第一语义标签图像；以及，调用初始语义分割模型对所述训练图像中的所述训练思维导图进行第二语义分割处理，得到第二语义标签图像；获取所述初始语义分割模型的损失函数，并根据所述第一语义标签图像与所述第二语义标签图像，计算所述损失函数的损失值；若所述损失值满足预设条件，则所述初始语义分割模型达到收...

【专利技术属性】
技术研发人员：谷枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：