对象理解方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种对象理解方法、装置、设备及存储介质，对文献进行解析，得到文献中的结构化对象或结构化对象的表示信息；结构化对象包括如下至少一种：公式、表格、图像；获得针对第一结构化对象的用户提问；基于第一结构化对象或第一结构化对象的表示信息，以及用户提问，得到第一结构化对象的解释信息；输出解释信息。基于本申请，只要获得用户输入文献以及针对文献中的第一结构化对象(公式、表格或图像)的提问，即可自动生成并输出第一结构化对象的解释信息，实现了对文献中的公式、表格或图像的智能理解，从而帮助阅读者快速理解文献中的公式、图像或表格。图像或表格。图像或表格。

【技术实现步骤摘要】
对象理解方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，更具体地说，涉及一种对象理解方法、装置、设备及存储介质。

技术介绍

[0002]科技文献是指与科学技术相关的各种出版物、期刊、会议论文、学位论文等学术资料，包括科学杂志、技术手册、研究报告、专利文献等。这些文献反映了科学研究的最新进展和技术发展趋势，是科研人员获取信息和进行研究的重要资源。在现代科技领域，文献的数量庞大、种类繁多，对科研人员进行深入了解和应用新技术都具有重要的参考价值。
[0003]在传统的科技论文阅读中，公式、图像、表格是非常重要的一部分。由于公式、图像、表格的复杂性和数量庞大，且不同领域的专业术语和符号存在差异，阅读者往往需要具备相应的专业知识、花费大量时间才能够准确理解公式、图像、表格。

技术实现思路

[0004]有鉴于此，本申请提供了一种对象理解方法、装置、设备及存储介质，以辅助阅读者快速理解文献中的公式、图像或表格。
[0005]为了实现上述目的，现提出的方案如下：
[0006]一种对象理解方法，包括：
[0007]对文献进行解析，得到所述文献中的结构化对象或所述结构化对象的表示信息；所述结构化对象包括如下至少一种：公式、表格、图像；
[0008]获得针对第一结构化对象的用户提问；
[0009]基于所述第一结构化对象或所述第一结构化对象的表示信息，以及所述用户提问，得到所述第一结构化对象的解释信息；
[0010]输出所述解释信息。
[0011]上述方法，可选的，所述基于所述第一结构化对象或所述第一结构化对象的表示信息，以及所述用户提问，得到所述第一结构化对象的解释信息，包括：
[0012]在所述文献中提取所述第一结构化对象的关联内容；
[0013]对所述第一结构化对象、所述关联内容和所述用户提问进行处理，获得所述第一结构化对象的解释信息；或者，
[0014]对所述第一结构化对象的表示信息、所述关联内容和所述用户提问进行处理，获得所述第一结构化对象的解释信息。
[0015]上述方法，可选的，所述对所述第一结构化对象或所述第一结构化对象的表示信息、所述关联内容和所述用户提问进行处理的过程，包括：
[0016]将所述第一结构化对象的特征信息或所述第一结构化对象的表示信息，以及所述关联内容输入模型；
[0017]将所述用户提问作为指示指令输入所述模型，得到所述模型生成的所述解释信
息。
[0018]上述方法，可选的，在所述第一结构化对象为第一公式的情况下，对所述文献进行解析，得到的是所述第一公式的标记语言表达式，作为所述第一公式的表示信息；得到所述第一公式的解释信息的过程，包括：
[0019]将所述第一公式的标记语言表达式，以及所述第一公式的关联内容输入模型；所述第一公式的关联内容包括：所述第一公式的上下文；
[0020]将所述用户提问作为指示指令输入所述模型，得到所述模型生成的所述第一公式的解释信息。
[0021]上述方法，可选的，所述第一公式的关联内容为所述文献中，包含所述第一公式中出现的字符定义的上下文。
[0022]上述方法，可选的，在所述第一结构化对象为第一表格的情况下，对所述文献进行解析，得到由特定字符分隔的所述第一表格的内容，作为所述第一表格的表示信息；得到所述第一表格的解释信息的过程，包括：
[0023]将由特定字符分隔的所述第一表格的内容，以及所述第一表格的关联内容输入模型；所述第一表格的关联内容包括所述第一表格的表注，以及所述第一表格的上下文；
[0024]将所述用户提问作为指示指令输入所述模型，得到所述模型生成的所述第一表格的解释信息。
[0025]上述方法，可选的，在所述第一结构化对象为第一图像的情况下，对所述文献进行解析，得到所述第一图像；得到所述第一图像的解释信息的过程，包括：
[0026]对所述第一图像进行编码，得到所述第一图像的特征信息；
[0027]将所述第一图像的特征信息，以及所述第一图像的关联内容输入模型；所述第一图像的关联内容包括所述第一图像的图注，以及所述第一图像的上下文；
[0028]将所述用户提问作为指示指令输入所述模型，得到所述模型生成的所述第一图像的解释信息。
[0029]上述方法，可选的，对所述第一图像进行编码的过程通过图像编码器实现；所述图像编码器基于所述模型训练得到。
[0030]上述方法，可选的，对所述图像编码器训练的过程包括：
[0031]将图像样本输入所述图像编码器，得到所述图像样本的特征信息；
[0032]将所述特征信息和所述图像样本对应的问题输入所述模型，得到所述模型生成的所述图像样本的解释信息；
[0033]以所述模型生成的解释信息趋近于作为所述图像样本的标签的解释信息为目标，对所述图像编码器的参数进行更新。
[0034]上述方法，可选的，所述模型通过如下方式训练得到：
[0035]利用文献文本样本对所述模型进行无监督预训练，得到预训练的模型；所述文献文本样本中包括文献中公式的标记语言表达式和表格的内容；
[0036]利用结构化对象样本对所述预训练的模型进行有监督训练，得到训练好的模型；所述结构化对象样本中包括文献中的结构化对象的特征信息或表示信息、所述结构化对象的关联内容、针对所述结构化对象的问题；所述结构化对象的标签为针对所述结构化对象的与所述问题对应的解释信息。
[0037]上述方法，可选的，还包括：
[0038]利用预设优化学习算法对所述训练好的模型进行优化，得到优化的模型。
[0039]一种对象理解装置，包括：
[0040]解析模块，用于对文献进行解析，得到所述文献中的结构化对象或所述结构化对象的表示信息；所述结构化对象包括如下至少一种：公式、表格、图像；
[0041]获得模块，用于获得针对第一结构化对象的用户提问；
[0042]处理模块，用于基于所述第一结构化对象或所述第一结构化对象的表示信息，以及所述用户提问，得到所述第一结构化对象的解释信息；
[0043]输出模块，用于输出所述解释信息。
[0044]一种对象理解设备，包括存储器和处理器；
[0045]所述存储器，用于存储程序；
[0046]所述处理器，用于执行所述程序，实现如上任一项所述的对象理解方法的各个步骤。
[0047]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的对象理解方法的各个步骤。
[0048]从上述的技术方案可以看出，本申请实施例提供的对象理解方法、装置、设备及存储介质，对文献进行解析，得到文献中的结构化对象或结构化对象的表示信息；结构化对象包括如下至少一种：公式、表格、图像；获得针对第一结构化对象的用户提问；基于第一结构化对象或第一结构化对象的表示信息，以及用户提问，得到第一结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象理解方法，其特征在于，包括：对文献进行解析，得到所述文献中的结构化对象或所述结构化对象的表示信息；所述结构化对象包括如下至少一种：公式、表格、图像；获得针对第一结构化对象的用户提问；基于所述第一结构化对象或所述第一结构化对象的表示信息，以及所述用户提问，得到所述第一结构化对象的解释信息；输出所述解释信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一结构化对象或所述第一结构化对象的表示信息，以及所述用户提问，得到所述第一结构化对象的解释信息，包括：在所述文献中提取所述第一结构化对象的关联内容；对所述第一结构化对象、所述关联内容和所述用户提问进行处理，获得所述第一结构化对象的解释信息；或者，对所述第一结构化对象的表示信息、所述关联内容和所述用户提问进行处理，获得所述第一结构化对象的解释信息。3.根据权利要求2所述的方法，其特征在于，所述对所述第一结构化对象或所述第一结构化对象的表示信息、所述关联内容和所述用户提问进行处理的过程，包括：将所述第一结构化对象的特征信息或所述第一结构化对象的表示信息，以及所述关联内容输入模型；将所述用户提问作为指示指令输入所述模型，得到所述模型生成的所述解释信息。4.根据权利要求2所述的方法，其特征在于，在所述第一结构化对象为第一公式的情况下，对所述文献进行解析，得到的是所述第一公式的标记语言表达式，作为所述第一公式的表示信息；得到所述第一公式的解释信息的过程，包括：将所述第一公式的标记语言表达式，以及所述第一公式的关联内容输入模型；所述第一公式的关联内容包括：所述第一公式的上下文；将所述用户提问作为指示指令输入所述模型，得到所述模型生成的所述第一公式的解释信息。5.根据权利要求4所述的方法，其特征在于，所述第一公式的关联内容为所述文献中，包含所述第一公式中出现的字符定义的上下文。6.根据权利要求2所述的方法，其特征在于，在所述第一结构化对象为第一表格的情况下，对所述文献进行解析，得到由特定字符分隔的所述第一表格的内容，作为所述第一表格的表示信息；得到所述第一表格的解释信息的过程，包括：将由特定字符分隔的所述第一表格的内容，以及所述第一表格的关联内容输入模型；所述第一表格的关联内容包括所述第一表格的表注，以及所述第一表格的上下文；将所述用户提问作为指示指令输入所述模型，得到所述模型生成的所述第一表格的解释信息。7.根据权利要求2所述的方法，其特征在于，在所述第一结构化对象为第一图像的情况下，对所述文献进行解析，得到所述第一图像；得...

【专利技术属性】
技术研发人员：伍大勇，胡国平，王士进，高建清，刘聪，王宝鑫，杨延杰，魏思，刘权，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：