相似度评估方法、答案搜索方法、装置、设备及介质制造方法及图纸

本公开涉及一种相似度评估方法、答案搜索方法、装置、设备及介质，其中相似度评估方法包括：获取待评估相似度的目标字符串以及目标文本图像；将目标字符串和目标文本图像输入至预先训练得到的相似度评估模型；通过相似度评估模型分别提取目标字符串的字符特征信息以及目标文本图像的图像特征信息，并基于字符特征信息和图像特征信息评估目标字符串与目标文本图像的内容相似度；其中，字符特征信息包括字符特征间的位置关系和语义关系；图像特征信息包括图像特征间的位置关系和语义关系。上述方式综合提升了相似度评估准确性，有助于进一步提升答案搜索精度，可更好应用于拍照判题中。

【技术实现步骤摘要】
相似度评估方法、答案搜索方法、装置、设备及介质
本公开涉及人工智能
，尤其涉及相似度评估方法、答案搜索方法、装置、设备及介质。
技术介绍
拍照判题是人工智能技术在教育领域的一项重要应用，可节约教师判题成本，提升判题效率。具体而言，用户针对题目进行作答后拍照，然后将拍照所得的作答图像上传至可拍照判题的应用程序，由应用程序对作答图像进行识别并评分。然而，目前的拍照判题技术的应用场合非常受限，大多仅能处理诸如横式、竖式等逻辑可批改的小学数学口算题目，而无法处理常见的带有语义信息的题型，主要难点在于当前技术难以基于用户上传的带有语义信息的题型的图像而从题库中准确搜索出相应的正确答案，专利技术人经研究发现，突破该难点的关键瓶颈点在于相似度评估方式不佳，目前存在的文本图像之间的相似度评估方式以及字符串之间的相似度评估方式都存在准确度不高的问题，难以较好应用于针对语义信息的题型进行答案搜索的场合。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种相似度评估方法、答案搜索方法、装置、设备及介质。根据本公开实施例的一方面，提供了一种相似度评估方法，所述方法包括：获取待评估相似度的目标字符串以及目标文本图像；将所述目标字符串和所述目标文本图像输入至预先训练得到的相似度评估模型；通过所述相似度评估模型分别提取所述目标字符串的字符特征信息以及所述目标文本图像的图像特征信息，并基于所述字符特征信息和所述图像特征信息评估所述目标字符串与所述目标文本图像的内容相似度；其中，所述字符特征信息包括字符特征间的位置关系和语义关系；所述图像特征信息包括图像特征间的位置关系和语义关系。根据本公开实施例的另一方面，提供了一种答案搜索方法，包括：获取待搜索答案的目标问题相应的字符串；采用前述任一项所述的相似度评估方法分别计算所述字符串与题库中每个题目的扫描图像的内容相似度；其中，每个所述扫描图像都关联有相应答案；将内容相似度最高的扫描图像的相应答案作为针对所述目标问题搜索到的答案。根据本公开实施例的另一方面，提供了一种相似度评估装置，包括：目标获取模块，用于获取待评估相似度的目标字符串以及目标文本图像；模型输入模块，用于将所述目标字符串和所述目标文本图像输入至预先训练得到的相似度评估模型；相似度评估模块，用于通过所述相似度评估模型分别提取所述目标字符串的字符特征信息以及所述目标文本图像的图像特征信息，并基于所述字符特征信息和所述图像特征信息评估所述目标字符串与所述目标文本图像的内容相似度；其中，所述字符特征信息包括字符特征间的位置关系和语义关系；所述图像特征信息包括图像特征间的位置关系和语义关系。根据本公开实施例的另一方面，提供了一种答案搜索装置，包括：字符串获取模块，用于获取待搜索答案的目标问题相应的字符串；相似度计算模块，用于采用前述任一项所述的相似度评估方法分别计算所述字符串与题库中每个题目的扫描图像的内容相似度；其中，每个所述扫描图像都关联有相应答案；答案确定模块，用于将内容相似度最高的扫描图像的相应答案作为针对所述目标问题搜索到的答案。根据本公开实施例的另一方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的相似度评估方法或答案搜索方法。根据本公开实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的相似度评估方法或答案搜索方法。本公开实施例提供的上述相似度评估方法及装置，能够将待评估相似度的目标字符串以及目标文本图像输入至预先训练得到的相似度评估模型，通过相似度评估模型分别提取目标字符串的字符特征信息（包括字符特征间的时序关系、位置关系和语义关系中的多种）以及目标文本图像的图像特征信息（包括图像特征间的时序关系、位置关系和语义关系中的多种），并基于字符特征信息和图像特征信息评估目标字符串与目标文本图像的内容相似度。上述方式提出了字符串与文本图像之间的跨信息模态的相似度评估方法，通过字符串与文本图像之间基于各自的位置关系和语义关系进行比较，既改善了文本图像之间相似度评估方式因无法聚焦在字符层面上而存在的准确度不高问题，又改善了字符串之间的相似度评估方式因不如图像信息全面（诸如丢失了位置信息）而导致的准确度不高的问题，本公开实施例提出的上述字符串与文本图像之间的跨信息模态的相似度评估方法，综合提升了相似度评估准确性，有助于进一步提升答案搜索精度，从而更好应用于拍照判题中。本公开实施例提供的上述答案搜索方法及装置，可以首先获取待搜索答案的目标问题相应的字符串，然后采用上述相似度评估方法分别计算字符串与题库中每个题目的扫描图像的内容相似度；其中，每个所述扫描图像都携带有相应答案；最后将内容相似度最高的扫描图像的相应答案作为针对所述目标问题搜索到的答案。这种答案搜索方式采用目标问题的字符串直接从题库中搜索内容相似度最高的扫描图像对应的答案，因为采用的是字符串与文本图像之间的跨信息模态的相似度评估方法，如上所述，综合提升了相似度评估准确性，进一步提升了答案搜索精度。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例提供的一种相似度评估方法的流程示意图；图2为本公开实施例提供的一种相似度评估模型的训练方法流程图；图3为本公开实施例提供的一种相似度评估模型的结构示意图；图4为本公开实施例提供的另一种相似度评估模型的结构示意图；图5为本公开实施例提供的另一种相似度评估模型的结构示意图；图6为本公开实施例提供的一种答案搜索方法的流程示意图；图7为本公开实施例提供的一种相似度评估装置的结构示意图；图8为本公开实施例提供的一种答案搜索装置的结构示意图；图9为本公开实施例提供的一种电子设备的结构示意图。具体实施方式为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同本文档来自技高网...

【技术保护点】
1.一种相似度评估方法，其特征在于，包括：/n获取待评估相似度的目标字符串以及目标文本图像；/n将所述目标字符串和所述目标文本图像输入至预先训练得到的相似度评估模型；/n通过所述相似度评估模型分别提取所述目标字符串的字符特征信息以及所述目标文本图像的图像特征信息，并基于所述字符特征信息和所述图像特征信息评估所述目标字符串与所述目标文本图像的内容相似度；/n其中，所述字符特征信息包括字符特征间的位置关系和语义关系；所述图像特征信息包括图像特征间的位置关系和语义关系。/n

【技术特征摘要】
1.一种相似度评估方法，其特征在于，包括：
获取待评估相似度的目标字符串以及目标文本图像；
将所述目标字符串和所述目标文本图像输入至预先训练得到的相似度评估模型；
通过所述相似度评估模型分别提取所述目标字符串的字符特征信息以及所述目标文本图像的图像特征信息，并基于所述字符特征信息和所述图像特征信息评估所述目标字符串与所述目标文本图像的内容相似度；
其中，所述字符特征信息包括字符特征间的位置关系和语义关系；所述图像特征信息包括图像特征间的位置关系和语义关系。


2.根据权利要求1所述的相似度评估方法，其特征在于，所述相似度评估模型按照以下步骤训练得到：
获取多个训练样本组，每个所述训练样本组包括文本图像样本以及字符串样本，且所述训练样本组标注有所述文本图像样本与所述字符串样本之间的内容相似度；
采用所述多个训练样本组对初始模型进行训练，将训练结束时所得的模型作为相似度评估模型。


3.根据权利要求2所述的相似度评估方法，其特征在于，所述获取多个训练样本组的步骤，包括：
获取文本图像样本，并提取所述文本图像样本的字符串，将提取到的所述字符串作为原始字符串；
采用增加字符、删减字符和修改字符中的一种或多种方式对所述原始字符串进行篡改，得到多个篡改字符串；
分别计算每个所述篡改字符串和所述原始字符串之间的相似度，并将每个所述篡改字符串和所述原始字符串之间的相似度作为每个所述篡改字符串与所述文本图像样本之间的内容相似度；
令所述原始字符串和每个所述篡改字符串分别作为字符串样本，通过所述文本图像样本和每个所述字符串样本分别组合得到多个训练样本组，并标注每个所述训练样本组中字符串样本与文本图像样本之间的内容相似度。


4.根据权利要求3所述的相似度评估方法，其特征在于，所述分别计算每个所述篡改字符串与所述原始字符串之间的相似度的步骤，包括：
对于每个所述篡改字符串，计算该篡改字符串与所述原始字符串之间的编辑距离；
比较该篡改字符串的长度与所述原始字符串的长度，从中选取最大字符串长度；
基于所述编辑距离与所述最大字符串长度，计算该篡改字符串与所述原始字符串之间的相似度。


5.根据权利要求4所述的相似度评估方法，其特征在于，所述基于所述编辑距离与所述最大字符串长度，计算该篡改字符串与所述原始字符串之间的相似度的步骤，包括：
计算所述编辑距离与所述最大字符串长度之间的比值；
令数值1减去所述比值，得到该篡改字符串与所述原始字符串之间的相似度。


6.根据权利要求1所述的相似度评估方法，其特征在于，所述相似度评估模型包括图像特征提取网络、字符特征提取网络、以及与所述图像特征提取网络和所述字符特征提取网络分别相连的相似度计算网络；
其中，所述图像特征提取网络的输入为所述目标文本图像，输出为图像特征信息；
所述字符特征提取网络的输入为所述目标字符串，输出为字符特征信息；
所述相似度计算网络的输入为所述图像特征信息和所述字符特征信息，输出为所述目标字符串与所述目标文本图像的内容相似度。


7.根据权利要求6所述的相似度评估方法，其特征在于，所述图像特征提取网络包括特征提取单元和图像信息提取单元；其中，
所述特征提取单元用于提取所述目标文本图像的图像特征向量；
所述图像信息提取单元用于基于所述图像特征向量提取出图像特征信息...

【专利技术属性】
技术研发人员：李自荐，秦勇，
申请(专利权)人：北京世纪好未来教育科技有限公司，
类型：发明
国别省市：北京;11