中文文本相似度的确定方法和装置制造方法及图纸

本申请公开了一种中文文本相似度的确定方法和装置。其中，该方法包括：将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本，按照汉语拼音的规则统计第一拼音文本中每种拼音单元的个数和第二拼音文本中每种拼音单元的个数，由第一拼音文本中每种拼音单元的个数生成第一特征向量，由第二拼音文本中每种拼音单元的个数生成第二特征向量，计算第一特征向量与第二特征向量的距离，根据距离确定第一中文文本与第二中文文本的相似度，其中，距离越小，第一中文文本与第二中文文本的相似度越高。本申请解决了现有技术难以有效识别因拼写错误造成的相似文本的技术问题。

【技术实现步骤摘要】
中文文本相似度的确定方法和装置
本申请涉及文本处理领域，具体而言，涉及一种中文文本相似度的确定方法和装置。
技术介绍
在对文本进行分析的过程中，经常需要对文本进行纠错，即，将文本中所出现的错误用词进行纠正，比如，根据用户输入的“危险拉面”，区分出用户可能的目标词为相似文本“味千拉面”。而对于相似文本的确定方法，目前主要是计算字符串之间相似词语的个数，相似个数越多，表示文本的相似度越高。然而，专利技术人发现现有技术的方案对于因拼写错误造成的相似文本很难有效识别，如，其识别结果中“千叶拉面”与“味千拉面”的相似度比“危险拉面”与“味千拉面”的相似度更高。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种中文文本相似度的确定方法和装置，以至少解决现有技术难以有效识别因拼写错误造成的相似文本的技术问题。根据本申请实施例的一个方面，提供了一种中文文本相似度的确定方法，包括：将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本；按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数；由所述第一拼音文本中每种拼音单元的个数生成第一特征向量，由所述第二拼音文本中每种拼音单元的个数生成第二特征向量；计算所述第一特征向量与所述第二特征向量的距离；根据所述距离确定所述第一中文文本与所述第二中文文本的相似度，其中，所述距离越小，所述第一中文文本与所述第二中文文本的相似度越高。进一步地，按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数包括：将汉字中的一个声母作为一个拼音单元，一个韵母作为一个拼音单元，统计所述第一拼音文本中每种声母和每种韵母的个数以及所述第二拼音文本中每种声母和每种韵母的个数。进一步地，按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数包括：将汉字中的一个整体认读音节作为一个拼音单元，非整体认读音节的汉语拼音的一个声母作为一个拼音单元，非整体认读音节的汉语拼音的一个韵母作为一个拼音单元，统计所述第一拼音文本中每种声母、每种韵母以及每种整体认读音节的个数以及所述第二拼音文本中每种声母、每种韵母以及每种整体认读音节的个数。进一步地，由所述第一拼音文本中每种拼音单元的个数生成第一特征向量，由所述第二拼音文本中每种拼音单元的个数生成第二特征向量包括：将所述第一拼音文本中每种拼音单元的个数分别插入到预设向量的相应维度的位置，得到所述第一特征向量，将所述第二拼音文本中每种拼音单元的个数分别插入到预设向量的相应维度的位置，得到所述第二特征向量，其中，所述预设向量为具有与按照预设顺序排列的拼音单元的种类一一对应的多个维度的向量。进一步地，计算所述第一特征向量与所述第二特征向量的距离包括：计算所述第一特征向量与所述第二特征向量中每个对应维度的差；将所述每个对应维度的差取绝对值，并将所述绝对值相加，得到所述距离。根据本申请实施例的另一方面，还提供了一种中文文本相似度的确定装置，包括：转化单元，用于将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本；统计单元，用于按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数；生成单元，用于由所述第一拼音文本中每种拼音单元的个数生成第一特征向量，由所述第二拼音文本中每种拼音单元的个数生成第二特征向量；计算单元，用于计算所述第一特征向量与所述第二特征向量的距离；确定单元，用于根据所述距离确定所述第一中文文本与所述第二中文文本的相似度，其中，所述距离越小，所述第一中文文本与所述第二中文文本的相似度越高。进一步地，所述统计单元具体用于将汉字中的一个声母作为一个拼音单元，一个韵母作为一个拼音单元，统计所述第一拼音文本中每种声母和每种韵母的个数以及所述第二拼音文本中每种声母和每种韵母的个数。进一步地，所述统计单元具体用于将汉字中的一个整体认读音节作为一个拼音单元，非整体认读音节的汉语拼音的一个声母作为一个拼音单元，非整体认读音节的汉语拼音的一个韵母作为一个拼音单元，统计所述第一拼音文本中每种声母、每种韵母以及每种整体认读音节的个数以及所述第二拼音文本中每种声母、每种韵母以及每种整体认读音节的个数。进一步地，所述生成单元具体用于将所述第一拼音文本中每种拼音单元的个数分别插入到预设向量的相应维度的位置，得到所述第一特征向量，将所述第二拼音文本中每种拼音单元的个数分别插入到预设向量的相应维度的位置，得到所述第二特征向量，其中，所述预设向量为具有与按照预设顺序排列的拼音单元的种类一一对应的多个维度的向量。进一步地，所述计算单元包括：第一计算模块，用于计算所述第一特征向量与所述第二特征向量中每个对应维度的差；第二计算模块，用于将所述每个对应维度的差取绝对值，并将所述绝对值相加，得到所述距离。根据本专利技术实施例，将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本，按照汉语拼音的规则统计第一拼音文本中每种拼音单元的个数和第二拼音文本中每种拼音单元的个数，由第一拼音文本中每种拼音单元的个数生成第一特征向量，由第二拼音文本中每种拼音单元的个数生成第二特征向量，计算第一特征向量与第二特征向量的距离，根据距离确定第一中文文本与第二中文文本的相似度，其中，距离越小，第一中文文本与第二中文文本的相似度越高，解决了现有技术难以有效识别因拼写错误造成的相似文本的技术问题，实现了对因拼写错误造成的相似文本的识别。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的中文文本相似度的确定方法的流程图；图2是根据本申请实施例的中文文本相似度的确定装置的示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本申请实施例，提供了一种中文文本相似度的确定方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽本文档来自技高网...

【技术保护点】
一种中文文本相似度的确定方法，其特征在于，包括：将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本；按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数；由所述第一拼音文本中每种拼音单元的个数生成第一特征向量，由所述第二拼音文本中每种拼音单元的个数生成第二特征向量；计算所述第一特征向量与所述第二特征向量的距离；根据所述距离确定所述第一中文文本与所述第二中文文本的相似度，其中，所述距离越小，所述第一中文文本与所述第二中文文本的相似度越高。

【技术特征摘要】
1.一种中文文本相似度的确定方法，其特征在于，包括：将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本；按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数；由所述第一拼音文本中每种拼音单元的个数生成第一特征向量，由所述第二拼音文本中每种拼音单元的个数生成第二特征向量；计算所述第一特征向量与所述第二特征向量的距离；根据所述距离确定所述第一中文文本与所述第二中文文本的相似度，其中，所述距离越小，所述第一中文文本与所述第二中文文本的相似度越高。2.根据权利要求1所述的方法，其特征在于，按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数包括：将汉字中的一个声母作为一个拼音单元，一个韵母作为一个拼音单元，统计所述第一拼音文本中每种声母和每种韵母的个数以及所述第二拼音文本中每种声母和每种韵母的个数。3.根据权利要求1所述的方法，其特征在于，按照汉语拼音的规则统计所述第一拼音文本中每种拼音单元的个数和所述第二拼音文本中每种拼音单元的个数包括：将汉字中的一个整体认读音节作为一个拼音单元，非整体认读音节的汉语拼音的一个声母作为一个拼音单元，非整体认读音节的汉语拼音的一个韵母作为一个拼音单元，统计所述第一拼音文本中每种声母、每种韵母以及每种整体认读音节的个数以及所述第二拼音文本中每种声母、每种韵母以及每种整体认读音节的个数。4.根据权利要求1至3中任一项所述的方法，其特征在于，由所述第一拼音文本中每种拼音单元的个数生成第一特征向量，由所述第二拼音文本中每种拼音单元的个数生成第二特征向量包括：将所述第一拼音文本中每种拼音单元的个数分别插入到预设向量的相应维度的位置，得到所述第一特征向量，将所述第二拼音文本中每种拼音单元的个数分别插入到预设向量的相应维度的位置，得到所述第二特征向量，其中，所述预设向量为具有与按照预设顺序排列的拼音单元的种类一一对应的多个维度的向量。5.根据权利要求1所述的方法，其特征在于，计算所述第一特征向量与所述第二特征向量的距离包括：计算所述第一特征向量与所述第二特...

【专利技术属性】
技术研发人员：刘粉香，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11