本申请实施例公开了一种纠错评测方法，可以通过分类器对获取的待分类纠错数据进行分类，得到第一评测集和第二评测集。待分类纠错数据为针对输入字符串产生的不满足用户纠错需求的纠错数据，第一评测集中待分类纠错数据的纠错结果的可信度大于第一阈值，第二评测集中待分类纠错数据的纠错结果的可信度小于第二阈值，第一阈值大于第二阈值。根据属于第一评测集或第二评测集的纠错数据数量计算纠错方案的目标评测指标，该目标评测指标用于对纠错方案进行评测。该方法得到的目标评测指标有利于得到合理的评测结果，根据该评测结果可以正确地指导输入法纠错方案的优化，使得输入法通过优化后的纠错方案进行纠错时提供合理的纠错候选项，提高用户体验。提高用户体验。提高用户体验。
【技术实现步骤摘要】
一种纠错评测方法和相关装置
[0001]本申请涉及输入法领域，特别是涉及一种纠错评测方法和相关装置。
技术介绍
[0002]输入法属于一种常用的文字输入工具，在通过输入法输入字符时，由于用户可能输入错误，输入法可以针对用户有可能输出的字符提供纠错候选项以帮助用户纠错。
[0003]为了对输入法的纠错方案进行优化，可以对输入法的纠错方案进行评测，从而根据评测结果指导输入法纠错方案的优化。目前的纠错评测方法主要是主要分为纠错覆盖率和纠错误纠率两方面的评测，纠错覆盖率表示用户输入错误时输入法为用户提供想要的纠错候选项的概率，纠错误纠率表示用户输入正确时输入法仍然提供纠错候选项干扰用户的概率。
[0004]但是这种评测方法，在计算纠错覆盖率和纠错误纠率时，没有考虑纠错结果的合理性，使得计算得到的纠错覆盖率和纠错误纠率不准确，从而根据评测结果错误地指导输入法纠错方案的优化，没有考虑到纠错方案的合理性，这样，通过优化后的纠错方案进行纠错时会提供一些莫名其妙的纠错候选项，大大降低了用户体验。
技术实现思路
[0005]为了解决上述技术问题，本申请提供了一种纠错评测方法和相关装置，可以正确地指导输入法纠错方案的优化，使得输入法通过优化后的纠错方案进行纠错时可以提供合理的纠错候选项，提高用户体验。
[0006]本申请实施例公开了如下技术方案：
[0007]第一方面，本申请实施例提供一种纠错评测方法，所述方法包括：
[0008]获取待分类纠错数据，所述待分类纠错数据为针对输入字符串产生的不满足用户纠错需求的纠错数据；
[0009]通过分类器对所述待分类纠错数据进行分类，得到第一评测集和第二评测集；所述第一评测集中待分类纠错数据的纠错结果的可信度大于第一阈值，所述第二评测集中待分类纠错数据的纠错结果的可信度小于第二阈值，所述第一阈值大于所述第二阈值；所述分类器是根据纠错数据和纠错数据的特征数据训练得到的，所述特征数据用于反映所述纠错数据中纠错结果的可信度；
[0010]根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，所述目标评测指标用于对所述纠错方案进行评测。
[0011]可选的，所述待分类纠错数据为展示纠错候选项且用户针对所述输入字符串选定特征候选项的纠错数据，所述目标评测指标为纠错误纠率；所述特征候选项为与所述输入字符串匹配的候选项。
[0012]可选的，所述根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，包括：
[0013]通过所述纠错方案针对所述输入字符串产生纠错数据过程中，确定属于所述第二评测集的纠错数据的数量为第一数值，以及用户针对所述输入字符串选定特征候选项的纠错数据的数量为第二数值；
[0014]将所述第一数值与所述第二数值的比值作为所述纠错误纠率。
[0015]可选的，所述待分类纠错数据为未展示纠错候选项且用户针对所述输入字符串输入退格符的纠错数据，所述目标评测指标为纠错覆盖率。
[0016]可选的，所述根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，包括：
[0017]通过所述纠错方案针对所述输入字符串产生纠错数据过程中，确定属于所述第一评测集的纠错数据的数量为第三数值、针对所述输入字符串展示纠错候选项且选定所述纠错候选项的纠错数据的数量为第四数值，以及未展示纠错候选项且用户针对所述输入字符串输入退格符的数量为第五数值；
[0018]将所述第三数值和所述第四数值之和与所述第四数值和所述第五数值之和的比值作为所述纠错覆盖率。
[0019]可选的，所述退格符为用户在输入过程中输入的；或，所述退格符为所述输入字符串上屏后用户输入的。
[0020]可选的，所述特征数据包括以下至少一种或多种的组合：
[0021]针对所述输入字符串的特征候选项的相关特征数据，所述特征候选项为与所述输入字符串匹配的候选项；
[0022]针对所述输入字符串的纠错候选项的相关特征数据；
[0023]反映所述用户输入习惯的用户特征数据。
[0024]第二方面，本申请实施例提供一种纠错评测装置，所述装置包括获取单元、确定单元和计算单元：
[0025]所述获取单元，用于获取待分类纠错数据，所述待分类纠错数据为针对输入字符串产生的不满足用户纠错需求的纠错数据；
[0026]所述确定单元，用于通过分类器对所述待分类纠错数据进行分类，得到第一评测集和第二评测集；所述第一评测集中待分类纠错数据的纠错结果的可信度大于第一阈值，所述第二评测集中待分类纠错数据的纠错结果的可信度小于第二阈值，所述第一阈值大于所述第二阈值；所述分类器是根据纠错数据和纠错数据的特征数据训练得到的，所述特征数据用于反映所述纠错数据中纠错结果的可信度；
[0027]所述计算单元，用于根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，所述目标评测指标用于对所述纠错方案进行评测。
[0028]可选的，所述待分类纠错数据为展示纠错候选项且用户针对所述输入字符串选定特征候选项的纠错数据，所述目标评测指标为纠错误纠率；所述特征候选项为与所述输入字符串匹配的候选项。
[0029]可选的，所述计算单元，用于：
[0030]通过所述纠错方案针对所述输入字符串产生纠错数据过程中，确定属于所述第二评测集的纠错数据的数量为第一数值，以及用户针对所述输入字符串选定特征候选项的纠错数据的数量为第二数值；
[0031]将所述第一数值与所述第二数值的比值作为所述纠错误纠率。
[0032]可选的，所述待分类纠错数据为未展示纠错候选项且用户针对所述输入字符串输入退格符的纠错数据，所述目标评测指标为纠错覆盖率。
[0033]可选的，所述计算单元，用于：
[0034]通过所述纠错方案针对所述输入字符串产生纠错数据过程中，确定属于所述第一评测集的纠错数据的数量为第三数值、针对所述输入字符串展示纠错候选项且选定所述纠错候选项的纠错数据的数量为第四数值，以及未展示纠错候选项且用户针对所述输入字符串输入退格符的数量为第五数值；
[0035]将所述第三数值和所述第四数值之和与所述第四数值和所述第五数值之和的比值作为所述纠错覆盖率。
[0036]可选的，所述退格符为用户在输入过程中输入的；或，所述退格符为所述输入字符串上屏后用户输入的。
[0037]可选的，所述特征数据包括以下至少一种或多种的组合：
[0038]针对所述输入字符串的特征候选项的相关特征数据，所述特征候选项为与所述输入字符串匹配的候选项；
[0039]针对所述输入字符串的纠错候选项的相关特征数据；
[0040]反映所述用户输入习惯的用户特征数据。
[0041]第三方面，本申请实施例提供一种用于纠错评测的设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种纠错评测方法，其特征在于，所述方法包括：获取待分类纠错数据，所述待分类纠错数据为针对输入字符串产生的不满足用户纠错需求的纠错数据；通过分类器对所述待分类纠错数据进行分类，得到第一评测集和第二评测集；所述第一评测集中待分类纠错数据的纠错结果的可信度大于第一阈值，所述第二评测集中待分类纠错数据的纠错结果的可信度小于第二阈值，所述第一阈值大于所述第二阈值；所述分类器是根据纠错数据和纠错数据的特征数据训练得到的，所述特征数据用于反映所述纠错数据中纠错结果的可信度；根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，所述目标评测指标用于对所述纠错方案进行评测。2.根据权利要求1所述的方法，其特征在于，所述待分类纠错数据为展示纠错候选项且用户针对所述输入字符串选定特征候选项的纠错数据，所述目标评测指标为纠错误纠率；所述特征候选项为与所述输入字符串匹配的候选项。3.根据权利要求2所述的方法，其特征在于，所述根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，包括：通过所述纠错方案针对所述输入字符串产生纠错数据过程中，确定属于所述第二评测集的纠错数据的数量为第一数值，以及用户针对所述输入字符串选定特征候选项的纠错数据的数量为第二数值；将所述第一数值与所述第二数值的比值作为所述纠错误纠率。4.根据权利要求1所述的方法，其特征在于，所述待分类纠错数据为未展示纠错候选项且用户针对所述输入字符串输入退格符的纠错数据，所述目标评测指标为纠错覆盖率。5.根据权利要求4所述的方法，其特征在于，所述根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，包括：通过所述纠错方案针对所述输入字符串产生纠错数据过程中，确定属于所述第一评测集的纠错数据的数量为第三数值、针对所述输入字符串展示纠错候选项且选定所述纠错候选项的纠错数据的数量为第四数值，以及未展示纠错候选项且用户针对所述输入字符串输入退格符的数量为第五数值；将所述第三数值和所述第四数值之和与所述第四数值和所述第五数值之和的比值作为所述纠错覆盖率。6.根据权利要求4所述的方法，其特征在于，所述退格符为用户在输入过程中输入的；或，所述...
【专利技术属性】
技术研发人员：费腾，崔欣，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。