一种文本类别标注的方法、电子设备和可读存储介质技术

本发明专利技术实施例涉及计算机技术领域，公开了一种针对文本层次结构的类别标注的方法、电子设备和可读存储介质。本发明专利技术中文本类别标注的方法，包括：结合认知因子搜索待标注文本对应的候选类别；根据候选类别，确定分类模型，分类模型根据各第一样本文本，以及各第一样本文本对应的底层子类别训练获得，其中，底层子类别位于候选类别所在类别层次结构的底层，候选类别位于类别层次结构的顶层且候选类别为父类别，类别层次结构至少包括2层类别；根据待标注文本以及分类模型，确定待标注文本的实际文本类别，并按照实际文本类别标注待标注文本。本实施方式，使得能够减少标注错误发生的概率，提高标注的准确性。

【技术实现步骤摘要】
一种文本类别标注的方法、电子设备和可读存储介质
本专利技术实施例涉及计算机
，特别涉及一种文本类别标注的方法、电子设备和可读存储介质。
技术介绍
由于互联网的快速发展，人们也越来越依赖于从网络中获取信息。但是文本数据量的飞速增长，混乱分布极大影响了信息获取的效率与结果。为了更好的提供对文本的检索，通常会对文本数据进行类别标注，例如，对新闻类文本进行类别(如：体育类、娱乐类等)标注，从而当用户在检索时，可以快速且准确地检索到相关文本。早期的文本标注方法来源认知学，人们通过日常生活积累的经验以及一定推理规则判断某一篇文本的所属类别。而随着计算机技术的发展，人们希望通过给予机器AI(Artificialintelligence)智慧，产生认知AI，让机器通过学习产生经验，自动判断文本的类别。当前该方面的研究工作已经取得了较大的成果，也导致了人们直接依赖算法判断结果，而忽略其他因素。专利技术人发现相关文本分类技术中至少存在如下问题：由于目前的文本数据量大，而随着数据的增多，类别的种类增加，导致对文本的类别进行自动标注过程中，出现错误的概率大大增加，同时也降低了对文本类别标注的速度。
技术实现思路
本专利技术实施方式的目的在于提供一种文本类别标注的方法、电子设备和可读存储介质，使得能够减少标注错误发生的概率，提高标注的准确性。为解决上述技术问题，本专利技术的实施方式提供了一种文本类别标注的方法，包括：搜索待标注文本对应的候选类别；根据候选类别，确定分类模型，分类模型根据各第一样本文本，以及各第一样本文本对应的底层子类别训练获得，其中，底层子类别位于候选类别所在类别层次结构的底层，候选类别位于类别层次结构的顶层且候选类别为父类别，类别层次结构至少包括2层类别；根据待标注文本以及分类模型，确定待标注文本的实际文本类别，并按照实际文本类别标注待标注文本。本专利技术的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的文本类别标注的方法。本专利技术的实施方式还提供了一种计算机可读存储介质，计算机程序被处理器执行时实现上述的文本类别标注的方法。本专利技术实施方式相对于现有技术而言，由于文本类别的种类非常庞大，通过搜索待标注文本对应的候选类别，可以缩小用于确定该待标注文本的类别的规模，同时在搜索候选类别的过程，将得到的认知因子与相似度的值进行结合，从而矫正相似度，提高对各类别的搜索的准确率，且由于该待标注文本所对应的候选类别的底层子类别的数量远远小于所有底层子类别的数量，因而通过分类模型可以快速从该候选类别的底层子类别中确定出该待标注文本的实际文本类别，提高了确定该待标注文本的类别的确定速度，并且创新性的提出利用机器学习算法产生的结果作为认知因子，而非仅仅简单依赖该结果，综合相似度与认知因子提高了候选类搜索的准确度；通过该待标注文本对应的候选类别，可以确定出分类模型，使得用于确定待标注文本的分类模型更具有针对性，提高了确定待标注文本类别的准确性；候选类别在类别层次结构的顶层，且为父类别，该类别层次结构中包括了至少2层类别，由于无需按照该类别层次结构的顺序，依次判断该待标注文本在每层的所属子类别，而是直接获取了对应的候选类别的所有底层子类别，因而可以减小类别判断的错误所造成影响，能够减少标注错误发生的概率，提高标注的准确性。另外，搜索待标注文本对应的候选类别，具体包括：获取待标注文本的候选类别的认知因子集合，认知因子集合可以是包括匹配的候选类别以及与匹配的候选类别对应的初始概率值；计算待标注文本的类别与各候选类别之间的相似度，聚集各相似度获得相似度集合；根据认知因子集合以及相似度集合，确定候选类别概率集合；按照预设规则以及候选类别概率集合，选取待标注文本的候选类别。结合认知因子集合和相似度集合，确定候选类别概率集合，大大提高了搜寻待标注文本对应的候选类别的准确性。另外，获取待标注文本的候选类别的认知因子集合，具体包括：将待标注文本输入预设的初始候选类别分类模型，获得待标注文本的候选类别认知因子集合，其中，初始候选类别分类模型根据各第二样本文本以及各第二样本文本对应的候选类别训练获得。通过预先构建的初始候选类别分类模型，可以快速确定出该待标注文本的认知因子集合。另外，按照预设规则以及候选类别概率集合，选取待标注文本的候选类别，具体包括：从候选类别概率集合中，选取大于预设阈值的概率值，并将选取的概率值所对应的候选类别作为待标注文本的候选类别；或者，将候选类别概率集中的概率值按照降序排列，并从排序后的概率集合中选取预设个数的概率值，并将选取的概率值所对应的候选类别作为待标注文本的候选类别。根据底层子类别集合，可以选取与该底层子类别对应的分类模型，从而可以提高对待标注文本的类别确定的速度；选取值较大的概率值所对应的候选类别，可以提高对后续对实际文本类别确定的速度和准确度。另外，根据候选类别，确定分类模型，具体包括：根据候选类别，以及候选类别对应的类别层次结构，获取类别层次结构中所有底层子类别构成的底层子类别集合；根据底层子类别集合，确定分类模型。根据底层子类别集合，可以选取与该底层子类别对应的分类模型，从而可以提高对待标注文本的类别确定的速度。另外，根据底层子类别集合，确定分类模型，具体包括：根据底层子类别集合，以及预设的底层子类别集合与分类模型之间的对应关系，确定分类模型。根据对应关系，可以快速确定出该分类模型。另外，分类模型的训练过程，具体包括：按照底层子类别集合，获取与底层子类别集合对应的第一样本文本集合，第一样本文本集合包括与每个底层子类别对应的第一样本文本；将各第一样本文本作为分类模型的输入数据，将与各第一样本文本对应的底层子类别作为分类模型的输出数据；根据输入数据和输出数据，训练获得分类模型。分类模型是根据底层子类别集合对应的第一样本文本集合训练获得，使得训练获得的分类模型更具有针对性，从而提高了后续使用该分类模型确定待标注文本的实际文本类别的速度。另外，在训练获得分类模型之后，且在根据底层子类别集合，确定分类模型之前，文本类别标注的方法还包括：保存训练获得的分类模型，以及分类模型与底层子类别集合之间的对应关系。实时保存训练得到的分类模型，可以不断丰富分类模型的种类，提高后续使用分类模型确定待标注文本的实际文本类别的准确性。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是根据本专利技术第一实施方式提供的一种文本类别标注的方法的具体流程图；图2是根据本专利技术第一实施方式提供的一种类别层次结构的示意图；图3是根据本专利技术第一实施方式提供的一种候选类别对应的类别层次结构的示意图；图4是根据本专利技术第二实施方式提供的一种文本类别标注的方法中训练分类模型的具体流程示意图；图5是根据本专利技术第三实施方式提供的一种电子设备的具体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普本文档来自技高网...

【技术保护点】
1.一种文本类别标注的方法，其特征在于，包括：搜索待标注文本对应的候选类别；根据所述候选类别，确定分类模型，所述分类模型根据各第一样本文本，以及各所述第一样本文本对应的底层子类别训练获得，其中，所述底层子类别位于所述候选类别所在类别层次结构的底层，所述候选类别位于所述类别层次结构的顶层且所述候选类别为父类别，所述类别层次结构至少包括2层类别；根据所述待标注文本以及所述分类模型，确定所述待标注文本的实际文本类别，并按照所述实际文本类别标注所述待标注文本。

【技术特征摘要】
1.一种文本类别标注的方法，其特征在于，包括：搜索待标注文本对应的候选类别；根据所述候选类别，确定分类模型，所述分类模型根据各第一样本文本，以及各所述第一样本文本对应的底层子类别训练获得，其中，所述底层子类别位于所述候选类别所在类别层次结构的底层，所述候选类别位于所述类别层次结构的顶层且所述候选类别为父类别，所述类别层次结构至少包括2层类别；根据所述待标注文本以及所述分类模型，确定所述待标注文本的实际文本类别，并按照所述实际文本类别标注所述待标注文本。2.根据权利要求1所述的文本类别标注的方法，其特征在于，所述搜索待标注文本对应的候选类别，具体包括：获取所述待标注文本的候选类别的认知因子集合，所述认知因子集合包括匹配的候选类别以及与所述匹配的候选类别对应的初始概率值；计算所述待标注文本的类别与各候选类别之间的相似度，聚集各相似度获得相似度集合；根据所述认知因子集合以及所述相似度集合，确定所述候选类别概率集合；按照预设规则以及所述候选类别概率集合，选取所述待标注文本的候选类别。3.根据权利要求2所述的文本类别标注的方法，其特征在于，所述获取所述待标注文本的候选类别的认知因子集合，具体包括：将所述待标注文本输入预设的初始候选类别分类模型，获得所述待标注文本的候选类别认知因子集合，其中，所述初始候选类别分类模型根据各第二样本文本以及各所述第二样本文本对应的候选类别训练获得。4.根据权利要求2所述的文本类别标注的方法，其特征在于，所述按照预设规则以及所述候选类别概率集合，选取所述待标注文本的候选类别，具体包括：从所述候选类别概率集合中，选取大于预设阈值的概率值，并将选取的概率值所对应的候选类别作为所述待标注文本的候选类别；或者，将候选类别概率集中的概率值降序排列，并从排序后的概率集合中选取预设个数的概率值，并将选取的概率值所对应的候选类别作为所...

【专利技术属性】
技术研发人员：过弋，张振豪，王志宏，樊振，韩美琪，王家辉，
申请(专利权)人：华东理工大学，石河子大学，
类型：发明
国别省市：上海,31