基于深度学习的文本处理方法、装置、设备及介质制造方法及图纸

本申请实施例公开了一种基于深度学习的文本处理方法、装置、设备及介质，涉及自然语言处理领域。方法包括：获取样本集合和由样本集合训练的深度学习模型；选取样本集合中的目标样本文本和目标样本文本对应的样本处理结果；调用深度学习模型，对目标样本文本进行处理，得到多个处理结果的概率，选取概率最高的处理结果作为目标样本文本对应的预测处理结果；响应于预测处理结果与样本处理结果不同，对多个处理结果的概率进行统计处理，获取目标样本文本的处理结果分布特征；响应于处理结果分布特征满足目标条件，对样本集合中的样本处理结果进行修正处理，得到修正后的样本集合，提高了样本集合的准确性。

【技术实现步骤摘要】
基于深度学习的文本处理方法、装置、设备及介质
本申请涉及自然语言处理领域，特别涉及一种基于深度学习的文本处理方法、装置、设备及介质。
技术介绍
随着人工智能技术和自然语言处理技术的发展，目前越来越多地应用模型对文本进行处理，例如文本分类模型、文本翻译模型等。相关技术中，通常会先获取样本集合，该样本集合中包括多条样本文本和该多条样本文本对应的样本处理结果，根据样本集合对模型进行训练。其中，模型的训练效果取决于样本集合中样本处理结果是否准确，如果样本集合中的部分样本处理结果不准确，可能会影响模型的准确度。
技术实现思路
本申请实施例提供了一种基于深度学习的文本处理、装置、设备及介质，可以提高样本集合的准确性。所述技术方案如下：一方面，提供了一种基于深度学习的文本处理方法，所述方法包括：获取样本集合和由所述样本集合训练的深度学习模型，所述样本集合中包括多条样本文本和所述多条样本文本对应的样本处理结果；选取所述样本集合中的目标样本文本和所述目标样本文本对应的样本处理结果；调用所述深度学习模型，对所述目标样本文本进行处理，得到多个处理结果的概率，选取概率最高的处理结果作为所述目标样本文本对应的预测处理结果；响应于所述预测处理结果与所述样本处理结果不同，对所述多个处理结果的概率进行统计处理，获取所述目标样本文本的处理结果分布特征，所述处理结果分布特征用于指示所述深度学习模型处理所述目标样本文本得到的处理结果的不确定性程度；响应于所述处理结果分布特征满足目标条件，对所述样本集合中的所述样本处理结果进行修正处理，得到修正后的样本集合。另一方面，提供了一种基于深度学习的文本处理装置，所述装置包括：获取模块，用于获取样本集合和由所述样本集合训练的深度学习模型，所述样本集合中包括多条样本文本和所述多条样本文本对应的样本处理结果；选取模块，用于选取所述样本集合中的目标样本文本和所述目标样本文本对应的样本处理结果；第一处理模块，用于调用所述深度学习模型，对所述目标样本文本进行处理，得到多个处理结果的概率，选取概率最高的处理结果作为所述目标样本文本对应的预测处理结果；第二处理模块，用于响应于所述预测处理结果与所述样本处理结果不同，对所述多个处理结果的概率进行统计处理，获取所述目标样本文本的处理结果分布特征，所述处理结果分布特征用于指示所述深度学习模型处理所述目标样本文本得到的处理结果的不确定性程度；修正模块，用于响应于所述处理结果分布特征满足目标条件，对所述样本集合中的所述样本处理结果进行修正处理，得到修正后的样本集合。可选地，所述修正模块，用于响应于所述处理结果分布特征满足所述目标条件，将所述样本集合中的所述样本处理结果替换为所述预测处理结果，得到所述修正后的样本集合，或者，将所述样本集合中的所述目标样本文本和所述样本处理结果删除，得到所述修正后的样本集合。可选地，所述修正模块，包括：统计处理单元，用于对所述处理结果分布特征进行统计处理，得到所述预测处理结果的准确度；修正处理单元，用于响应于所述预测处理结果的准确度大于预设准确度，对所述样本集合中的所述样本处理结果进行修正处理，得到所述修正后的样本集合。可选地，所述处理结果分布特征为所述目标样本文本的困惑度，所述困惑度与所述预测处理结果的准确度呈正相关关系；或者，所述处理结果分布特征为所述目标样本文本的信息熵，所述信息熵与所述预测处理结果的准确度呈负相关关系。可选地，所述装置还包括：编码模块，用于对第一文本中的每个汉字字符进行编码，得到所述每个汉字字符对应的汉字特征值；映射关系获取模块，用于获取包括多个预设特征值以及对应的拼音字符的映射关系，所述多个预设特征值按照顺序排列；查询模块，用于根据每个汉字特征值与所述多个预设特征值之间的大小关系以及所述多个预设特征值的顺序，查询所述每个汉字特征值对应的拼音字符；转换模块，用于将所述每个汉字字符分别转换为所述每个汉字特征值对应的拼音字符，得到第二文本；所述第一处理模块，用于调用所述深度学习模型，对所述第二文本进行处理，得到处理结果。可选地，所述查询模块，用于对于每个汉字特征值，进行如下查询处理：确定所述多个预设特征值中位于中间位置的第一预设特征值；响应于所述第一预设特征值与所述汉字特征值相同，将所述第一预设特征值对应的拼音字符，作为所述汉字特征值对应的拼音字符；响应于所述第一预设特征值小于所述汉字特征值，根据所述多个预设特征值的顺序确定大于所述第一预设特征值的第二预设特征值，直至确定的预设特征值与所述汉字特征值相同，将所述确定的预设特征值对应的拼音字符作为所述汉字特征值对应的拼音字符；响应于所述第一预设特征值大于所述汉字特征值，根据所述多个预设特征值的顺序确定小于所述第一预设特征值的第三预设特征值，直至确定的预设特征值与所述汉字特征值相同，将所述确定的预设特征值对应的拼音字符作为所述汉字特征值对应的拼音字符。可选地，所述查询模块，还用于若所述多个预设特征值按照降序排列，从位于所述第一预设特征值之前的预设特征值中，确定所述第二预设特征值；所述查询模块，还用于若所述多个预设特征值按照升序排列，从位于所述第一预设特征值之后的预设特征值中，确定所述第二预设特征值。可选地，所述查询模块，还用于若所述多个预设特征值按照降序排列，将所述第一预设特征值的上一预设特征值确定为所述第二预设特征值；或者；所述查询模块，还用于若所述多个预设特征值按照降序排列，将位于所述多个预设特征值中的第一个预设特征值与所述第一预设特征值的中间位置的预设特征值，确定为所述第二预设特征值。可选地，所述查询模块，还用于若所述多个预设特征值按照升序排列，将所述第一预设特征值的下一预设特征值确定为所述第二预设特征值；或者；所述查询模块，还用于若所述多个预设特征值按照升序排列，将位于所述多个预设特征值中的最后一个预设特征值与所述第一预设特征值的中间位置的预设特征值，确定为所述第二预设特征值。可选地，所述映射关系获取模块，还用于根据当前应用程序所属的应用组，从所述应用组对应的共享文件中获取所述映射关系，所述应用组中包括至少一个应用程序。可选地，所述第一处理模块，包括：获取单元，用于根据当前应用程序所属的应用组，从所述应用组对应的共享文件中获取所述深度学习模型的模型文件；处理单元，用于通过调用所述模型文件运行所述深度学习模型，对所述第二文本进行处理，得到所述处理结果。再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现如上述方面所述的基于深度学习的文本处理方法中所执行的操作。再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执本文档来自技高网...

【技术保护点】
1.一种基于深度学习的文本处理方法，其特征在于，所述方法包括：/n获取样本集合和由所述样本集合训练的深度学习模型，所述样本集合中包括多条样本文本和所述多条样本文本对应的样本处理结果；/n选取所述样本集合中的目标样本文本和所述目标样本文本对应的样本处理结果；/n调用所述深度学习模型，对所述目标样本文本进行处理，得到多个处理结果的概率，选取概率最高的处理结果作为所述目标样本文本对应的预测处理结果；/n响应于所述预测处理结果与所述样本处理结果不同，对所述多个处理结果的概率进行统计处理，获取所述目标样本文本的处理结果分布特征，所述处理结果分布特征用于指示所述深度学习模型处理所述目标样本文本得到的处理结果的不确定性程度；/n响应于所述处理结果分布特征满足目标条件，对所述样本集合中的所述样本处理结果进行修正处理，得到修正后的样本集合。/n

【技术特征摘要】
1.一种基于深度学习的文本处理方法，其特征在于，所述方法包括：
获取样本集合和由所述样本集合训练的深度学习模型，所述样本集合中包括多条样本文本和所述多条样本文本对应的样本处理结果；
选取所述样本集合中的目标样本文本和所述目标样本文本对应的样本处理结果；
调用所述深度学习模型，对所述目标样本文本进行处理，得到多个处理结果的概率，选取概率最高的处理结果作为所述目标样本文本对应的预测处理结果；
响应于所述预测处理结果与所述样本处理结果不同，对所述多个处理结果的概率进行统计处理，获取所述目标样本文本的处理结果分布特征，所述处理结果分布特征用于指示所述深度学习模型处理所述目标样本文本得到的处理结果的不确定性程度；
响应于所述处理结果分布特征满足目标条件，对所述样本集合中的所述样本处理结果进行修正处理，得到修正后的样本集合。


2.根据权利要求1所述的方法，其特征在于，所述响应于所述处理结果分布特征满足目标条件，对所述样本集合中的所述样本处理结果进行修正处理，得到修正后的样本集合，包括：
响应于所述处理结果分布特征满足所述目标条件，将所述样本集合中的所述样本处理结果替换为所述预测处理结果，得到所述修正后的样本集合，或者，将所述样本集合中的所述目标样本文本和所述样本处理结果删除，得到所述修正后的样本集合。


3.根据权利要求1所述的方法，其特征在于，所述响应于所述处理结果分布特征满足目标条件，对所述样本集合中的所述样本处理结果进行修正处理，得到修正后的样本集合，包括：
对所述处理结果分布特征进行统计处理，得到所述预测处理结果的准确度；
响应于所述预测处理结果的准确度大于预设准确度，对所述样本集合中的所述样本处理结果进行修正处理，得到所述修正后的样本集合。


4.根据权利要求3所述的方法，其特征在于，所述处理结果分布特征为所述目标样本文本的困惑度，所述困惑度与所述预测处理结果的准确度呈正相关关系；或者，
所述处理结果分布特征为所述目标样本文本的信息熵，所述信息熵与所述预测处理结果的准确度呈负相关关系。


5.根据权利要求1所述的方法，其特征在于，所述获取样本集合和由所述样本集合训练的深度学习模型之后，所述方法还包括：
对第一文本中的每个汉字字符进行编码，得到所述每个汉字字符对应的汉字特征值；
获取包括多个预设特征值以及对应的拼音字符的映射关系，所述多个预设特征值按照顺序排列；
根据每个汉字特征值与所述多个预设特征值之间的大小关系以及所述多个预设特征值的顺序，查询所述每个汉字特征值对应的拼音字符；
将所述每个汉字字符分别转换为所述每个汉字特征值对应的拼音字符，得到第二文本；
调用所述深度学习模型，对所述第二文本进行处理，得到处理结果。


6.根据权利要求5所述的方法，其特征在于，所述根据每个汉字特征值与所述多个预设特征值之间的大小关系以及所述多个预设特征值的顺序，查询所述每个汉字特征值对应的拼音字符，包括：
对于每个汉字特征值，进行如下查询处理：
确定所述多个预设特征值中位于中间位置的第一预设特征值；
响应于所述第一预设特征值与所述汉字特征值相同，将所述第一预设特征值对应的拼音字符，作为所述汉字特征值对应的拼音字符；
响应于所述第一预设特征值小于所述汉字特征值，根据所述多个预设特征值的顺序确定大于所述第一预设特征值的第二预设特征值，直至确定的预设特征值与所述汉字特征值相同，将所述确定的预设特征值对应的拼音字符作为所述汉字特征值对应的拼音字符；
响应于所述第一预设特征值大于所述汉字特征值，根据所述多个预设特征值的顺序确定小于所述第一预设特征值的第三预设特征值，直至确定的预设特征值与所述汉...

【专利技术属性】
技术研发人员：苗思奇，卢子填，胡荣杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44