一种信息处理方法和装置制造方法及图纸

本发明专利技术公开了一种信息处理方法和装置，涉及智能化信息处理技术领域。该方法实施方式可包括：获取终端设备接收到的待处理信息，并将待处理信息转换为标准文本；利用包含编码器和解码器的预训练语言模型，分析标准文本，其中，包含编码器和解码器的预训练语言模型通过训练编码器和解码器得到，在训练解码器过程为训练解码器用的编码信息添加噪声；根据分析结果，生成对应于待处理信息的反馈信息，并提供反馈信息给终端设备。该实施方式能够减少噪声干扰，以准确地分析出用户需求，从而提高智能化业务服务的用户体验。化业务服务的用户体验。化业务服务的用户体验。

【技术实现步骤摘要】
一种信息处理方法和装置


[0001]本专利技术涉及智能化信息处理
，尤其涉及一种信息处理方法和装置。

技术介绍

[0002]为了能够使各种智能化业务服务比如智能客服服务、机器人服务等，能够准确地分析出用户的需求，以使用户获得满意的服务，需要训练出比较准确的自然语言模型，并将训练出的自然语言模型应用到智能化业务服务中。
[0003]目前，智能化业务服务常用的包含有编码器
‑
解码器的预训练语言模型作为自然语言模型，但是，现有的训练方式，会使包含有编码器
‑
解码器的预训练语言模型的去噪能力较差，很多情况下，由于受到噪声干扰，不能准确地分析出用户需求，导致用户对于智能化业务服务的体验较差。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种信息处理方法和装置，能够减少噪声干扰，以准确地分析出用户需求，从而提高智能化业务服务的用户体验。
[0005]为实现上述目的，第一方面，本专利技术实施例提供了一种信息处理方法，包括：
[0006]获取终端设备接收到的待处理信息，并将所述待处理信息转换为标准文本；
[0007]利用包含编码器和解码器的预训练语言模型，分析所述标准文本，其中，所述包含编码器和解码器的预训练语言模型通过训练所述编码器和所述解码器得到，在训练所述解码器过程为训练所述解码器用的编码信息添加噪声；
[0008]根据分析结果，生成对应于所述待处理信息的反馈信息，并提供反馈信息给所述终端设备。
[0009]可选地，所述将所述待处理信息转换为标准文本，包括：
[0010]识别所述待处理信息的信息类型；
[0011]在识别出所述待处理信息的信息类型为图片类型的情况下，从所述待处理信息中识别出第一文本信息，并从所述第一文本信息中提取出实体信息；
[0012]在识别出所述待处理信息的信息类型为语音类型的情况下，将所述待处理信息转化为第二文本信息，并从所述第二文本信息中提取出实体信息；
[0013]在识别出所述待处理信息的信息类型为文本类型的情况下，直接从所述待处理信息中提取出实体信息。
[0014]可选地，所述训练所述编码器和所述解码器，包括：
[0015]利用训练用数据训练所述编码器，并获取所述编码器输出的编码信息；
[0016]为所述编码信息添加噪音，并将添加噪音后的编码信息输入解码器，使所述解码器去噪音，以训练所述解码器。
[0017]可选地，所述利用训练用数据训练所述编码器，包括：
[0018]确定训练用数据，并对所述训练用数据包括的部分文本进行掩码处理；
[0019]利用所述编码器对掩码处理后的训练用数据进行编码。
[0020]可选地，所述编码器输出的编码信息包括所述训练用数据所包含字符的编码向量以及位置向量；
[0021]所述为所述编码信息添加噪音，包括：
[0022]随机调整任意一个或者多个所述字符对应的位置向量。
[0023]可选地，所述训练所述编码器和所述解码器，进一步包括：
[0024]基于每一个修改位置向量的字符所对应的预测概率函数，构建所述预训练语言模型的损失函数；
[0025]根据所述损失函数输出的预测结果，调整所述编码器和所述解码器。
[0026]可选地，所述随机修改任意一个或者多个所述字符对应的位置向量，包括：
[0027]针对所述编码信息包括一个或多个掩码处理的字符所对应的部分编码信息的情况，
[0028]调整任意一个或多个所述掩码处理的字符所对应于的部分编码信息中的位置向量。
[0029]可选地，所述调整任意一个或多个对应于所述掩码的部分编码信息中的位置向量，包括：
[0030]针对每一个训练周期执行下述操作：
[0031]确定当前训练周期对应的上一训练周期的历史预测文本；
[0032]修改所述历史预测文本中预测出的任意一个或多个字符所对应的编码信息中的位置向量，其中，所述历史预测文本中预测出的任意一个或多个字符是通过对所述掩码预测得到。
[0033]第二方面，本专利技术实施例提供一种信息处理装置，包括：信息转换模块、信息分析模块以及信息反馈模块，其中，
[0034]所述信息转换模块，用于获取终端设备接收到的待处理信息，并将所述待处理信息转换为标准文本；
[0035]所述信息分析模块，用于利用包含编码器和解码器的预训练语言模型，分析所述标准文本，其中，所述包含编码器和解码器的预训练语言模型通过训练所述编码器和所述解码器得到，在训练所述解码器过程为训练所述解码器用的编码信息添加噪声；
[0036]所述信息反馈模块，用于根据分析结果，生成对应于所述待处理信息的反馈信息，并提供反馈信息给所述终端设备。
[0037]上述专利技术中的一个实施例具有如下优点或有益效果：本专利技术实施例提供的方案利用包含编码器和解码器的预训练语言模型，分析待处理信息转换出的标准文本，由于包含编码器和解码器的预训练语言模型通过训练编码器和解码器得到，其中，在训练解码器过程为训练解码器用的编码信息添加噪声，使解码器能够识别出噪声，以使解码器能够尽可能地过滤掉噪声，则后续根据分析结果生成的对应于待处理信息的反馈信息能够比较贴合待处理信息，能够减少噪声干扰，以准确地分析出用户需求，从而提高智能化业务服务的用户体验。
[0038]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0039]附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：
[0040]图1是本专利技术实施例可以应用于其中的示例性系统架构图；
[0041]图2是根据本专利技术实施例的一种信息处理方法的主要流程的示意图；
[0042]图3是根据本专利技术实施例的训练编码器和解码器的主要流程示意图；
[0043]图4是根据本专利技术训练编码器和解码器过程包括的主要流程的示意图；
[0044]图5是根据本专利技术实施例的信息处理方法的主要流程的示意图；
[0045]图6是根据本专利技术实施例的信息处理装置的主要模块的示意图；
[0046]图7是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0047]以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0048]本专利技术实施例所针对的智能化场景可以为智能机器人、智能客服等进行具有针对性的推送信息生成、情感分析、意图识别等，以实现智能化分析用户需求，给出与用户需求相匹配的反馈信息。
[0049]图1示出了可以应用本专利技术实施例的信息处理方法或信息处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理方法，其特征在于，包括：获取终端设备接收到的待处理信息，并将所述待处理信息转换为标准文本；利用包含编码器和解码器的预训练语言模型，分析所述标准文本，其中，所述包含编码器和解码器的预训练语言模型通过训练所述编码器和所述解码器得到，在训练所述解码器过程为训练所述解码器用的编码信息添加噪声；根据分析结果，生成对应于所述待处理信息的反馈信息，并提供反馈信息给所述终端设备。2.根据权利要求1所述的信息处理方法，其特征在于，所述将所述待处理信息转换为标准文本，包括：识别所述待处理信息的信息类型；在识别出所述待处理信息的信息类型为图片类型的情况下，从所述待处理信息中识别出第一文本信息，并从所述第一文本信息中提取出实体信息；在识别出所述待处理信息的信息类型为语音类型的情况下，将所述待处理信息转化为第二文本信息，并从所述第二文本信息中提取出实体信息；在识别出所述待处理信息的信息类型为文本类型的情况下，直接从所述待处理信息中提取出实体信息。3.根据权利要求1所述的信息处理方法，其特征在于，所述训练所述编码器和所述解码器，包括：利用训练用数据训练所述编码器，并获取所述编码器输出的编码信息；为所述编码信息添加噪音，并将添加噪音后的编码信息输入解码器，使所述解码器去噪音，以训练所述解码器。4.根据权利要求3所述的信息处理方法，其特征在于，所述利用训练用数据训练所述编码器，包括：确定训练用数据，并对所述训练用数据包括的部分文本进行掩码处理；利用所述编码器对掩码处理后的训练用数据进行编码。5.根据权利要求3或4所述的信息处理方法，其特征在于，所述编码器输出的编码信息包括所述训练用数据所包含字符的编码向量以及位置向量；所述为所述编码信息添加噪音，包括：随机调整任意一个或者多个所述字符对应的位置向量。6.根据权利要求5所述的信息处理方法，其特征在于，所述训练所述编码器和所述解码器，进一步包括：基于每一个修改位置向量的字...

【专利技术属性】
技术研发人员：李浩然，吴友政，
申请(专利权)人：北京京东尚科信息技术有限公司，
类型：发明
国别省市：