人机交互的数据处理方法及服务器技术

本申请提供一种人机交互的数据处理方法及服务器，本申请的方法，通过基于预先标注的任一会话的多轮交互信息确定各轮输入信息的标注的上文信息，并通过人机交互模型根据各轮输入信息和标注的上文信息输出各轮输入信息的响应结果，可保证各个人机交互模型在多轮交互中相同输入信息的上文信息是一致的；根据至少一次会话中各轮的输入信息、上文信息和响应结果，确定人机交互模型的多轮交互能力测评信息，可使用统一预先标注的多轮交互信息公平地测评人机交互模型的多轮交互能力，得到人机交互模型的多轮交互能力的测评信息，可指导人机交互模型的上线判定或更新人机交互模型的优化版本，可提升人机交互模型的人机交互质量。可提升人机交互模型的人机交互质量。可提升人机交互模型的人机交互质量。

【技术实现步骤摘要】
人机交互的数据处理方法及服务器


[0001]本申请涉及计算机技术，尤其涉及一种人机交互的数据处理方法及服务器。

技术介绍

[0002]自然语言是人类逻辑和思维的重要载体，在人机交互，甚至通用人工智能领域具有非常重大的意义。但是因为自然语言的复杂性和模糊性，一直以来缺少直接面向无约束的自然语言的机器设施。
[0003]随着人工智能的发展，大模型被广泛应用于自然语言处理领域的人机交互中。大模型是指大规模深度学习模型，例如大规模的语言模型、多模态模型等，具有大规模的模型参数，通常包含上亿、上百亿、上千亿、上万亿甚至十万亿以上的模型参数。
[0004]多轮交互能力是目前人机交互模型具备重要价值能力，如何客观评估这些人机交互模型的多轮交互能力非常重要。对于相同的输入指令，由于不同的人机交互模型产出的结果不一样，导致评估人机交互模型与人类的多轮交互能力时难以统一用一套预先准备好的指令，因此难以做到公平地测评不同人机交互模型的多轮交互能力，不利于模型迭代中选择多轮交互能力较好的优质模型、不利于控制上线模型进行多轮交互的质量，导致人机交互质量差。

技术实现思路

[0005]本申请提供一种人机交互的数据处理方法及服务器，用以解决无法公平地测评不同人机交互模型的多轮交互能力，不利于模型迭代中选择多轮交互能力较好的优质模型、不利于控制上线模型进行多轮交互的质量，导致人机交互质量差问题。
[0006]第一方面，本申请提供一种人机交互的数据处理方法，包括：获取预先标注的至少一次会话的多轮交互信息，一次会话的多轮交互信息包括多轮输入信息和各轮输入信息的预先标注的响应信息；根据预先标注的任意一次会话的多轮输入信息和各轮输入信息对应的预先标注的响应信息，确定所述会话中各轮输入信息的上文信息，并将所述会话中各轮输入信息和输入信息的上文信息输入人机交互模型，通过人机交互模型输出各轮输入信息的响应结果；根据所述至少一次会话中各轮输入信息、各轮输入信息的上文信息和响应结果，确定所述人机交互模型的多轮交互能力的测评信息；输出所述人机交互模型的多轮交互能力的测评信息。
[0007]第二方面，本申请提供一种人机交互的数据处理方法，应用于服务器，包括：接收端侧设备发送的对多个语言模型的多轮交互能力测评请求；获取预先标注的至少一次会话的多轮交互信息，以及各次会话覆盖的多轮交互能力，所述多轮交互信息包括多轮输入信息和各轮输入信息的预先标注的响应信息；根据预先标注的任意一次会话的多轮输入信息和各轮输入信息的预先标注的响应信息，确定所述会话中各轮输入信息的上文信息，并将所述会话中各轮输入信息和输入信息的上文信息输入各所述语言模型，通过各所述语言模型输出各轮输入信息的响应结果；根据所述至少一次会话中各轮输入信息、各轮输入信息
的上文信息和各所述语言模型输出的各轮输入信息的响应结果，以及各次会话覆盖的多轮交互能力，确定所述多个语言模型在各类多轮交互能力维度的测评信息；向所述端侧设备输出所述多个语言模型在各类多轮交互能力维度的测评信息。
[0008]第三方面，本申请提供一种人机交互的数据处理方法，应用于服务器，包括：获取端侧设备提供的待测评模型；响应于端侧设备发送的对所述待测评模型的多轮交互能力测评请求，获取预先标注的至少一次会话的多轮交互信息，一次会话的多轮交互信息包括多轮输入信息和输入信息的预先标注的响应信息；根据预先标注的任意一次会话的多轮输入信息和输入信息的预先标注的响应信息，确定所述会话中各轮输入信息的上文信息，并将所述会话中各轮输入信息和输入信息的上文信息输入所述待测评模型，通过所述待测评模型输出各轮输入信息的响应结果；根据所述至少一次会话中各轮输入信息、各轮输入信息的上文信息和响应结果，确定所述待测评模型的多轮交互能力的测评信息；向所述端侧设备输出所述待测评模型的多轮交互能力的测评信息。
[0009]第四方面，本申请提供一种服务器，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如前述任一方面所述的方法。
[0010]本申请提供的人机交互的数据处理方法及服务器，通过获取预先标注的至少一次会话的多轮交互信息，一次会话的多轮交互信息包括多轮输入信息和各轮输入信息的预先标注的响应信息；根据预先标注的任意一次会话的多轮交互信息，确定本次会话中各轮输入信息的上文信息，并将本次会话中各轮输入信息和输入信息的上文信息输入人机交互模型，通过人机交互模型输出各轮输入信息的响应结果，使得对于预先标注的任意一次会话的多轮交互信息，应用于测评多个不同的人机交互模型时，保证各个人机交互模型在本次会话的多轮交互中相同输入信息的历史上文信息是完全一致的；进一步地，根据至少一次会话中各轮输入信息、各轮输入信息的上文信息和响应结果，确定人机交互模型的多轮交互能力的测评信息，可以使用统一的预先标注的多轮交互信息，公平、客观地测评不同人机交互模型的多轮交互能力，并输出人机交互模型的多轮交互能力的测评信息，测评信息用于指导人机交互模型的上线判定或更新人机交互模型的优化版本，可以在人机交互模型迭代中准确地选择优质模型，提升迭代更新得到的人机交互模型的多轮交互质量，提升上线模型的多轮交互质量，从而提升人机交互中多轮交互的质量。
附图说明
[0011]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0012]图1为本申请所适用的一示例系统架构的示意图；图2为本申请一示例性实施例提供的人机交互的数据处理方法流程图；图3为本申请一示例性实施例提供的前端交互界面的示例图；图4为本申请另一示例性实施例提供的人机交互的数据处理方法流程图；图5为本申请一示例性实施例提供的人机交互的数据处理方法的交互流程图；图6为本申请实施例提供的一种服务器的结构示意图。
[0013]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图
和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0014]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0015]首先对本申请所涉及的名词进行解释：会话：计算机术语，是指一个终端用户与人机交互系统进行通讯的过程，比如从用户进入人机交互系统开始使用人机交互功能，到用户推出人机交互系统结束人机交互，就是一次会话。一次会话过程中，用户输入一个指令，人机交互系统给出该指令的答复，这是一轮对话，在一次会话中可以包括用户与人机交互系统的一轮或多轮对话。
[0016]视觉问答任务：根据输入的图像和问题，从输入图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机交互的数据处理方法，其特征在于，包括：获取预先标注的至少一次会话的多轮交互信息，一次会话的多轮交互信息包括多轮输入信息和各轮输入信息的预先标注的响应信息；根据预先标注的任意一次会话的多轮输入信息和各轮输入信息对应的预先标注的响应信息，确定所述会话中各轮输入信息的上文信息，并将所述会话中各轮输入信息和输入信息的上文信息输入人机交互模型，通过人机交互模型输出各轮输入信息的响应结果；根据所述至少一次会话中各轮输入信息、各轮输入信息的上文信息和响应结果，确定所述人机交互模型的多轮交互能力的测评信息；输出所述人机交互模型的多轮交互能力的测评信息。2.根据权利要求1所述的方法，其特征在于，所述根据预先标注的任意一次会话的多轮输入信息和输入信息的预先标注的响应信息，确定所述会话中各轮输入信息的上文信息，并将所述会话中各轮输入信息和各轮输入信息的上文信息输入人机交互模型，通过人机交互模型输出各轮输入信息的响应结果，包括：根据预先标注的任意一次会话的多轮输入信息和各轮输入信息的预先标注的响应信息，依次对所述会话中各轮输入信息进行如下交互处理：将所述会话的上下文信息作为本轮输入信息的上文信息，其中所述会话的上下文信息包括所述会话的历史交互信息；将本轮输入信息及所述会话的上下文信息输入人机交互模型，通过所述人机交互模型输出本轮输入信息的响应结果；更新所述会话的上下文信息，并使用本轮输入信息的预先标注的响应信息，替换更新后所述会话的上下文信息中本轮输入信息的响应结果。3.根据权利要求1所述的方法，其特征在于，所述根据预先标注的任意一次会话的多轮输入信息和各轮输入信息的预先标注的响应信息，确定所述会话中各轮输入信息的上文信息，包括：根据预先标注的任意一次会话的多轮输入信息和各轮输入信息的预先标注的响应信息，对于所述会话中的任一轮输入信息，将本轮之前的输入信息及输入信息的预先标注的响应信息，作为本轮输入信息的上文信息。4.根据权利要求1所述的方法，其特征在于，所述根据所述至少一次会话中各轮输入信息、各轮输入信息的上文信息和响应结果，确定所述人机交互模型的多轮交互能力的测评信息，包括：根据所述至少一次会话中各轮输入信息、各轮输入信息的上文信息和响应结果，确定各次会话中所述人机交互模型的交互质量信息；根据各次会话中所述人机交互模型的交互质量信息，确定所述人机交互模型的多轮交互能力的测评信息。5.根据权利要求4所述的方法，其特征在于，所述获取预先标注的至少一次会话的多轮交互信息之后，包括：标注各次会话覆盖的多轮交互能力，所述多轮交互能力至少包括如下类别：上下文相关、上下文无关、上下文一致。6.根据权利要求5所述的方法，其特征在于，所述根据各次会话中所述人机交互模型的
交互质量信息，确定所述人机交互模型的多轮交互能力的测评信息，包括：根据所述至少一次会话所覆盖的多轮交互能力，以及各次会话中所述人机交互模型的交互质量信息，根据覆盖同一类多轮交互能力的会话中所述人机交互模型的交互质量信息，计算得到所述人机交互模型在各类多轮交互能力维度的测评信息。7.根据权利要求6所述的方法，其特征在于，所述确定所述人机交互模型在各类多轮交互能力维度的测评信息之后，还包括：根据各类多轮交互能力对应的权重系数，将所述人机交互模型在各类多轮交互能力维度的测评信息加权综合，得到所述人机交互模型的多轮交互能力的综合测评信息；根据所述人机交互模型的多轮交互能力的综合测评信息，确定所述人机交互模型是否满足上线条件；输出所述人机交互模型的上线提示信息和/或所述人机交互模型的测评信息，所述上线提示信息指示所述人机交互模型是否满足上线条件。8.根据权利要求7所述的方法，其特征在于...

【专利技术属性】
技术研发人员：张一昌，林俊旸，周畅，周靖人，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：