人机聊天体验评估体系制造技术

本发明专利技术提供一种用于人工智能设备交互能力评估的模型构建方法，属于人机交互评估技术领域。所述方法包括：确定不同的评估指标和所述评估指标的层级关系，按照所述层级关系构建关于所述评估指标的评估指标模型；获取人工智能设备关于所述评估指标的数据，利用所述数据对所述评估指标模型进行关于权重系数的参数估计，获得具有权重系数值的评估指标模型。本发明专利技术提供了人机交互评估指标模型，开创性地通过用户体验的量化数据评估人机交互能力，该模型具有较好的信度与效度，结构合理，且内部一致性良好，特别地，可以用来监测人机聊天服务体验。

【技术实现步骤摘要】
人机聊天体验评估体系
本专利技术涉及人机交互评估
，具体地涉及一种用于人工智能设备交互能力评估的模型构建方法、一种用于人工智能设备交互能力评估的方法、一种用于人工智能设备交互能力评估的测评数据生成方法、一种预测用户体验评分方法、一种用于人工智能设备交互能力评估的服务系统、一种用于人工智能设备交互能力评估的设备以及一种计算机可读存储介质。
技术介绍
人机聊天，即开放域聊天、没有固定答案的对话，是未来人工智能机器语音的发展趋势，能充分与人进行有语境的顺畅交流是机器语音交互有较高能力的体现。对于智能音箱来说，聊天体验将影响用户对产品的整体体验和感受。目前智能音箱的聊天服务属于探索期，产品方不知道什么样的聊天体验过程是好的。而目前业内对语音对话的评估主要依赖于一些行为数据(如对话轮数、时长)的客观评估或只对聊天话术进行评估(评估维度过于粗略，如：回复合理等)，缺少完整且详细的基于用户体验角度的人机聊天体验评估体系。目前缺乏从用户角度，好的人机聊天体验的量化的评估标准，产品方难以通过现有的研究去客观地改进产品体验、也无法量化测量当前的改进产品是否能本文档来自技高网...

【技术保护点】
1.一种用于人工智能设备交互能力评估的模型构建方法，其特征在于，该模型构建方法包括：/nS1)确定不同的评估指标和所述评估指标的层级关系，按照所述层级关系构建关于所述评估指标的评估指标模型；/nS2)获取人工智能设备关于所述评估指标的数据，利用所述数据对所述评估指标模型进行关于权重系数的参数估计，获得具有权重系数值的评估指标模型。/n

【技术特征摘要】
1.一种用于人工智能设备交互能力评估的模型构建方法，其特征在于，该模型构建方法包括：
S1)确定不同的评估指标和所述评估指标的层级关系，按照所述层级关系构建关于所述评估指标的评估指标模型；
S2)获取人工智能设备关于所述评估指标的数据，利用所述数据对所述评估指标模型进行关于权重系数的参数估计，获得具有权重系数值的评估指标模型。


2.根据权利要求1所述的用于人工智能设备交互能力评估的模型构建方法，其特征在于，步骤S1)包括：
S101)确定不同的评估指标，并获取人工智能设备关于所述评估指标的第一测评数据集，其中，所述第一测评数据集具有不同的、分别与每项评估指标对应的子数据集；
S102)获得所述第一测评数据集中每个子数据集内数据的变化特征和每两个子数据集的相关特征，并根据所述变化特征和所述相关特征筛选所述评估指标，获得优化评估指标和获得所述优化评估指标的层级关系，并构成具有层级结构的优化评估指标的评估指标模型。


3.根据权利要求2所述的用于人工智能设备交互能力评估的模型构建方法，其特征在于，步骤S102)中获得所述第一测评数据集中每个子数据集内数据的变化特征和每两个子数据集的相关特征，包括：
S121)根据所述第一测评数据集结合卡诺模型获得所述第一测评数据集中每个子数据集内数据的变化特征；
S122)根据所述第一测评数据集结合相关分析和/或回归分析获得所述第一测评数据集中每两个子数据集的相关特征。


4.根据权利要求2所述的用于人工智能设备交互能力评估的模型构建方法，其特征在于，步骤S102)中获得所述优化评估指标的层级关系，包括：
先按信度校验方法对所述优化评估指标和所述第一测评数据集进行处理，再对处理后的优化评估指标和测评数据集进行探索性因子分析，获得所述优化评估指标的层级关系。


5.根据权利要求1所述的用于人工智能设备交互能力评估的模型构建方法，其特征在于，步骤S2)包括：
S201)获取关于所述评估指标模型的第二测评数据集，利用所述第二测评数据集结合预设模型对所述评估指标模型进行关于权重系数的参数估计，获得所述评估指标模型内存在前层级的优化评估指标中每项优化评估指标的权重系数，其中，所述第二测评数据集具有不同子数据集且每个子数据集分别与所述评估指标模型中末层级内一项优化评估指标对应；
S202)利用所述权重系数更新所述评估指标模型，获得具有层级结构的且具有权重系数值的优化评估指标的评估指标模型。


6.根据权利要求5所述的用于人工智能设备交互能力评估的模型构建方法，其特征在于，步骤S201)中利用所述第二测评数据集结合预设模型对所述评估指标模型进行关于权重系数的参数估计，包括：
将所述第二测评数据集中子数据集内数据作为直接观察变量，结合结构方程模型对所述评估指标模型进行关于权重系数的自由参数估计。


7.根据权利要求5所述的用于人工智能设备交互能力评估的模型构建方法，其特征在于，步骤S201)中在利用所述第二测评数据集结合预设模型对所述评估指标模型进行关于权重系数的参数估计之后且在获得所述评估指标模型内存在前层级的优化评估指标中每项优化评估指标的权重系数之前，还包括：
采用结构方程模型对所述评估指标模型进行适配度校验，并在所述评估指标模型无法通过适配度校验时返回重新进行关于权重系数的参数估计，或在所述评估指标模型通过适配度校验时，将参数估计的权重系数值作为所述评估指标模型的权重系数值。


8.根据权利要求1所述的用于人工智能设备交互能力评估的模型构建方法，其特征在于，步骤S2)在获取人工智能设备关于所述评估指标的数据之后且在利用所述数据对所述评估指标模型进行关于权重系数的参数估计之前，还包括：通过数据清洗方法和信度校验方法对所述数据进行处理。


9.一种用于人工智能设备交互能力评估的方法，其特征在于，该方法包括：
S1)获取具有层级结构的且具有权重系数值的评估指标模型中末层级内每项评估指标的当前测评数据；<...

【专利技术属性】
技术研发人员：宓佳琦，贾孟华，韩雅娟，陈宪涛，周茉莉，关岱松，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11