【技术实现步骤摘要】
一种数据收集方法及装置
[0001]本专利技术涉及数据采集领域,尤其是涉及一种用于人机交互类AI模型训练的数据收集方法及装置。
技术介绍
[0002]现在学术界和业界已经推出了许多公开可用的问答数据集。但是这些数据都针对单轮的问答体验,在实际使用中,多轮检索可以提供更精确的答案和更加友好的用户体验。人机交互允许用户通过输入自然语言(例如通过打字,说话,手势或执行其他类型的表达)与机器进行通信。为了达到这个目的,多轮检索系统需要对于问答搜索的上下文进行理解,从而可以更加精确的推理出用户的意图并且给出更加相关的检索答案。多轮检索系统本质上也可以被理解为多轮对话机器人,这里的对话是一种广泛意义上的人机交互。
[0003]然而,由于数据收集的高昂成本,市面上还没有任何基于多轮的会话搜索数据集,因此关于多轮检索的成熟系统非常稀少。通常,许多企业系统在构建多轮检索系统时遇到的一些困难可能包括以下方面。例如,可用于训练的对话数据可能太稀疏。构建人机交互系统的挑战之一是在特定域中收集足够的对话数据。有些领域域,包括天气,股票,体育,餐馆等可能存在存留数据,但是企业可能从事特定行业,因此可能有兴趣采用针对一个或多个特定域的人机交互系统。但是,可能很难为特定企业的目标操作收集高质量的对话数据,这可能需要针对一个或多个特定域中的每个域唯一的大量数据。必须提供足够大量的数据来训练对话机器人。
[0004]此外,企业可能要求高精度。人机交互系统可能需要在特定业务中以高精度响应客户。如果人机交互系统提供了错误的信息,则可能会带来 ...
【技术保护点】
【技术特征摘要】
1.一种数据收集方法,其特征在于,包括以下步骤:S01、建立初始对话框树;S02、对对话框树中的一个节点进行采样,并使采样获得的数据样本内容多样化;S03、遍历步骤S02中所选择的节点的每一个父节点,制作一个完整的对话历史记录;S04、注释步骤S02所选节点的答案,使得对话框树得到扩展,并得到新的对话列表,对话列表包括步骤S03中制作的对话历史记录以及本步骤中注释的答案;S05、重复步骤S02
‑
S04,直至对话列表的数量达到预设值;所述步骤S02具体为:S201、对用户配置文件进行采样:根据现有对话数据,计算当前用户的概率分布p(U
i
|D
i
),U
i
是当前轮次用户档案的分布,D
i
是当前轮次对话数据,i是当前轮的轮次,i>1,计算公式如下:p(U
i
|D
i
)=p(U
i
‑1|D
i
‑1)p(U
i
‑1|α0)α0是超参数;采用贝叶斯推理的方法从后验分布中以一系列事件的形式进行采样,参与变量包括上一次采样的对话数据D
i
‑1和用户档案分布U
i
‑1以及上一轮的用户分布概率p(U
i
‑1|D
i
‑1);由此得到本轮的用户档案分布U
i
和本轮的对话数据D
i
;基于当前用户的概率分布确定本轮对话的内容分布:式中,u指U
i
中具体一个用户的属性,是本轮对话的内容;S202、重复步骤S201直至对话的总轮次超过聚类阈值之后,运行对话内容聚类,公式如下:式中,α和β为超参数,在聚类之前,先利用Gibbs采样算法对真实的概率分布进行近似,获得w、z、π和θ,公式如下:π~Dir(β)θ~Dir(α)w~Mulit(π)z~Mulit(θ)式中,Dir为狄利克雷分布采样,Mulit为多重正态分布采样;聚类结束后判断对话的总轮次是否达到目标阈值,如果达到目标阈值则进入步骤S203,否则跳转到步骤S201继续采样;S203、计算所采集的数据的系统困惑度,如果系统困惑度小于困惑度阈值,则进入步骤S204,否则本次采样结束;S204、基于测试人员的结果和每组数据的困惑度采样,公式如下:
H是熵,x是当轮对话内容,z是下一轮对话内容;~PPL(x)为针对x的困惑度采样结果;然后跳转到步骤S203。2.根据权利要求1...
【专利技术属性】
技术研发人员:赵天成,
申请(专利权)人:宏龙科技杭州有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。