一种数据收集方法及装置制造方法及图纸

本发明专利技术公开了一种数据收集方法及装置，其方法为：S01、建立初始对话框树；S02、对对话框树中的一个节点进行采样，并使采样获得的数据样本内容多样化；S03、遍历步骤S02中所选择的节点的每一个父节点，制作一个完整的对话历史记录；S04、注释步骤S02所选节点的答案，使得对话框树得到扩展，并得到新的对话列表，对话列表包括步骤S03中制作的对话历史记录以及本步骤中注释的答案；S05、重复步骤S02

【技术实现步骤摘要】
一种数据收集方法及装置


[0001]本专利技术涉及数据采集领域，尤其是涉及一种用于人机交互类AI模型训练的数据收集方法及装置。

技术介绍

[0002]现在学术界和业界已经推出了许多公开可用的问答数据集。但是这些数据都针对单轮的问答体验，在实际使用中，多轮检索可以提供更精确的答案和更加友好的用户体验。人机交互允许用户通过输入自然语言（例如通过打字，说话，手势或执行其他类型的表达）与机器进行通信。为了达到这个目的，多轮检索系统需要对于问答搜索的上下文进行理解，从而可以更加精确的推理出用户的意图并且给出更加相关的检索答案。多轮检索系统本质上也可以被理解为多轮对话机器人，这里的对话是一种广泛意义上的人机交互。
[0003]然而，由于数据收集的高昂成本，市面上还没有任何基于多轮的会话搜索数据集，因此关于多轮检索的成熟系统非常稀少。通常，许多企业系统在构建多轮检索系统时遇到的一些困难可能包括以下方面。例如，可用于训练的对话数据可能太稀疏。构建人机交互系统的挑战之一是在特定域中收集足够的对话数据。有些领域域，包括天气，股票，体育，餐馆等可能存在存留数据，但是企业可能从事特定行业，因此可能有兴趣采用针对一个或多个特定域的人机交互系统。但是，可能很难为特定企业的目标操作收集高质量的对话数据，这可能需要针对一个或多个特定域中的每个域唯一的大量数据。必须提供足够大量的数据来训练对话机器人。
[0004]此外，企业可能要求高精度。人机交互系统可能需要在特定业务中以高精度响应客户。如果人机交互系统提供了错误的信息，则可能会带来严重的影响。因此，许多将由企业使用的人机交互系统都是通过基于规则或基于对话流的方法构建的，其中仅允许用户遵循预定义的方案。否则，人机交互系统可能无法生成正确的响应。在需要复杂对话或专业领域知识（例如法律，医学或销售）的业务中应用人机交互系统也非常困难。

技术实现思路

[0005]本专利技术主要是解决现有技术所存在的缺乏基于多轮对话的数据集的技术问题，提供一种高效、高精度的人机交互类数据收集方法及装置。
[0006]本专利技术针对上述技术问题主要是通过下述技术方案得以解决的：一种数据收集方法，包括以下步骤：S01、建立初始对话框树；S02、对对话框树中的一个节点进行采样，并使采样获得的数据样本内容多样化；S03、遍历步骤S02中所选择的节点的每一个父节点，制作一个完整的对话历史记录；S04、注释步骤S02所选节点的答案，使得对话框树得到扩展，并得到新的对话列表，对话列表包括步骤S03中制作的对话历史记录以及本步骤中注释的答案；
S05、重复步骤S02
‑
S04，直至对话列表的数量达到预设值；所述步骤S02具体为：S201、对用户配置文件进行采样：根据现有对话数据，计算当前用户的概率分布p(U
i
|D
i
)，U
i
是当前轮次用户档案的分布，D
i
是当前轮次对话数据，i是当前轮的轮次，i>1，计算公式如下：p(U
i
|D
i
)=p(U
i
‑1|D
i
‑1)p(U
i
‑1|α0)α0是超参数；采用贝叶斯推理的方法从后验分布中以一系列事件的形式进行采样，参与变量包括上一次采样的对话数据D
i
‑1和用户档案分布U
i
‑1以及上一轮的用户分布概率p(U
i
‑1|D
i
‑1)；由此得到本轮的用户档案分布U
i
和本轮的对话数据D
i
；基于当前用户的概率分布确定本轮对话的内容分布：式中，u指U
i
中具体一个用户的属性，是本轮对话的内容；S202、重复步骤S201直至对话的总轮次超过聚类阈值（收集的对话记录数量超过聚类阈值）之后，运行对话内容聚类，公式如下：式中，α和β为超参数，在聚类之前，先利用Gibbs采样算法对真实的概率分布进行近似，获得w、z、π和θ，公式如下：π~Dir(β)θ~Dir(α)w~Mulit(π)z~Mulit(θ)式中，Dir为狄利克雷分布采样，Mulit为多重正态分布采样；聚类结束后判断对话的总轮次是否达到目标阈值，如果达到目标阈值则进入步骤S203，否则跳转到步骤S201继续采样；S203、计算所采集的数据的系统困惑度，如果系统困惑度小于困惑度阈值，则进入步骤S204，否则本次采样结束；S204、基于测试人员的结果和每组数据的困惑度采样，公式如下：H是熵，x是当轮对话内容，z是下一轮对话内容；~PPL(x)为针对x的困惑度采样结果；然后跳转到步骤S203。
[0007]首先，本方案尽可能地手动使对话框流动，或者可以使用所有现有工具，例如DialogFlow（Google）。本申请使用基于流的方法的原因是为了解决冷启动问题。如果数据
收集是从一开始就没有任何骨干对话框，则将存在数据偏差问题。根据收集的数据数，每个步骤将有不同的采样方法。其次，本申请对树中的一个节点进行采样，以使其多样化并解决对话框偏差问题。第三，本申请通过遍历每个父节点来制作一个基于所选节点的完整对话历史记录。第四，本申请给注释者标注答案以扩展树。本申请重复此过程，直到有足够的数据点并将这些数据用于最终训练。对每个步骤采样的数据点都略有不同，每个步骤将基于收集的数据点的数量。
[0008]作为优选，所述步骤S203中，计算所采集的数据的系统困惑度具体为：通过AI模型对于所采集的数据进行预测，并将预测的概率分布和正确答案进行对比，从而得到困惑度。
[0009]高困惑度的数据将有更大的概率被选择出来。
[0010]作为优选，首轮用户档案的分布U1、首轮对话数据D1和首轮的用户分布概率p(U1|D1)从初始对话框树中直接得到。
[0011]作为优选，当会话被标上重复标记后，采样引擎减少该会话后期被采样的概率；当会话被标记为特别对话后，采样引擎提高此会话采样的优先级。
[0012]作为优选，所述聚类阈值为10000
‑
20000。
[0013]作为优选，所述目标阈值为100000
‑
200000。
[0014]聚类阈值和目标阈值可以根据需要进行设定，从而使得整个流程在效率和精度上获得均衡。
[0015]一种数据收集装置，运行有如上所述的数据收集方法，包括：用户页面：包含用户个人资料和对话历史记录的会话分配给用户页面；用户角色注释者读取用户个人资料、说明以及给定的对话历史记录；用户角色注释者在个人资料中假装一个人，并通过打字或讲话进行响应；用户角色注释者提交语音后，用户页面上展示新的会话；提交的对话将保存到会话数据库中，并且已保存的会话将在专家页面上采样；新会话将提供给用户角色注释者；此新会话包含完全不同的对话历史记录和用户配置文件，用户角色注释者会再次读取指令，用户配置文件和对话历史记录；专家页面：包含对话历史记录的会话分配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据收集方法，其特征在于，包括以下步骤：S01、建立初始对话框树；S02、对对话框树中的一个节点进行采样，并使采样获得的数据样本内容多样化；S03、遍历步骤S02中所选择的节点的每一个父节点，制作一个完整的对话历史记录；S04、注释步骤S02所选节点的答案，使得对话框树得到扩展，并得到新的对话列表，对话列表包括步骤S03中制作的对话历史记录以及本步骤中注释的答案；S05、重复步骤S02
‑
S04，直至对话列表的数量达到预设值；所述步骤S02具体为：S201、对用户配置文件进行采样：根据现有对话数据，计算当前用户的概率分布p(U
i
|D
i
)，U
i
是当前轮次用户档案的分布，D
i
是当前轮次对话数据，i是当前轮的轮次，i>1，计算公式如下：p(U
i
|D
i
)=p(U
i
‑1|D
i
‑1)p(U
i
‑1|α0)α0是超参数；采用贝叶斯推理的方法从后验分布中以一系列事件的形式进行采样，参与变量包括上一次采样的对话数据D
i
‑1和用户档案分布U
i
‑1以及上一轮的用户分布概率p(U
i
‑1|D
i
‑1)；由此得到本轮的用户档案分布U
i
和本轮的对话数据D
i
；基于当前用户的概率分布确定本轮对话的内容分布：式中，u指U
i
中具体一个用户的属性，是本轮对话的内容；S202、重复步骤S201直至对话的总轮次超过聚类阈值之后，运行对话内容聚类，公式如下：式中，α和β为超参数，在聚类之前，先利用Gibbs采样算法对真实的概率分布进行近似，获得w、z、π和θ，公式如下：π~Dir(β)θ~Dir(α)w~Mulit(π)z~Mulit(θ)式中，Dir为狄利克雷分布采样，Mulit为多重正态分布采样；聚类结束后判断对话的总轮次是否达到目标阈值，如果达到目标阈值则进入步骤S203，否则跳转到步骤S201继续采样；S203、计算所采集的数据的系统困惑度，如果系统困惑度小于困惑度阈值，则进入步骤S204，否则本次采样结束；S204、基于测试人员的结果和每组数据的困惑度采样，公式如下：
H是熵，x是当轮对话内容，z是下一轮对话内容；~PPL(x)为针对x的困惑度采样结果；然后跳转到步骤S203。2.根据权利要求1...

【专利技术属性】
技术研发人员：赵天成，
申请(专利权)人：宏龙科技杭州有限公司，
类型：发明
国别省市：