【技术实现步骤摘要】
本专利技术涉及人工智能，具体地，涉及一种金融领域下的对于用户对话信息的语义理解方法。
技术介绍
1、在金融领域实际场景中，迫切需要一种能够自动回复高度重复的标准化客户咨询的智能化专业工具，来充分释放宝贵的人力，降低相应的成本，提高业务服务效率与质量。智能对话系统作为人工智能领域的核心技术，已成为一种不可或缺的人机交互方式。其中，对用户问题实现精准的语义识别与理解尤为重要，直接决定了对话系统的智能化程度与用户体验。在工业界，对话系统语义理解存在着领域多样、任务多样、专业数据稀缺的问题，即在不同领域中，不论是从对话理解任务方面还是数据方面，均存在着巨大的差异，难以具备通用性。
2、因此，设计一个适应特定金融领域的语义识别与理解方法来满足实际应用需求。在现有技术中，主要存在两种处理方式，一种是基于问答式文本匹配，通过用户问题与问答知识库进行文本相似度计算，给出答案回复。然而这种方式需要持续维护问答知识库，并且语义相似度计算的阈值难以控制，在数据较多的情况下，对检索性能的要求较高，重要的是该种方式不能满足用户意图的精准识别，提供基于上下文的多轮对话服务。另一种则是基于任务型的语义理解，通过领域识别、意图理解、槽位填充等逐步理解复杂多样的用户问题，有效解决了第一种方式中存在的缺陷。然而在这种方式中，往往存在着专业金融数据标注困难、人工标注成本高，整体模型的准确度以及对真实数据的泛化能力不足的问题，同时传统方法通常采用级联模型，训练效率及性能较低。
3、专利文献cn110532355a公开了一种基于多任务学习的意图与
4、但是专利文献cn110532355a采用lstm-cnn模型提取文本的特征语义，lstm由于处理长文本存在梯度消失和爆炸以及无法并行运算的问题，cnn提取文本特征存在可解释型不强、无法评估每个特征的重要度的问题。同时，该专利提出意图损失函数为预测意图与真实意图的交叉熵，并未提及具体细节，且该损失并未涉及多意图的处理。
5、专利文献cn113204952a公开了一种基于聚类预分析的多意图识别与语义槽填充联合建模方法：实时获取当前用户输入的多意图文本并进行预处理；基于聚类预分析构建多意图识别模型，用来识别用户的多个意图；基于slot-gated关联门机制构建bilstm-crf语义槽填充模型，充分利用意图识别的结果指导语义槽的填充；对构建的多意图识别与语义槽填充的联合模型进行优化。
6、但是专利文献cn113204952a中的k-means可处理的数据类型有限，对于高维数据对象的聚类效果不佳,以及k值的选取不好把握，文本属于高维度的数据类型，因此采用该方法并不能更好的识别多意图
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种基于金融领域对话系统文本信息的语义理解方法及系统。
2、根据本专利技术提供的一种基于金融领域对话系统文本信息的语义理解方法，包括：
3、步骤s1：采集用户问题文本数据；
4、步骤s2：对所述文本数据进行预处理，并对预处理后的数据进行整理；
5、步骤s3：根据整理后的数据分别进行构建领域识别模型，和确定多意图数据和对应的槽位数据；
6、步骤s4：根据所述多意图数据和对应的槽位数据构建多意图识别和槽位提取多任务联合模型；
7、步骤s5：分别迭代训练所述领域识别模型和所述多任务联合模型，得到用户问题文本所对应的领域及用户问题文本中每个句子所对应的意图与槽位，进而完成用户问题文本的语义理解。
8、优选地，所述预处理包括对所述用户问题文本数据进行清洗、过滤和去重处理；
9、所述对预处理后的数据进行整理包括领域分类标注和扩充样本数据；
10、所述领域分类标注包括分析用户输入的问题，并根据业务场景将预处理后的数据划分为相对应的领域；所述领域包括诊股领域、选股领域、金融百科和闲聊；
11、所述扩充样本数据包括将所述诊股领域对应的问题数据进行扩充，扩充方式包括eda数据增强、回译数据增强、mlm任务预测mask位置词和以bert模型为基础的simbert模型或roformer-sim模型。
12、优选地，所述构建领域识别模型包括：将选取的预训练模型最后一层输出的第一个token位置作为用户文本问题的向量特征，并在所述预训练模型的网络结构中增加一个全连接层和分类网络层，进而预测用户问题所述的领域，计算公式如下：
13、output＝softmax(xw1+b1)
14、其中，output表示模型输出结果，x表示输入的特征向量，w1表示权重矩阵，b1表示偏置向量；
15、损失函数为交叉熵损失和kl散度损失和，计算公式如下：
16、
17、
18、li＝l1+αl2
19、其中，l1表示交叉熵损失，l2表示kl散度损失，表示第一次dropout的模型，表示第二次dropout的模型，xi表示模型的输入值，yi表示模型的目标值，l2表示kl散度损失，li表示交叉熵损失和kl散度损失加权和，α表示加权系数。
20、优选地，所述确定多意图数据和对应的槽位数据包括：将用户文本问题分为不同的问题类型，并对所述不同的问题类型添加对应的时间槽位，然后根据不同的方式标注意图数据和槽位数据；
21、所述问题类型包括单主体单因子固定问题、单主体单因子限定问题、单主体多因子问题、多主体单因子比较问题和多主体多因子问题。
22、优选地，构建多意图识别与槽位提取多任务联合模型包括构建多意图识别任务和构建槽位提取任务；
23、所述构建多意图识别任务包括将所选取的预训练模型最后一层输出的第一个token位置当作用户文本问题句子的向量表征，再经过前馈神经网络全连接层、dropout层和sigmoid层得到句子被分为每类意图的概率值，计算公式如下：
24、rn～bernoulli(p)，p＝0.1
25、yi＝sigmoid(rn*(wixn+bi))
26、其中，rn表示随机失活函数，p表示丢弃概率，yi表示输出值，wi表示权重矩阵，xn表示输入的特征向量，bi表示偏置向量；
27、所述构建槽位提取任务包括使用所选取的预训练模型的序列标注任务，经过模型编码得到句子每个token的向量表征hi，再经过前馈神经网络全连接层、dropout层和softmax层得到所述to本文档来自技高网...
【技术保护点】
1.一种基于金融领域对话系统文本信息的语义理解方法，其特征在于，包括：
2.根据权利要求1所述的基于金融领域对话系统文本信息的语义理解方法，其特征在于，所述预处理包括对所述用户问题文本数据进行清洗、过滤和去重处理；
3.根据权利要求1所述的基于金融领域对话系统文本信息的语义理解方法，其特征在于，所述构建领域识别模型包括：将选取的预训练模型最后一层输出的第一个Token位置作为用户文本问题的向量特征，并在所述预训练模型的网络结构中增加一个全连接层和分类网络层，进而预测用户问题所述的领域，计算公式如下：
4.根据权利要求1所述的基于金融领域对话系统文本信息的语义理解方法，其特征在于，所述确定多意图数据和对应的槽位数据包括：将用户文本问题分为不同的问题类型，并对所述不同的问题类型添加对应的时间槽位，然后根据不同的方式标注意图数据和槽位数据；
5.根据权利要求4所述的基于金融领域对话系统文本信息的语义理解方法，其特征在于，构建多意图识别与槽位提取多任务联合模型包括构建多意图识别任务和构建槽位提取任务；
6.根据权利要求5所述的基
7.一种基于金融领域对话系统文本信息的语义理解系统，其特征在于，包括：
8.根据权利要求7所述的基于金融领域对话系统文本信息的语义理解系统，其特征在于，所述预处理包括对所述用户问题文本数据进行清洗、过滤和去重处理；
9.根据权利要求7所述的基于金融领域对话系统文本信息的语义理解系统，其特征在于，所述构建领域识别模型包括：将选取的预训练模型最后一层输出的第一个Token位置作为用户文本问题的向量特征，并在所述预训练模型的网络结构中增加一个全连接层和分类网络层，进而预测用户问题所述的领域，计算公式如下：
10.根据权利要求7所述的基于金融领域对话系统文本信息的语义理解系统，其特征在于，所述确定多意图数据和对应的槽位数据包括：将用户文本问题分为不同的问题类型，并对所述不同的问题类型添加对应的时间槽位，然后根据不同的方式标注意图数据和槽位数据；
...【技术特征摘要】
1.一种基于金融领域对话系统文本信息的语义理解方法，其特征在于，包括：
2.根据权利要求1所述的基于金融领域对话系统文本信息的语义理解方法，其特征在于，所述预处理包括对所述用户问题文本数据进行清洗、过滤和去重处理；
3.根据权利要求1所述的基于金融领域对话系统文本信息的语义理解方法，其特征在于，所述构建领域识别模型包括：将选取的预训练模型最后一层输出的第一个token位置作为用户文本问题的向量特征，并在所述预训练模型的网络结构中增加一个全连接层和分类网络层，进而预测用户问题所述的领域，计算公式如下：
4.根据权利要求1所述的基于金融领域对话系统文本信息的语义理解方法，其特征在于，所述确定多意图数据和对应的槽位数据包括：将用户文本问题分为不同的问题类型，并对所述不同的问题类型添加对应的时间槽位，然后根据不同的方式标注意图数据和槽位数据；
5.根据权利要求4所述的基于金融领域对话系统文本信息的语义理解方法，其特征在于，构建多意图识别与槽位提取多任务联合模型包括构建多意图识别任务和构建槽位提取任务；
6.根据权...
【专利技术属性】
技术研发人员：才子，
申请(专利权)人：上海九方云智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。