【技术实现步骤摘要】
本专利技术属于人工智能文本生成，特别提供了一种基于transformer模型的企业辅助决策生成方法。
技术介绍
1、在当今快速变化的商业环境中，企业决策的复杂性不断增加，涉及多样化的数据源、变化莫测的市场动态以及复杂的内部管理问题。传统的决策方法依赖于经验和直觉，但在面对庞大的数据量和日益复杂的商业环境时，这些方法往往显得力不从心。在后工业时代，机械的普及使得人类从重体力劳动中得到解脱，而如今的人工智能计算机正步步深入地模拟人脑处理信息的方式。语言和文字作为人类与其他灵长目动物显著不同的特征，与人类各种智能领域紧密相连。至今，文字仍是我们生活中获取和交流信息的关键手段。人工智能技术的一个重要成就标志，就是让计算机能够“发声”，这意味着人类和计算机可以无障碍地进行语言互动，计算机能够像训练有素的人类那样撰写流畅的文字。自然语言处理技术(natural language processing,nlp)正是利用人类的自然语言来与计算机互动和沟通的一个领域，它拥有巨大的发展潜力。现有技术中，基于机器学习的企业辅助决策生成方法虽然在处理大规模数据和提供决策支持方面已取得显著进展，但仍存在一些明显的不足，当前一些基于线性回归、决策树或基本神经网络算法的企业辅助决策生成方法，在处理非结构化数据时的效率和准确性仍有待提高。
2、因此，如何利用机器学习技术来辅助企业决策，以提高决策效率和准确性，成为亟待解决的问题。
技术实现思路
1、鉴于此，本专利技术提供了一种基于transformer
2、本专利技术提供的方案如下：一种基于transformer模型的企业辅助决策生成方法，包括以下步骤：
3、根据历史企业咨询内容，在企业资料库中检索出相关历史资料，之后，将所述历史资料内容输入至企业辅助决策生成模型内，训练所述企业辅助决策生成模型，得到训练好的企业辅助决策生成模型，其中，所述企业辅助决策生成模型基于transformer模型构建，所述企业辅助决策生成模型中的编码器包括门控线性单元、多层lstm结构和卷积注意力单元，所述企业辅助决策生成模型中的解码器包括两个多头注意力层与一个前馈层；
4、根据企业咨询内容，在企业资料库中检索出相关资料，将资料内容输入至所述训练好的企业辅助决策生成模型内，得到企业辅助决策文本。
5、优选，训练企业辅助决策生成模型的步骤如下：
6、利用transformer模型中的编码器对检索出的历史资料内容进行处理，得到所述历史资料的特征向量；
7、利用transformer模型中的解码器对所述特征向量进行处理，得到与所述历史资料内容对应的历史企业辅助决策文本；
8、将所述历史企业辅助决策文本与历史实际企业辅助决策文本进行对比，计算bleu指标针对企业辅助决策文本生成模型各参数的梯度，利用梯度下降法更新所述企业辅助决策文本生成模型的参数，直至评分大于预设值或达到预设的迭代次数，完成模型训练。
9、进一步优选，所述编码器包括文本序列符号生成单元、门控线性单元、多层lstm结构和卷积注意力单元；
10、所述文本序列符号生成单元用于识别并生成与所述历史资料内容对应的文本序列符号；
11、所述门控线性单元以所述文本序列符号为输入，计算公式为：
12、
13、式中，ψt为第t个单词对应的向量；σ为sigmoid激活函数；a、b、c、d为glu的权重参数；
14、所述多层lstm结构模型通过所述门控线性单元的输出作为第一层的输入，其中：
15、第一层lstm的输入：
16、
17、式中，为第一层lstm的输入；
18、第l层lstm(l＝1,2,...,l)信息特征提取计算流程为：
19、
20、
21、
22、
23、
24、
25、式中，分别为是第l层在时间步t的遗忘门、输入门和输出门向量；为第l层在时间步t的候选单元状态；为第l层在时间步t的单元状态向量；为第l层在时间步t的输出向量；和分别为分别是第l层的遗忘门、输入门、单元更新和输出门的权重矩阵和偏置向量；为第l层在时间步t的输入，对于第一层l＝1是glu的输出；为前一层l-1在相同时间步的输出；
26、所述卷积注意力单元以所述多层lstm结构模型的最后一层输出为输入，设是多层lstm的最后一层在时间步t的输出，卷积操作表示如下：
27、
28、式中，ct是时间步t的卷积输出；是表示从t-k到t+k时间步的输出序列；
29、应用注意力机制基于卷积输出和lstm的最后一层输出来计算注意力权重和最终的加权特征向量，表示如下：
30、αt＝softmax(wa·ct+ba)
31、
32、式中，αt为是时间步t的注意力权重；wa和ba分别为注意力机制的权重矩阵和偏置向量；ct为在时间步t的卷积输出；为是编码器最后一层在输入第i个元素时的输出向量。
33、进一步优选，所述历史资料的特征向量ft的计算公式如下：
34、ft＝combination(ct,at)
35、式中，combination(·)表示用于结合卷积输出和加权特征向量的函数。
36、进一步优选，所述解码器包含两个多头注意力层与一个前馈层；
37、所述解码器的第一个多头注意力层中，模型使用掩蔽机制来防止未来信息的泄露，其计算公式为：
38、
39、
40、
41、
42、式中，分别为第一个多头注意力层的查询、键和值矩阵；分别为第一个注意力层的查询、键和值的权重矩阵；分别为第一个注意力层的查询、键和值的偏置向量；
43、所述第一个多头注意力层中的掩蔽机制为：
44、
45、
46、式中，masked(k(1))为掩蔽操作；t′为时间步索引；为第一个多头注意力层应用掩蔽机制的注意力列向量；
47、所述第二个多头注意力层的输入为所述注意力层的输出与所述历史资料的特征向量ft，用于学习整合特征向量与注意力层输出，所述第二个多头注意力层计算公式为：
48、
49、
50、
51、
52、式中，分别为第二个多头注意力层的查询、键和值矩阵；分别为第二个多头注意力层的键和值的权重矩阵；分别为第二个多头注意力层的键和值的偏置向量；
53、所述前馈层的输入为所述多头注意力的输出，其中，所述多头注意力的输出如下：
54、
55、式中，m本文档来自技高网...
【技术保护点】
1.一种基于Transformer模型的企业辅助决策生成方法，其特征在于，包括如下步骤：
2.按照权利要求1所述的基于Transformer模型的企业辅助决策生成方法，其特征在于：训练企业辅助决策生成模型的步骤如下：
3.按照权利要求2所述的基于Transformer模型的企业辅助决策生成方法，其特征在于：所述编码器包括文本序列符号生成单元、门控线性单元、多层LSTM结构和卷积注意力单元；
4.按照权利要求3所述的基于Transformer模型的企业辅助决策生成方法，其特征在于：所述历史资料的特征向量ft的计算公式如下：
5.按照权利要求2所述的基于Transformer模型的企业辅助决策生成方法，其特征在于：所述解码器包含两个多头注意力层与一个前馈层；
6.按照权利要求2所述的基于Transformer模型的企业辅助决策生成方法，其特征在于：BLEU评价指标计算公式为：
【技术特征摘要】
1.一种基于transformer模型的企业辅助决策生成方法，其特征在于，包括如下步骤：
2.按照权利要求1所述的基于transformer模型的企业辅助决策生成方法，其特征在于：训练企业辅助决策生成模型的步骤如下：
3.按照权利要求2所述的基于transformer模型的企业辅助决策生成方法，其特征在于：所述编码器包括文本序列符号生成单元、门控线性单元、多层lstm结构和卷积注意力单元；
【专利技术属性】
技术研发人员：邬桐，潘霄，刘禹彤，王文华，王文德，程孟增，林俊儒，赵竞智，李金起，李佳玉，
申请(专利权)人：国网辽宁省电力有限公司经济技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。