【技术实现步骤摘要】
本专利技术涉及计算机自然语言处理领域，更具体地说是涉及一种基于非自回归模型的中医处方生成方法及装置。
技术介绍
1、在传统的中医诊疗过程中，医生通常会根据患者的症状，来给出相应的中医处方。然而，这种开方过程存在着一定的主观性，并且受到医生经验的限制，这就会影响到处方的准确性，导致疗效不佳。而中医药经过千年的发展，留下了很多经典方剂，随着人工智能技术的发展，越来越多的研究者开始尝试利用机器学习模型来挖掘经典方剂中的用药规律，从而自动化生成中医处方。
2、其中，自回归式的序列到序列模型是一种广泛用于此类问题的神经网络模型。序列到序列模型最初是用于生成式自然语言处理任务，比如机器翻译等，其通过编码器-解码器(encoder-decoder)结构将输入序列映射到输出序列。尽管序列到序列模型在中医处方生成任务中取得了一定的成果，但现有技术仍存在如下问题：
3、1)序列到序列模型对标签顺序敏感，而药物之间的顺序关系很弱，这导致生成结果存在标签重复问题，模型难以学习到正确开方规律；
4、2)序列到序列模型训练采用的teacher forcing策略虽然加快了模型收敛，但是模型推理只能使用student forcing，训练和推理之间的不一致削弱了模型在测试集以及真实场景的性能；
5、3)序列到序列模型的生成是自回归迭代式的，生成效率不高，并且通常会使用束搜索技巧来提高生成质量，进一步增加了推理的计算量。
6、综上，现有的基于自回归模型的中医处方生成技术还不能有效解决上述问题，难以满足
技术实现思路
1、本专利技术的目的在于解决现有技术中处方生成质量较低和推理效率较低的问题。因此，本专利技术提出一种基于非自回归模型的中医处方生成方法及装置，采用基于匈牙利算法的损失函数促进模型域适应，有效提升了处方生成的质量，采用全局查询向量提高了模型对数据集的全局把握，并且实现了良好的并行性。
2、为了实现上述目的，本专利技术具体采用的技术方案如下：第一方面，本专利技术提供了一种基于非自回归模型的中医处方生成方法，该方法包括如下步骤：
3、(1)采集中医方剂数据，通过ocr、文本结构化处理后提取症状-处方对；
4、(2)对步骤(1)中得到的症状-处方对数据进行预处理，包括分词和数据清洗，得到处方生成数据集；
5、(3)建立非自回归神经网络模型，包括编码网络，以及基于transformer模型中的解码器构建全局查询向量的解码网络，，其结构包含1层解码子块，解码器的查询向量被设定为一个随机初始化的全局向量qm，d，其中m是最大药方长度，d是gru隐藏层维度；
6、(4)使用步骤(2)中得到的处方生成数据集训练非自回归模型，训练采用了基于匈牙利算法的损失函数；
7、(5)基于步骤(4)训练得到的非自回归模型生成症状描述的处方。
8、进一步地，步骤(2)中所述预处理过程具体为：
9、(2.1)使用python的sentencepiece工具，采用unigram算法对症状描述文本进行分词处理；
10、(2.2)根据停用词表剔除文本中的停用词；
11、(2.3)样本筛选，计算症状描述文本包含的词数，如果词数小于3或者大于200则删除该条样本数据，否则保留。
12、进一步地，步骤(3)中所述非自回归神经网络模型的编码网络采用双向gru单元作为编码器，由2个gru单元循环堆叠若干次构成。
13、进一步地，步骤(4)中所述训练过程如下：
14、(4.1)对症状描述文本z＝{x1，x2，...，xn}进行初始化编码得到编码序列e＝(e1，e2，...，en)，其中n为文本长度，xn为第n个词，en为第n个词xn的编码向量；
15、(4.2)然后将编码序列e输入编码网络，经过计算输出编码序列，计算公式为：
16、h＝gru(e)
17、式中e是症状描述文本的初始化编码序列，gru为编码器单元，h＝(h1，h2，...，hn)是编码网络的输出序列，hn表示第n个编码向量的网络输出；
18、(4.3)通过随机初始化生成查询向量qm，d，将qm，d和输出序列h作为解码网络的输入，得到预测处方序列，计算公式为：
19、p＝decoder(qm，d，h)
20、式中decoder为transformer解码器，p＝{p1，p2，...，pm}为预测处方序列，pm为第m个预测向量；
21、(4.4)利用匈牙利算法将标签处方序列和预测处方序列做匹配，计算过程为：
22、ρ＝match(y，p)
23、式中y＝{y1，y2，...，yl}为标签处方序列，其中l为标签包含的药物数量，yl表示第l种药物，ρ为标签处方序列的一个排列，match为python中scipy工具包中的匈牙利算法；
24、(4.5)将标签处方序列重排列并计算损失，更新编码网络和解码网络的参数，损失计算如下：
25、l＝ce(p，yρ)
26、式中yρ为按照ρ重排列后的标签序列，ce为交叉熵损失函数。
27、进一步地，所述的非自回归神经网络模型，采用了student forcing学习策略，以基于匈牙利算法的交叉熵作为损失函数进行训练，并在计算损失时给空标签0.2的权重。
28、第二方面，本专利技术提供了一种基于非自回归模型的中医处方生成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种基于非自回归模型的中医处方生成方法。
29、第三方面，本专利技术提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现所述的一种基于非自回归模型的中医处方生成方法。本专利技术相对于现有技术，具有以下有益效果：
30、1)提出了一种基于匈牙利算法的损失函数，大幅降低模型对标签顺序的敏感性，将模型从生成序列转变为生成集合，有效提升了模型输出高质量药物集合的能力；
31、2)采用了student forcing训练策略，实现了模型训练和模型推理的一致性，并且通过赋予空标签一定的权重，有效提高了模型估计标签长度的能力，提高了解码器的生成质量；
32、3)提出了采用全局查询变量作为解码器的输入，从而抛弃transformer模型的掩码矩阵，使得模型可以单步生成结果，生成效率高于自回归迭代式的模型，由于该查询变量会应用于每一条输入，所以也提高了模型对数据集的整体把握。
本文档来自技高网...【技术保护点】
1.一种基于非自回归模型的中医处方生成方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的一种基于非自回归模型的中医处方生成方法，其特征在于，步骤(2)中所述预处理过程具体为：
3.根据权利要求1所述的一种基于非自回归模型的中医处方生成方法，其特征在于，步骤(3)中所述非自回归神经网络模型的编码网络采用双向GRU单元作为编码器，由2个GRU单元循环堆叠若干次构成。
4.根据权利要求1所述的一种基于非自回归模型的中医处方生成方法，其特征在于，步骤(4)中所述训练过程如下：
5.根据权利要求1所述的一种基于非自回归模型的中医处方生成方法，其特征在于，所述的非自回归神经网络模型，采用了Student Forcing学习策略，以基于匈牙利算法的交叉熵作为损失函数进行训练，并在计算损失时给空标签0.2的权重。
6.一种基于非自回归模型的中医处方生成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1-5中任一项所述的一种基于非自回归模型的中医处方
7.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-5中任一项所述的一种基于非自回归模型的中医处方生成方法。
...【技术特征摘要】
1.一种基于非自回归模型的中医处方生成方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的一种基于非自回归模型的中医处方生成方法，其特征在于，步骤(2)中所述预处理过程具体为：
3.根据权利要求1所述的一种基于非自回归模型的中医处方生成方法，其特征在于，步骤(3)中所述非自回归神经网络模型的编码网络采用双向gru单元作为编码器，由2个gru单元循环堆叠若干次构成。
4.根据权利要求1所述的一种基于非自回归模型的中医处方生成方法，其特征在于，步骤(4)中所述训练过程如下：
5.根据权利要求1所述的一种基于非自回归模型的中医...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。