【技术实现步骤摘要】
本专利技术属于医疗数据处理，具体涉及基于mq端口和redis数据库的模型训练方法及系统。
技术介绍
1、目前随着大模型技术的发展，越来越多的场景中应用到了大模型技术，但是大模型的特点是参数量巨大，训练耗时很久，在已经训练完毕并部署的任务中，需要考虑到数据积存和模型更新的问题，同时考虑到模型训练耗时的问题，需要在满足模型累加训练和模型训练耗时的两个问题点之间找到平衡，因此，如何在满足模型累加训练和模型训练耗时的两个问题点之间找到平衡是目前需要解决的技术问题。
技术实现思路
1、本专利技术提供的基于mq端口和redis数据库的模型训练方法及系统，能够利用mq端口以及异步消费队列，将预测模型的输出结果进行存储以及发送人工审核，同时利用审核结果以及预测结果的对比，生成新的训练集，并对原预测模型进行重新训练，从而克服上述现有技术中存在的问题。
2、本专利技术解决上述技术问题的技术方案如下：
3、第一方面，本专利技术提供了基于mq端口和redis数据库的模型训练方法，包括以下步骤：
4、s1：将现有医疗数据的数据格式进行统一，并作为训练集；
5、s2：构建预测模型，利用训练集对预测模型进行训练，所述预测模型包括：linear层、多头矩阵计算层以及softmax层；
6、s3：根据用户输入，利用预测模型输出预测结果，同时利用人工审核得到审核结果，并将预测结果和审核结果存储于redis数据库；
7、s4：判断审核结果是否进行过
8、s5：当积存数据量大于预设数据量阈值时，将积存数据库中的样本作为自训练集输入预测模型，对预测模型重新训练，并将积存数据量重置为零，重复s3-s5。
9、在一些实施例中，所述s1包括：
10、s11：采用问题和回答的形式，对现有医疗数据进行格式统一；
11、s12：将问题作为输入数据，回答作为输出数据，形成训练集。
12、在一些实施例中，所述s2包括：
13、s21：在linear层对输入数据进行多维向量转化，具体计算为：
14、；
15、其中，表示输入的字符token的数字id表示，w代表linear层的权重矩阵，t代表进行矩阵转置，b代表linear层的偏置权重矩阵，为linear层的输出结果；
16、s22：将linear层的计算结果输入输入多头矩阵计算层，具体计算为：
17、；
18、其中，、、分别表示不同的权重矩阵，、、分别为不同的偏置矩阵，表示多头矩阵计算层的输出；
19、s23：通过softmax层进行归一化计算：
20、；
21、其中，表示softmax层的输出，代表以自然常数e为底的指数函数，i和j分别代表第i和第j个输入。
22、在一些实施例中，所述s3包括：
23、s31：通过mq端口将用户输入发送至redis数据库，通过异步消费队列将用户输入发送至预测模型并返回记录；
24、s32：预测模型根据用户输入预测用户输出，将预测结果存储于redis数据库，并返回前端进行人工审核；
25、s33：将人工审核的审核结果返回至redis数据库存储。
26、在一些实施例中，所述s4中包括：
27、s41：判断预测结果和审核结果中的中英文词汇单元数量以及中英文词汇内容是否一致；
28、s42：若不完全一致，则将审核结果作为正例数据，预测结果作为负例数据，并将所述正例数据和对应的负例数据作为一条样本存储于积存数据库中，积存数据量+1。
29、第二方面，本专利技术提供了基于mq端口和redis数据库的模型训练系统，包括：
30、数据处理模块，用于将现有医疗数据的数据格式进行统一，并作为训练集；
31、模型构建模块，用于构建预测模型，利用训练集对预测模型进行训练，所述预测模型包括：linear层、多头矩阵计算层以及softmax层；
32、预测模块，用于根据用户输入，利用预测模型输出预测结果，同时利用人工审核得到审核结果，并将预测结果和审核结果存储于redis数据库；
33、样本积存模块，用于判断审核结果是否进行过修改，若进行过修改，则将审核结果作为正例数据，预测结果作为负例数据，并将所述正例数据和对应的负例数据作为一条样本存储于积存数据库中，积存数据量+1；
34、自动训练模块，用于当积存数据量大于预设数据量阈值时，将积存数据库中的样本作为自训练集输入预测模型，对预测模型重新训练，并将积存数据量重置为零，重复预测模块、样本积存模块以及自动训练模块中的步骤。
35、在一些实施例中，所述数据处理模块包括：
36、格式统一子模块，用于采用问题和回答的形式，对现有医疗数据进行格式统一；
37、训练集构建子模块，用于将问题作为输入数据，回答作为输出数据，形成训练集。
38、在一些实施例中，所述模型构建模块包括：
39、向量转化子模块，用于在linear层对输入数据进行多维向量转化，具体计算为：
40、；
41、其中，表示输入的字符token的数字id表示，w代表linear层的权重矩阵，t代表进行矩阵转置，b代表linear层的偏置权重矩阵，为linear层的输出结果；
42、多头矩阵计算子模块，用于将linear层的计算结果输入输入多头矩阵计算层，具体计算为：
43、；
44、其中，、、分别表示不同的权重矩阵，、、分别为不同的偏置矩阵，表示多头矩阵计算层的输出；
45、归一化计算子模块，用于通过softmax层进行归一化计算：
46、；
47、其中，表示softmax层的输出，代表以自然常数e为底的指数函数，i和j分别代表第i和第j个输入。
48、在一些实施例中，所述预测模块包括：
49、输入子模块，用于通过mq端口将用户输入发送至redis数据库，通过异步消费队列将用户输入发送至预测模型并返回记录；
50、输出预测子模块，用于预测模型根据用户输入预测用户输出，将预测结果存储于redis数据库，并返回前端进行人工审核；
51、人工审核子模块，用于将人工审核的审核结果返回至redis数据库存储。
52、在一些实施例中，所述样本积存模块包括：
53、结果判断子模块，用于判断预测结果和审核结果中的中英文词汇单元数量以及中英文词汇内容是否一致；
54、训练集积存子模块，用于在预测结果和审核结果不完全一致的情况下，将审核结果作为正例数据，预测结果作为负例数据，并将本文档来自技高网...
【技术保护点】
1.基于mq端口和redis数据库的模型训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于mq端口和redis数据库的模型训练方法，其特征在于，所述S1包括：
3.根据权利要求1所述的基于mq端口和redis数据库的模型训练方法，其特征在于，所述S2包括：
4.根据权利要求1所述的基于mq端口和redis数据库的模型训练方法，其特征在于，所述S3包括：
5.根据权利要求1所述的基于mq端口和redis数据库的模型训练方法，其特征在于，所述S4中包括：
6.基于mq端口和redis数据库的模型训练系统，其特征在于，包括：
7.根据权利要求6所述的基于mq端口和redis数据库的模型训练系统，其特征在于，所述数据处理模块包括：
8.根据权利要求6所述的基于mq端口和redis数据库的模型训练系统，其特征在于，所述模型构建模块包括：
9.根据权利要求6所述的基于mq端口和redis数据库的模型训练系统，其特征在于，所述预测模块包括：
10.根据权利要求6所述的基于
...【技术特征摘要】
1.基于mq端口和redis数据库的模型训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于mq端口和redis数据库的模型训练方法，其特征在于，所述s1包括：
3.根据权利要求1所述的基于mq端口和redis数据库的模型训练方法，其特征在于，所述s2包括：
4.根据权利要求1所述的基于mq端口和redis数据库的模型训练方法，其特征在于，所述s3包括：
5.根据权利要求1所述的基于mq端口和redis数据库的模型训练方法，其特征在于，所述s4中包括：
6....
【专利技术属性】
技术研发人员：刘硕，杨雅婷，白焜太，宋佳祥，许娟，史文钊，
申请(专利权)人：神州医疗科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。