【技术实现步骤摘要】
本专利技术涉及自然语言处理，尤其涉及一种基于模型优化的业务数据处理方法和系统。
技术介绍
1、当前，国防后备力量领域的业务工作处理已依靠信息化手段实现了线上处理，然而业务相关的查询功能仍然为传统的条件查询或筛选查询，暂未实现智能化的交互式问答查询。此外，随着业务系统的运行，产生的业务数据逐年庞大，查询的数据量也逐渐增多，传统的查询方式已逐渐不能满足国防后备力量查询的需求。伴随着国内外人工智能大模型的密集产生及其在金融、医学、交通等各民用领域的广泛应用，基于人工智能大模型实现国防后备力量业务的智能化处理是必要的。此外，在如何构建专用于国防业务相关领域的模型、如何实现业务处理与智能化对话式问答等多方面仍存在很大改进空间。
2、因此，有必要提供一种基于模型优化的业务数据处理方法，以解决上述问题。
技术实现思路
1、本专利技术意在提供一种基于模型优化的业务数据处理方法和系统，以解决现有技术中如何构建专用于国防业务相关领域的模型、如何实现业务处理与智能化对话式问答，以及进一步优化模型参数和模型精度等的技术问题，本专利技术要解决的技术问题通过以下技术方案来实现。
2、本专利技术第一方面提出一种基于模型优化的业务数据处理方法，包括：采集国防业务管理场景相关数据，建立业务管理数据集，并将所述业务管理数据集按照指定比例进行划分，得到训练集和验证集；在预训练模型的基础上，使用所述训练集对所述预训练模型进行微调训练，在微调训练过程中，多次输入相同模型输入数据，得到不同的指定数量模
3、根据可选实施方式，所述通过对所形成的输入输出数据对进行排序打分调整预训练模型，以得到初步优化后的第一业务处理模型，包括：
4、根据所形成的输入输出数据对训练第一业务处理模型的奖励模型，并根据所述奖励模型的损失函数使用以下公式对输出数据进行计算评估：
5、
6、loss(θ)表示所述奖励模型的损失函数，其中，θ表示奖励模型需要优化的参数；x表示将待处理业务数据作为模型输入数据；y表示与模型输入数据相对应的输出，即输出答案；k表示模型输入数据相同时所输出的输出结果的数量；d表示人工对输出答案进行排序的数据集；表示期望，yω和yh表示模型输入数据x对应的k个输出答案中的两个输出答案，且第w个输出答案yω的排序比第h个输出答案yh的排序高；rθ表示奖励模型对模型输入数据x加输出结果y的评分，σ表示sigmoid函数，将rθ之间的差值转换到-1到1之间；对上述损耗值进行最小化，即表示模型能最大限度的区分质量好和质量差的回答之间的评分。
7、根据可选实施方式，进一步包括：采用训练好的奖励模型，对相同模型输入数据的指定数量的模型输出数据进行排序，所述排序结果表征输出结果的合理性；所述指定数量为3～6。
8、根据可选实施方式，所述确定是否达到调整目标，以得到初步优化后的第一业务处理模型，包括：所述奖励模型的损失函数的损耗值最小时，则奖励模型完成调整，可根据所述奖励模型对多个输出结果进行排序，将“相对任务”转换为“绝对任务”。
9、根据可选实施方式，进一步包括：采用clip算法，具体采用以下表达式计算模型损失值以更新模型参数：
10、
11、其中，lclip(θ)表示第一业务处理模型的损失函数，用于计算第一业务处理模型当前训练中的损失值；θ为第一业务处理模型的策略函数；表示对时间步长的经验预期；rt表示在时间为t时(或者t时刻)新策略和旧策略下的概率比，t表示时间或时刻；在t时刻所计算的估计值，t表示时间或时刻；ε是第一业务处理模型的超参数，具体为0.08～0.22；
12、每执行一轮训练，则计算一次模型损失值；
13、根据所计算的模型损失值，确定是否更新模型参数θ。
14、根据可选实施方式，进一步包括：根据不断更新的模型参数，且根据模型输出结果的精确度，确定是否停止模型训练，以得到最终的第二业务处理模型。
15、根据可选实施方式，接收待处理业务数据，识别所述待处理业务数据是否为文本输入；在确定是非文本输入时，将所述待处理业务数据转换为文本输入；对转换为文本输入后的待处理业务数据进行关键词提取；在确定是文本输入时，对所述待处理业务数据进行关键词信息。
16、根据可选实施方式，基于自建的数据库，根据所提取的关键词信息进行数据标识匹配，得到匹配结果，所述匹配结果包括数据库中包含关键词的所有数据。
17、根据可选实施方式，将所述待处理业务数据和所得到的匹配结果输入所述第二业务处理模型，得到与待处理业务数据相匹配的结果信息，并将可通过地图展示的所述结果信息标注在地图上。
18、本专利技术第二方面提供一种基于模型优化的业务数据处理系统，用于执行本专利技术第一方面所述的基于模型优化的业务数据处理方法，包括：第一建立模块，采集国防业务管理场景相关数据，建立业务管理数据集，并将所述业务管理数据集按照指定比例进行划分，得到训练集和验证集；第一优化模块；在预训练模型的基础上，使用所述训练集对所述预训练模型进行微调训练，在微调训练过程中，多次输入相同模型输入数据，得到不同的多个模型输出数据，以形成输入输出数据对，通过对所形成的输入输出数据对进行计算评估以确定是否达到调整目标，以得到初步优化后的第一业务处理模型；第二优化模型，采用近端策略优化算法，重复执行所述第一业务处理模型的模型参数优化步骤，直到所述第一业务处理模型的预测精确度达到指定值为止，得到优化后的第二业务处理模型；输出处理模块，将待处理业务数据输入所述第二业务处理模型，得到与待处理业务数据相匹配的结果信息，并将可通过地图展示的所述结果信息标注在地图上。
19、本专利技术第三方面提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术第一方面所述的方法。
20、本专利技术第四方面提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术第一方面所述的方法。
21、本专利技术的有益效果：
22、与现有技术相比，本专利技术通过对预训练模型进行两次模型优化后得到的第二业务处理模型，能够得到智能化的业务处理模型；使用第二业务处理模型进行预测，能够得到更精确的输出结果。
23、此外，通过初始优化过程，将每个输入和对应的多个输出两两组合，形成多个训练数据对，将所述训练数据对输入预训练模型进行训练得到本文档来自技高网...
【技术保护点】
1.一种基于模型优化的业务数据处理方法，其特征在于，包括：
2.根据权利要求1所述的基于模型优化的业务数据处理方法，其特征在于，所述通过对所形成的输入输出数据对进行排序打分调整预训练模型，以得到初步优化后的第一业务处理模型，包括：
3.根据权利要求2所述的基于模型优化的业务数据处理方法，其特征在于，进一步包括：
4.根据权利要求3所述的基于模型优化的业务数据处理方法，其特征在于，所述确定是否达到调整目标，以得到初步优化后的第一业务处理模型，包括：
5.根据权利要求1所述的基于模型优化的业务数据处理方法，其特征在于，进一步包括：
6.根据权利要求5所述的基于模型优化的业务数据处理方法，其特征在于，进一步包括：
7.根据权利要求1所述的基于模型优化的业务数据处理方法，其特征在于，
8.根据权利要求7所述的基于模型优化的业务数据处理方法，其特征在于，
9.根据权利要求8所述的基于模型优化的业务数据处理方法，其特征在于，
10.一种基于模型优化的业务数据处理系统，用于执行权利要求1
...【技术特征摘要】
1.一种基于模型优化的业务数据处理方法，其特征在于，包括：
2.根据权利要求1所述的基于模型优化的业务数据处理方法，其特征在于，所述通过对所形成的输入输出数据对进行排序打分调整预训练模型，以得到初步优化后的第一业务处理模型，包括：
3.根据权利要求2所述的基于模型优化的业务数据处理方法，其特征在于，进一步包括：
4.根据权利要求3所述的基于模型优化的业务数据处理方法，其特征在于，所述确定是否达到调整目标，以得到初步优化后的第一业务处理模型，包括：
5.根据权利要求1所述的基...
【专利技术属性】
技术研发人员：崔自如，王恺，刘毅，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。