【技术实现步骤摘要】
本专利技术涉及深度学习领域，尤其涉及一种基于llama2的文本简化方法。
技术介绍
1、将深度学习技术应用在语言教学领域当中，可以为不同水平的学习者提供适合个人阅读能力的材料，即通过文本简化系统帮助降低文本的复杂度，以使文本与学习者的阅读水平相匹配，从而提高学习者有效阅读发生的概率。
2、目前，文本简化领域采用的模型通常基于较大的数据集wikilarge（一种数据集名称）进行训练，通过给定复杂句子，由模型生成简单句子，根据不同的语言模型的设定计算损失，不断优化语言模型。然而数据集wikilarge是自动对齐的，同时是由不同人员完成的简化，数据质量相对较差，难以保证语言模型的训练效果。
3、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供一种基于llama2的文本简化方法，旨在解决以往的数据集数据质量相对较差，难以保证语言模型的训练效果的技术问题。
2、为实现上述目的，本专利技术提供一种基于llama2的文本简化方法，所述基于llama2的文本简化方法包括以下步骤：
3、基于预设文本形式，构建包含复杂句、简单句、sari得分的数据集；
4、根据所述数据集，构建融合所述sari得分的输入模板；
5、基于lora方法和所述输入模板对应的输入数和输出数，对llama模型进行微调；
6、基于调整后的所述llama模型，构建简化句生成模
7、可选地，所述基于预设文本形式，构建包含复杂句、简单句、sari得分的数据集的步骤包括：
8、获取给定的复杂句和参考集；
9、基于所述复杂句，评估所述参考集中每一简化句的sari得分；
10、根据所述复杂句、所述简化句和所述sari得分，基于所述预设文本形式，构建所述数据集。
11、可选地，所述基于所述复杂句，评估所述参考集中每一简化句的sari得分的步骤包括：
12、选取待评估简化句；
13、去除所述参考集中的所述待评估简化句，以形成目标参考集；
14、根据所述复杂句、所述待评估简化句和所述目标参考集，计算第一操作得分、第二操作得分和第三操作得分；
15、根据所述第一操作得分、所述第二操作得分和所述第三操作得分，计算所述待评估简化句的sari得分。
16、可选地，其特征在于，所述根据所述数据集，构建融合所述sari得分的输入模板的步骤包括：
17、构建初始prompt模板；
18、将所述数据集中样本对应的第一操作得分、所述第二操作得分和所述第三操作得分，整合至所述prompt模板，以形成所述输入模板。
19、可选地，所述基于lora方法和所述输入模板对应的输入数和输出数，对llama模型进行微调的步骤包括：
20、选取llama2-7b模型作为基底模型；
21、基于所述基于lora方法和所述输入模板对应的输入数和输出数，对所述llama2-7b模型进行微调，所述llama2-7b模型属于所述llama模型。
22、可选地，所述基于调整后的所述llama模型，构建简化句生成模板并输出简化结果的步骤包括：
23、基于sari得分、第一操作得分、第二操作得分和第三操作得分，构建所述简化句生成模板；
24、通过更改所述生成模板中各项得分的数值，以控制所述llama模型输出所述简化结果。
25、可选地，所述llama模型的超参数包括所述sari得分、所述第一操作得分、所述第二操作得分和所述第三操作得分，所述简化句生成模板为所述llama模型的超参数输入模板。
26、可选地，所述第一操作得分、所述第二操作得分和所述第三操作得分分别对应添加操作、保留操作和删除操作。
27、此外，为实现上述目的，本专利技术还提供一种基于llama2的文本简化设备，所述基于llama2的文本简化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于llama2的文本简化程序，所述基于llama2的文本简化程序配置为实现如上所述的基于llama2的文本简化方法的步骤。
28、此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于llama2的文本简化程序，所述基于llama2的文本简化程序被处理器执行时实现如上所述的基于llama2的文本简化方法的步骤。
29、本专利技术提出一种基于llama2的文本简化方法，使用llama2-7b作为基底模型，即使在样本量较少的情况下，依然可以保持模型具备的语言能力，使用asset和turk数据集中的验证集部分作为本文的全部训练数据，经过处理后的数据为3.2w条，远远小于wikilarge的29w条，保持了较低的训练代价；将原有（复杂句，简单句）的输入格式改变为（复杂句，简单句，得分）的形式，以prompt的形式告知模型当前句子的得分，即将每条简化句子的性能好坏输入模型，从而将评价方式注入大模型中，在不改变模型结构、训练目标的情况下，一定程度上实现有监督训练的效果。
本文档来自技高网...【技术保护点】
1.一种基于Llama2的文本简化方法，其特征在于，所述基于Llama2的文本简化方法包括以下步骤：
2.如权利要求1所述的基于Llama2的文本简化方法，其特征在于，所述基于预设文本形式，构建包含复杂句、简单句、SARI得分的数据集的步骤包括：
3.如权利要求2所述的基于Llama2的文本简化方法，其特征在于，所述基于所述复杂句，评估所述参考集中每一简化句的SARI得分的步骤包括：
4.如权利要求1至3任一项所述的基于Llama2的文本简化方法，其特征在于，所述根据所述数据集，构建融合所述SARI得分的输入模板的步骤包括：
5.如权利要求1所述的基于Llama2的文本简化方法，其特征在于，所述基于LoRA方法和所述输入模板对应的输入数和输出数，对Llama模型进行微调的步骤包括：
6.如权利要求1所述的基于Llama2的文本简化方法，其特征在于，所述基于调整后的所述Llama模型，构建简化句生成模板并输出简化结果的步骤包括：
7.如权利要求6所述的基于Llama2的文本简化方法，其特征在于，所述Llama模
8.如权利要求6所述的基于Llama2的文本简化方法，其特征在于，所述第一操作得分、所述第二操作得分和所述第三操作得分分别对应添加操作、保留操作和删除操作。
9.一种基于Llama2的文本简化设备，其特征在于，所述基于Llama2的文本简化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于Llama2的文本简化程序，所述基于Llama2的文本简化程序配置为实现如权利要求1至6中任一项所述的基于Llama2的文本简化方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于Llama2的文本简化程序，所述基于Llama2的文本简化程序被处理器执行时实现如权利要求1至6任一项所述的基于Llama2的文本简化方法的步骤。
...【技术特征摘要】
1.一种基于llama2的文本简化方法，其特征在于，所述基于llama2的文本简化方法包括以下步骤：
2.如权利要求1所述的基于llama2的文本简化方法，其特征在于，所述基于预设文本形式，构建包含复杂句、简单句、sari得分的数据集的步骤包括：
3.如权利要求2所述的基于llama2的文本简化方法，其特征在于，所述基于所述复杂句，评估所述参考集中每一简化句的sari得分的步骤包括：
4.如权利要求1至3任一项所述的基于llama2的文本简化方法，其特征在于，所述根据所述数据集，构建融合所述sari得分的输入模板的步骤包括：
5.如权利要求1所述的基于llama2的文本简化方法，其特征在于，所述基于lora方法和所述输入模板对应的输入数和输出数，对llama模型进行微调的步骤包括：
6.如权利要求1所述的基于llama2的文本简化方法，其特征在于，所述基于调整后的所述llama模型，构建简化句生成模板并输出简化结果的步骤包括：
7.如权利要求...
【专利技术属性】
技术研发人员：甘健侯，李子杰，陈书雨，王士进，刘三女牙，张桂戌，郑淑英，周菊香，
申请(专利权)人：云南师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。