【技术实现步骤摘要】
本专利技术涉及人工智能，具体为一种无监督小样本内容创作模型训练方法及系统。
技术介绍
1、大语言模型是近年来人工智能领域的重要突破之一。随着深度学习技术的快速发展和计算能力的增强，大语言模型的规模和性能得到了极大提升。
2、现有技术中，在今天的数字化时代，有着巨大的内容生成需求，涵盖了新闻报道、广告文案、社交媒体帖子、教育材料等。大模型展现出了卓越的生成能力，在上述场景化的内容创作中，大模型可以满足这些需求，同时，大模型凭借其理解能力，能够提供多样化、多语种的生成服务，能够很好的满足场景化创作体验，节省大量成本。
3、但是，将大模型实际落地上述场景化创作任务上，仍然面临一些问题和挑战，其中包括：
4、场景化生成能力不足：大模型是在广泛的互联网数据上进行训练而得到的模型。对特定场景，例如新闻、诗歌、散文等任务领域学习有限，生成能力有待提升。
5、监督训练数据不足：对大模型进行训练依赖大量的监督数据，但数据标注需要花费大量的人力和时间，所以特定任务场景下，标注数据往往非常稀缺和宝贵，通常可获取的数据不足以支撑大模型进行充分的训练。
6、训练和生成之间存在差异：在实际的内容创作过程中，往往输入是比较灵活多样的，但一般模型的训练是固定形式的，这就导致模型在部分输入下，效果可能比较差。
7、为了解决上述问题，通常情况下需要依赖持续的人力投入，进行数据标注，对生成过程中输入进行校验和约束，保证推理和训练的一致性。但这种投入和限定，大大的约束了大模型的使用场景和提升了使用
8、因此，针对场景化内容过创作任务，利用少量的样本数据，实现无监督的训练过程，提升大模型的场景内容创作能力是非常必要的。
技术实现思路
1、本专利技术的目的在于提供一种无监督小样本内容创作模型训练方法及系统，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种无监督小样本内容创作模型训练方法，所述方法包括以下步骤：
3、收集场景下可用文档数据；
4、书写内容生成框架，并建立抽取模块；
5、获取多种抽取结果；
6、获取模型生成结果；
7、训练阶段，计算生成内容和原始文档的loss，然后回传损失，实现模型训练过程，重复流程，直到满足训练停止条件为止；
8、推理阶段，获取模型训练生成内容，结束流程。
9、优选的，明确任务的目标，基于决策树规则对不同数据类型的数据进行归类处理，将每个数据归类到对应的测试场景，并按场景对应的规则表达式生成场景数据，收集场景下可用文档数据；
10、对数据进行预处理，基于数据的数据类型选择对应的提数脚本，按字段提取测试数据的对应值；基于预设去噪规则对所述对应值进行数据清洗。
11、优选的，针对任务诉求，书写内容生成框架；设计抽取方法，建立抽取模块；具体包括：确定模型的目标和适用范围，在开始设计模型之前，需要明确模型的目标和应用范围；收集和整理数据，根据模型的目标和应用范围，收集相关的数据和信息，数据来自不同的来源，例如市场调查、行业报告、专家意见；对数据进行整理和分析；确定模型的变量和参数，根据收集的数据和信息，确定模型中需要使用的变量和参数，变量和参数可以是已知的。
12、优选的，将场景下文档数据，输入抽取模块，获取多种抽取结果。
13、优选的，将抽取结果结合内容生成框架，输入模型，获取模型生成结果。
14、一种无监督小样本内容创作模型训练系统，所述系统由抽取模块和主流程模块构成；
15、抽取模块，实现对原始数据的格式转换；
16、主流程模块，训练阶段从原始文档到模型生成内容整个流程，推理阶段支持从参考文档或直接输入结构化信息到模型生成内容。
17、优选的，抽取模块，包括训练过程、推理过程以及生成过程。
18、优选的，训练过程，实现对场景数据的多样化抽取。
19、优选的，推理过程，实现对参考文档的信息抽取。
20、优选的，生成过程，抽取的数据和内容生成提示框架结合，输入模型，进行内容生成。
21、与现有技术相比，本专利技术的有益效果是：
22、本专利技术提出的无监督小样本内容创作模型训练方法及系统，在少量无标注样本的场景下，支持内容生成大模型的微调，通过多样化的抽取方式，既能实现数据自动增广，又能提升模型的泛化性。将原始文档转化为结构化信息的方式，能够在仅有原始文档的情况下实现训练过程，同时也增加了推理使用方式的多样性，使其更加符合真实使用场景。
本文档来自技高网...【技术保护点】
1.一种无监督小样本内容创作模型训练方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的一种无监督小样本内容创作模型训练方法，其特征在于：明确任务的目标，基于决策树规则对不同数据类型的数据进行归类处理，将每个数据归类到对应的测试场景，并按场景对应的规则表达式生成场景数据，收集场景下可用文档数据；
3.根据权利要求2所述的一种无监督小样本内容创作模型训练方法，其特征在于：针对任务诉求，书写内容生成框架；设计抽取方法，建立抽取模块；具体包括：
4.根据权利要求3所述的一种无监督小样本内容创作模型训练方法，其特征在于：将场景下文档数据，输入抽取模块，获取多种抽取结果。
5.根据权利要求4所述的一种无监督小样本内容创作模型训练方法，其特征在于：将抽取结果结合内容生成框架，输入模型，获取模型生成结果。
6.一种根据权利要求1-5任意一项所述的无监督小样本内容创作模型训练方法的无监督小样本内容创作模型训练法系统，其特征在于：所述系统由抽取模块和主流程模块构成；
7.根据权利要求6所述的一种无监督小样本内容创
8.根据权利要求7所述的一种无监督小样本内容创作模型训练系统，其特征在于：训练过程，实现对场景数据的多样化抽取。
9.根据权利要求7所述的一种无监督小样本内容创作模型训练系统，其特征在于：推理过程，实现对参考文档的信息抽取。
10.根据权利要求7所述的一种无监督小样本内容创作模型训练系统，其特征在于：生成过程，抽取的数据和内容生成提示框架结合，输入模型，进行内容生成。
...【技术特征摘要】
1.一种无监督小样本内容创作模型训练方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的一种无监督小样本内容创作模型训练方法，其特征在于：明确任务的目标，基于决策树规则对不同数据类型的数据进行归类处理，将每个数据归类到对应的测试场景，并按场景对应的规则表达式生成场景数据，收集场景下可用文档数据；
3.根据权利要求2所述的一种无监督小样本内容创作模型训练方法，其特征在于：针对任务诉求，书写内容生成框架；设计抽取方法，建立抽取模块；具体包括：
4.根据权利要求3所述的一种无监督小样本内容创作模型训练方法，其特征在于：将场景下文档数据，输入抽取模块，获取多种抽取结果。
5.根据权利要求4所述的一种无监督小样本内容创作模型训练方法，其特征在于：将抽取结果结合内容生成框架，输入...
【专利技术属性】
技术研发人员：张其来，郭冬升，姜凯，张连超，宁方刚，陈兆亮，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。