基于增量学习的评论生成方法、系统、设备及存储介质技术方案

本申请公开了一种基于增量学习的评论生成方法、系统、设备及存储介质，所述基于增量学习的评论生成方法包括：获取用户输入的媒体信息；将所述媒体信息输入至第一语言模型中，对所述媒体信息进行评论生成处理，得到所述媒体信息的评论集合，其中，所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后，再基于第一训练样本，通过序列到序列的训练方法对所述第三语言模型进行训练得到的；其中，所述第一语言模型基于增量学习进行更新。本申请涉及自然语言生成领域，搭建预训练语言模型，引入增量学习对模型进行更新，在保持模型评论生成任务准确性的同时适应新的媒体信息评论生成任务。时适应新的媒体信息评论生成任务。时适应新的媒体信息评论生成任务。

【技术实现步骤摘要】
基于增量学习的评论生成方法、系统、设备及存储介质


[0001]本申请涉及自然语言生成领域，尤其涉及一种基于增量学习的评论生成方法、系统、设备及存储介质。

技术介绍

[0002]随着科技不断发展，媒体信息在网络平台上传播的同时，用户可以通过评论发表自己的观点。媒体信息的评论一方面可以对媒体信息的内容作进一步的解释，另一方面可以吸引更多用户的讨论。媒体信息的评论的生成技术可以针对一则特定媒体信息生成评论，激发用户交流回复的热情，从而增加媒体信息的热度，甚至还能够发挥舆论导向的作用，使得社会更加稳定和谐。目前阶段媒体信息评论自动生成技术的相关研究较为稀少，由于媒体信息的实时性，不断地有新的训练数据产生，故需要调整模型适应新的评论生成任务。
[0003]现有的评论生成技术部分采用基于预训练语言模型进行微调的方法，这个方法若面向源源不断的新训练数据集时，会出现旧任务性能被降低的问题。还有一些研究采用了基于预训练语言模型进行联合训练的方法，然而这个方法效率非常低，且对计算资源要求苛刻，这极大阻碍了模型实时地学习新数据。

技术实现思路

...

【技术保护点】

【技术特征摘要】
1.一种基于增量学习的评论生成方法，其特征在于，所述基于增量学习的评论生成方法包括：获取用户输入的媒体信息；将所述媒体信息输入至第一语言模型中，对所述媒体信息进行评论生成处理，得到所述媒体信息的评论集合，其中，所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后，再基于第一训练样本，通过序列到序列的训练方法对所述第三语言模型进行训练得到的；其中，所述第一语言模型基于增量学习进行更新。2.如权利要求1所述的基于增量学习的评论生成方法，其特征在于，所述第一语言模型基于增量学习进行更新的步骤，包括：获取第二训练样本；确定所述第一训练样本中的第一代表性样本以及所述第二训练样本中的第二代表性样本；基于所述第一代表性样本和所述第二代表性样本，更新所述第一语言模型。3.如权利要求2所述的基于增量学习的评论生成方法，其特征在于，所述确定所述第一训练样本及所述第二训练样本中代表性样本的步骤，包括：分别对所述第一训练样本及所述第二训练样本施加扰动，获取所述第一训练样本及所述第二训练样本的预测值变化；基于所述预测值变化，获取样本在特征空间的相对位置；基于所述样本在特征空间的相对位置，确定所述第一训练样本及所述第二训练样本中代表性样本。4.如权利要求2所述的基于增量学习的评论生成方法，其特征在于，所述基于所述第一代表性样本和所述第二代表性样本，更新所述第一语言模型的步骤，包括：合并所述第一代表性样本和所述第二代表性样本，得到新训练样本；基于所述新训练样本，利用所述序列到序列的训练方法对所述第一语言模型进行训练，得到更新后的所述第一语言模型。5.如权利要求1所述的基于增量学习的评论生成方法，其特征在于，所述获取用户输入的媒体信息的步骤之前，所述方法包括：获取所述预训练样本、Transformer模型块、所述第一训练样本和Mask矩阵；基于所述预训练样本与Transformer模型块，对所述预设的第二语言模型进行训练，得到所述第三语言模型；基于所...

【专利技术属性】
技术研发人员：毛震东，张勇东，韩靖轩，张立成，顾培健，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：