【技术实现步骤摘要】
本申请涉及人工智能处理领域，特别是涉及一种模型训练方法、装置、设备以及存储介质。
技术介绍
1、在大规模的数据进行预训练，然后在实际的下游任务进行微调是在计算机视觉领域中一种常见的范式。
2、然而对于下游任务进行微调的过程中，模型会出现灾难性遗忘的问题，即对于遗忘在预训练过程中学习到的知识。
技术实现思路
1、本申请至少提供一种模型训练方法、装置、设备以及存储介质。
2、本申请提供了一种模型训练方法，包括：获取多组样本图文对，每组样本图文对包括图像和文本，部分样本图文对的图像和文本分别为噪声图像和随机文本，部分样本图文对的图像为针对目标任务的图像；利用预训练模型对各样本图文对进行处理，得到各样本图文对的模型处理结果；分别基于各样本图文对的模型处理结果和对应的参考处理结果之间的差异，调整预训练模型的参数，其中，调整得到的预训练模型用于执行目标任务。
3、在上述方案中，噪声图像和随机文本组成的图文对与预训练数据集的特征分布匹配，使用噪声图像和随机文本组成的图...
【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述噪声图像的像素值为随机生成的数值，所述随机文本包括随机字母组合的假词和/或随机真实单词组成的假句。
3.根据权利要求2所述的方法，其特征在于，所述噪声图像的所有像素值符合预设分布，所述预设分布包括均匀分布、高斯分布、指数分布中至少一者。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述噪声图像和随机文本组成的所述样本图文对为目标样本图文对；所述分别基于各所述样本图文对的模型处理结果和对应的参考处理结果之间的差异，调整所述预训练模...
【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述噪声图像的像素值为随机生成的数值，所述随机文本包括随机字母组合的假词和/或随机真实单词组成的假句。
3.根据权利要求2所述的方法，其特征在于，所述噪声图像的所有像素值符合预设分布，所述预设分布包括均匀分布、高斯分布、指数分布中至少一者。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述噪声图像和随机文本组成的所述样本图文对为目标样本图文对；所述分别基于各所述样本图文对的模型处理结果和对应的参考处理结果之间的差异，调整所述预训练模型的参数之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述利用参考模型对所述目标样本图文对进行处理，得到所述目标样本图文对的参考处理结果包括：
6.根据权利要求5所述的方法，其特征在于，所述利用参考模型对所述目标样本图文对进行处理，得到所述目标样本图文...
【专利技术属性】
技术研发人员：龙祖伟，王坤，任大发，李煜堃，曾星宇，
申请(专利权)人：商汤人工智能研究中心深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。