【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种可持续学习的唇语识别模型训练方法及装置。
技术介绍
1、随着大模型时代的到来，类增量学习技术被应用于越来越多的领域中。类增量学习指模型需要不断地从连续数据流中学习新类别知识，同时保留学到的旧类别知识。在现有的图像类增量学习方法中，虽然也实现了在通过保存模型参数来保留旧类别知识的情况下学习新类别知识，但是现有的图像类增强方法难以适配于唇语识别任务中，从而降低了唇语识别的准确性。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够适配唇语识别的类增量学习的可持续学习的唇语识别模型训练方法、装置、计算机设备和存储介质，提高了唇语识别的准确性。
2、一种可持续学习的唇语识别模型训练方法，所述方法包括：
3、获取当前任务对应的待训练数据和当前任务唇语识别模型，获取前向任务唇语识别模型对应的前向任务特征数据、前向任务模型参数数据和前向任务类概率数据，所述当前任务唇语识别模型基于所述前向任务模型参数数据进行参数初始化；
4、基于所述待训练数据对当前任务唇语识别模型进行训练，得到当前任务唇语识别模型对应的当前任务特征数据和当前任务类概率数据；
5、基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据；
6、基于所述当前任务损失数据，对当前任务唇语识别模型进行调参操作，重复基于所述待训练数据对当前任务唇语识别模型进行训练
7、在其中一个实施例中，所述前向任务模型参数数据包括前向任务短时特征提取网络参数、第一前向任务长时特征提取网络参数和第二前向任务长时特征提取网络参数，所述当前任务唇语识别模型包括短时特征提取网络、第一长时特征提取网络和第二长时特征提取网络；所述获取当前任务唇语识别模型之前，还包括：
8、将所述前向任务短时特征提取网络参数作为所述短时特征提取网络对应的初始化参数；
9、获取预设系数，将所述预设系数、第一前向任务长时特征提取网络参数和第二前向任务长时特征提取网络参数进行融合，得到融合长时特征提取网络参数，将所述融合长时特征提取网络参数作为所述第一长时特征提取网络对应的初始化参数；
10、将所述第二前向任务长时特征提取网络参数作为所述第二长时特征提取网络对应的初始化参数。
11、在其中一个实施例中，所述前向任务特征数据包括前向任务短时视觉特征、前向任务长时视觉特征和前向任务综合特征；所述当前任务特征数据包括当前任务短时视觉特征、当前任务长时视觉特征和当前任务综合特征；所述基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据包括：
12、基于预设范数函数，计算所述前向任务短时视觉特征和当前任务短时视觉特征对应的第一范数值，以及计算所述当前任务长时视觉特征和前向任务长时视觉特征对应的第二范数值，将所述第一范数值和第二范数值进行融合，得到当前任务唇语识别模型对应的序列蒸馏损失数据；
13、基于预设熵损失函数，计算所述前向任务综合特征和当前任务综合特征对应的熵损失数据，基于预设散度函数，计算所述前向任务类概率数据和当前任务类概率数据对应的散度损失数据，将所述熵损失数据和散度损失数据进行融合，得到当前任务唇语识别模型对应的分布蒸馏损失数据；
14、将所述序列蒸馏损失数据和分布蒸馏损失数据进行融合，得到当前任务唇语识别模型对应的当前任务损失数据。
15、在其中一个实施例中，所述基于所述当前任务损失数据，对当前任务唇语识别模型进行调参操作包括：
16、基于预设传播算法和所述当前任务损失数据，计算所述当前任务唇语识别模型中的短时特征提取网络对应的待更新短时网络参数和第二长时特征提取网络对应的待更新第二长时网络参数；
17、基于所述待更新短时网络参数对所述短时特征提取网络进行参数调整，得到更新的短时特征提取网络，基于所述待更新第二长时网络参数对所述第二长时特征提取网络进行参数调整，得到更新的第二长时特征提取网络；
18、将所述当前任务唇语识别模型中的第一长时特征提取网络对应的参数和所述待更新第二长时模型参数进行融合，得到所述第一长时特征提取网络对应的待更新第一长时网络参数，基于所述待更新第一长时模型参数对所述第一长时特征提取网络进行参数调整，得到更新的第一长时特征提取网络。
19、在其中一个实施例中，所述获取当前任务对应的待训练数据包括：
20、获取前向任务重复样本数据和前向任务更新样本数据；
21、基于预设类中心距离算法和所述前向任务更新样本数据对应的前向任务特征数据，从所述前向任务更新样本数据中获取第一待使用样本数据，基于预设取样规则，从所述前向任务重复样本数据中获取第二待使用样本数据；
22、获取当前任务更新样本数据，将所述当前任务更新样本数据、第一待使用样本数据和第二待使用样本数据组合生成所述待训练数据。
23、在其中一个实施例中，所述基于所述待训练数据对当前任务唇语识别模型进行训练，得到当前任务唇语识别模型对应的当前任务特征数据包括：
24、将所述待训练数据输入所述当前任务唇语识别模型中，基于所述当前任务唇语识别模型中的短时特征提取网络对所述待训练数据进行特征提取，得到当前任务短时视觉特征；
25、将所述当前任务短时视觉特征分别输入所述当前任务唇语识别模型中的第一长时特征提取网络和第二长时特征提取网络，得到第一长时视觉特征和第二长时视觉特征，将所述第一长时视觉特征和第二长时视觉特征进行融合，得到当前任务长时视觉特征；
26、将所述当前任务长时视觉特征依次输入池化层和全连接层，得到当前任务综合特征，所述当前任务短时视觉特征、当前任务长时视觉特征和当前任务综合特征构成所述当前任务特征数据。
27、在其中一个实施例中，所述重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到所述当前任务对应的目标任务唇语识别模型包括：
28、重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到多个待选取当前任务唇语识别模型；
29、基于各待选取当前任务唇语识别模型对应的评价指标的比对结果，从所述多个待选取当前任务唇语识别模型中确定所述目标任务唇语识别模型。
30、一种可持续学习的唇语识别模型训练装置，所述装置包括：
31、获取模块，用于获取当前任务对应的待训练数据和当前任务唇语识别模型，获取前向任务唇语识别模型对应的前向任务特征数据、前向任务模型参数数据和前向任务类概率数据，所述当前任务唇语识别模型基于所述前向任务模型参数数据进行参数初始化；
3本文档来自技高网...
【技术保护点】
1.一种可持续学习的唇语识别模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述前向任务模型参数数据包括前向任务短时特征提取网络参数、第一前向任务长时特征提取网络参数和第二前向任务长时特征提取网络参数，所述当前任务唇语识别模型包括短时特征提取网络、第一长时特征提取网络和第二长时特征提取网络；所述获取当前任务唇语识别模型之前，还包括：
3.根据权利要求1所述的方法，其特征在于，所述前向任务特征数据包括前向任务短时视觉特征、前向任务长时视觉特征和前向任务综合特征；所述当前任务特征数据包括当前任务短时视觉特征、当前任务长时视觉特征和当前任务综合特征；所述基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述当前任务损失数据，对当前任务唇语识别模型进行调参操作包括：
5.根据权利要求1所述的方法，其特征在于，所述获取当前任务对应的待训练数据包括：
6.根据权
7.根据权利要求1所述的方法，其特征在于，所述重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到当前任务对应的目标任务唇语识别模型包括：
8.一种可持续学习的唇语识别模型训练装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种可持续学习的唇语识别模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述前向任务模型参数数据包括前向任务短时特征提取网络参数、第一前向任务长时特征提取网络参数和第二前向任务长时特征提取网络参数，所述当前任务唇语识别模型包括短时特征提取网络、第一长时特征提取网络和第二长时特征提取网络；所述获取当前任务唇语识别模型之前，还包括：
3.根据权利要求1所述的方法，其特征在于，所述前向任务特征数据包括前向任务短时视觉特征、前向任务长时视觉特征和前向任务综合特征；所述当前任务特征数据包括当前任务短时视觉特征、当前任务长时视觉特征和当前任务综合特征；所述基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述当前任务损失数据，对当前任务唇语识别模型进...
【专利技术属性】
技术研发人员：李海洲，张雪毅，葛檬，王帅，
申请(专利权)人：深圳市大数据研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。