手语识别模型训练方法、设备及可读存储介质技术

本申请公开了一种手语识别模型训练方法、设备及可读存储介质，本申请涉及手语识别技术领域，方法包括：获取训练数据集与待训练的手语识别模型，其中，训练数据集包括手语数据与手语数据对应的结果标签；将手语数据输入至手语识别模型得到第一预测结果与第二预测结果，其中，第一预测结果为手语识别模型中隐藏层的输出，第二预测结果为手语识别模型中输出层的输出；基于第一预测结果与结果标签计算第一损失值，基于第二预测结果与结果标签计算第二损失值；基于第一损失值与第二损失值优化手语识别模型，直至满足预设训练结束条件后，获得训练完成的手语识别模型。本申请实现了手语识别结果的稳定性。

【技术实现步骤摘要】

本申请涉及手语识别，尤其涉及一种手语识别模型训练方法、设备及可读存储介质。

技术介绍

1、手语是聋哑人士获取信息及表达信息的一种重要方式，聋哑人士通常通过手语来与他人进行沟通，这需要交流的双方都要懂得手语，而正常人学习手语需耗费大量的时间和精力，故而大部分正常人的手语水平较低，难以与聋哑人士进行交流。因此，智能化的手语识别对聋哑人的沟通具有重大意义。

2、目前，手语识别技术在深度神经网络的基础上发展而来，主要分为传统的机器学习方法和深度学习方法。传统的手语识别方法依赖人工设计特征，需要反复验证，同时预处理过程繁琐，效率较低；深度学习技术的发展极大推进了手语识别技术的发展，基于深度学习的手语识别方式，需要提前训练手语识别模型，然而目前的模型训练方式主要使用最后网络的输出，计算损失函数的函数值(以下称为损失值)，基于此损失值优化模型，但是这种单一损失值在反向传播过程中，往往越靠近输入端的网络层会因为梯度过小，不容易学习到数据的特征，参数更新幅度小，导致网络难以训练，并且这种单一损失值可能会过度拟合某些特定的数据分布或场景，最终导致基于训练得到手语识本文档来自技高网...

【技术保护点】

1.一种手语识别模型训练方法，其特征在于，所述手语识别模型训练方法包括以下步骤：

2.如权利要求1所述的手语识别模型训练方法，其特征在于，所述手语识别模型为Transformer模型，所述Transformer模型包括至少一个编码器堆栈，所述第一预测结果为各所述编码器堆栈的输出，所述基于所述第一预测结果与所述结果标签计算第一损失值的步骤，包括：

3.如权利要求1所述的手语识别模型训练方法，其特征在于，所述基于所述第一损失值与所述第二损失值优化所述手语识别模型的步骤，包括：

4.如权利要求3所述的手语识别模型训练方法，其特征在于，所述对各所述第一损失值与...

【技术特征摘要】

1.一种手语识别模型训练方法，其特征在于，所述手语识别模型训练方法包括以下步骤：

2.如权利要求1所述的手语识别模型训练方法，其特征在于，所述手语识别模型为transformer模型，所述transformer模型包括至少一个编码器堆栈，所述第一预测结果为各所述编码器堆栈的输出，所述基于所述第一预测结果与所述结果标签计算第一损失值的步骤，包括：

3.如权利要求1所述的手语识别模型训练方法，其特征在于，所述基于所述第一损失值与所述第二损失值优化所述手语识别模型的步骤，包括：

4.如权利要求3所述的手语识别模型训练方法，其特征在于，所述对各所述第一损失值与所述第二损失值进行加权求和计算得到目标损失值的步骤，包括：

5.如权利要求4所述的手语识别模型训练方法，其特征在于，所述第二损失值对应的损失权重为0.5，各所述第一损失值对应的损失权重大于或等于0.1且小于或等于0.4，各所述第一损失值对应的损失权重在模型训练过程中进行迭代优化。...

【专利技术属性】
技术研发人员：孙九鉴，陈永富，陈曰清，李保成，李国鑫，李佳明，李昱锋，史高建，杨明明，朱志鹏，张同全，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：