【技术实现步骤摘要】
本专利技术属于数据挖掘,具体涉及一种基于双流transformer的大规模手语数据高质量自动筛选方法。
技术介绍
1、对于基于深度学习的手语识别翻译任务,手语数据质量规模是很重要的,尤其是训练数据的质量规模决定了手语识别翻译效果的上限,而模型和算法的改进只是在不断地逼近这个上限。目前,手语识别翻译研究所使用到的开源手语数据集均存在规模小、缺乏多样性等问题,而这些问题会导致手语识别翻译模型泛化能力不强,无法落地实用。因此,手语识别翻译研究急需大规模、多样性的手语数据来提升识别翻译模型的性能和泛化能力。而在构建海量、复杂的手语数据过程中,不可避免地会采集到错误数据,例如手语顺序错误、手势错误和手语遗漏等情况。错误数据会让模型学习到错误的映射关系,导致手语识别翻译效果的降低。如果使用人工对大规模手语数据集进行检查,则是严重消耗人力成本和时间成本。
2、综上,本专利技术基于计算机视觉中的深度学习技术,提出一种基于双流transformer的大规模手语数据高质量自动筛选方法,能够自动筛选错误手语数据,在构建大规模手语数据集过程中提升了
...【技术保护点】
1.一种基于双流Transformer的大规模手语数据高质量自动筛选方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的基于双流Transformer的大规模手语数据高质量自动筛选方法,其特征在于,所述交叉Transformer的输入分别通过三个线性层转换为查询向量、键向量和值向量,第一个分支的交叉Transformer的查询向量作为第二个分支的交叉Transformer的查询向量,第二个分支的交叉Transformer的查询向量作为第一个分支的交叉Transformer的查询向量,则交叉Transformer的输出特征X1表示为:
【技术特征摘要】
1.一种基于双流transformer的大规模手语数据高质量自动筛选方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的基于双流transformer的大规模手语数据高质量自动筛选方法,其特征在于,所述交叉transformer的输入分别通过三个线性层转换为查询向量、键向量和值向量,第一个分支的交叉transformer的查询向量作为第二个分支的交叉transformer的查询向量,第二个分支的交叉transformer的查询向量作为第一个分支的交叉transformer的查询向量,则交叉transformer的输出特征x1表示为:<...
【专利技术属性】
技术研发人员:袁甜甜,蔡佳良,薛翠红,杨学,朱宇,
申请(专利权)人:天津理工大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。