基于双流Transformer的大规模手语数据高质量自动筛选方法技术

技术编号:43201466 阅读:38 留言:0更新日期:2024-11-01 20:19
本发明专利技术公开了一种基于双流Transformer的大规模手语数据高质量自动筛选方法,首先获取同一个手语动作的标准手语视频和被筛选手语视频,标准手语视频不包含错误数据,且被筛选手语视频与标准手语视频需保证在相同视角下采集;使用MediaPipe库分别对标准手语视频和被筛选手语视频进行手势识别,得到标准手语骨骼视频和被筛选手语骨骼视频;然后,构建包含多个顺序连接的特征提取模块的手语筛选模型,最后一个特征提取模块的输出特征经过一个多层感知机映射为两类,正类代表被筛选手语视频质量合格,负类代表被筛选手语视频质量不合格;对手语筛选模型进行训练,根据训练后的手语筛选模型对被筛选手语视频进行筛选。该方法以正确手语视频数据作为标准,将被筛选手语视频与标准手语视频进行对比,判断视频对的类别,进而反映被筛选手语视频质量是否合格,解决了手语数据质量低下的问题。

【技术实现步骤摘要】

本专利技术属于数据挖掘,具体涉及一种基于双流transformer的大规模手语数据高质量自动筛选方法。


技术介绍

1、对于基于深度学习的手语识别翻译任务,手语数据质量规模是很重要的,尤其是训练数据的质量规模决定了手语识别翻译效果的上限,而模型和算法的改进只是在不断地逼近这个上限。目前,手语识别翻译研究所使用到的开源手语数据集均存在规模小、缺乏多样性等问题,而这些问题会导致手语识别翻译模型泛化能力不强,无法落地实用。因此,手语识别翻译研究急需大规模、多样性的手语数据来提升识别翻译模型的性能和泛化能力。而在构建海量、复杂的手语数据过程中,不可避免地会采集到错误数据,例如手语顺序错误、手势错误和手语遗漏等情况。错误数据会让模型学习到错误的映射关系,导致手语识别翻译效果的降低。如果使用人工对大规模手语数据集进行检查,则是严重消耗人力成本和时间成本。

2、综上,本专利技术基于计算机视觉中的深度学习技术,提出一种基于双流transformer的大规模手语数据高质量自动筛选方法,能够自动筛选错误手语数据,在构建大规模手语数据集过程中提升了数据质量,为手语识别本文档来自技高网...

【技术保护点】

1.一种基于双流Transformer的大规模手语数据高质量自动筛选方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于双流Transformer的大规模手语数据高质量自动筛选方法,其特征在于,所述交叉Transformer的输入分别通过三个线性层转换为查询向量、键向量和值向量,第一个分支的交叉Transformer的查询向量作为第二个分支的交叉Transformer的查询向量,第二个分支的交叉Transformer的查询向量作为第一个分支的交叉Transformer的查询向量,则交叉Transformer的输出特征X1表示为:

>3.根据权利要求1...

【技术特征摘要】

1.一种基于双流transformer的大规模手语数据高质量自动筛选方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于双流transformer的大规模手语数据高质量自动筛选方法,其特征在于,所述交叉transformer的输入分别通过三个线性层转换为查询向量、键向量和值向量,第一个分支的交叉transformer的查询向量作为第二个分支的交叉transformer的查询向量,第二个分支的交叉transformer的查询向量作为第一个分支的交叉transformer的查询向量,则交叉transformer的输出特征x1表示为:<...

【专利技术属性】
技术研发人员:袁甜甜蔡佳良薛翠红杨学朱宇
申请(专利权)人:天津理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1