【技术实现步骤摘要】
本专利技术涉及连续手语识别的，尤其是涉及一种基于手语单词先验引导的连续手语识别方法及装置。
技术介绍
1、作为听障人群的在日常生活中的交流方式，手语主要通过包括手势变化、口部变化、表情变化、头部及身体动作变化等在内的多方面信息联合，进行信息传递。连续手语识别(continuous sign language recognition，cslr)作为促进听障人士与健听人士无障碍交流的研究，利用计算机视觉及自然语言处理技术，将一段手语视频中所对应的每个手语单词识别出来，且保留其顺序。
2、现有技术采用如下手段：1)基于高斯混合模型(gaussian mixture model，gmm)-隐马尔科夫模型(hidden markov model，hmm)对视觉特征进行手工设计。与基于深度学习的视觉特征相比，手工视觉特征在大体量数据集上缺乏泛化性且不能进行端到端的优化；
3、2)将深度学习模型与hmm相结合，建立了一个用于预测视频中的帧级标签的判别模型，但是基于hmm的方法需要利用上一阶段的先验知识来优化当前阶段的模型；p>
4、3)采本文档来自技高网...
【技术保护点】
1.一种基于手语单词先验引导的连续手语识别方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述视觉特征提取模型包括ResNet18、基于并行-密集连接的时序特征提取网络、BGRU模型以及全连接层；
3.根据权利要求2所述的方法，其特征在于，所述模态特征对齐目标函数包括：
4.根据权利要求3所述的方法，其特征在于，所述CTC目标函数为：
5.根据权利要求4所述的方法，其特征在于，构架跨模态特征对齐目标函数以及CTC目标函数组建目标函数的步骤包括：
6.根据权利要求1所述的方法，其...
【技术特征摘要】
1.一种基于手语单词先验引导的连续手语识别方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述视觉特征提取模型包括resnet18、基于并行-密集连接的时序特征提取网络、bgru模型以及全连接层；
3.根据权利要求2所述的方法，其特征在于，所述模态特征对齐目标函数包括：
4.根据权利要求3所述的方法，其特征在于，所述ctc目标函数为：
5.根据权利要求4所述的方法，其特征在于，构架跨模态特征对齐目标函数以及ctc目标函数组建目标函数的步骤包括：
6.根据权利要求1所述的方法，其特征在于，所...
【专利技术属性】
技术研发人员：薛万利，郭乐铭，康泽，袁甜甜，陈胜勇，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。