【技术实现步骤摘要】
本专利技术涉及自然语言处理，具体涉及一种基于深度学习的连续手势手语翻译方法。
技术介绍
1、人机交互(human computer interaction，简称hci)作为连接人与计算机的关键技术，在智能化方向发展中占有重要的地位。随着现代计算机技术和人工智能技术在人机交互领域的广泛应用，更加安全、自然、和谐的新型交互方式孕育而出。其中，手势是一种人类用来表达信息的特殊语言(符号)，手部的动作意图通过大脑产生，经过神经传输，最终以手势的形式表现出来。从这方面讲，手势可以作为机器理解人类意图的窗口，然而懂手势手语者较少，手势手语翻译通过处理和分析人手、臂部的各种模态的传感信息识别手语动作，解码执行者表达信息，对于医疗康复、服务、工业甚至军事等领域都具有重要意义。
2、考虑到日常生活及各个领域下所用动作多以完整句子为基础，且孤立手势手语识别已有较好的发展，本专利技术主要研究句子级别的连续手势手语翻译。连续手势手语翻译多对采集的手势信息特征提取后分割成众多部分，然后将孤立手势手语识别的方法用于每一部分的识别中，再把识别结果组成句子...
【技术保护点】
1.一种基于深度学习的连续手势手语翻译方法，其特征在于，设计一种基于带历史向量与局部注意力机制的编码解码模型进行连续手势手语翻译；采集的数据预处理及特征提取后，经基于带历史向量与局部注意力机制的编码解码模型进行翻译，得到翻译结果；
2.根据权利要求1所述的基于深度学习的连续手势手语翻译方法，其特征在于，所述数据采集预处理具体为：
3.根据权利要求1或2所述的基于深度学习的连续手势手语翻译方法，其特征在于，所述卷积神经网络包括2×2卷积滤波器、1×2卷积滤波器和池化层；2×2卷积滤波器沿着表面肌电信号、加速度拼接起来的信号滑动，并将时间轴视为输入...
【技术特征摘要】
1.一种基于深度学习的连续手势手语翻译方法，其特征在于，设计一种基于带历史向量与局部注意力机制的编码解码模型进行连续手势手语翻译；采集的数据预处理及特征提取后，经基于带历史向量与局部注意力机制的编码解码模型进行翻译，得到翻译结果；
2.根据权利要求1所述的基于深度学习的连续手势手语翻译方法，其特征在于，所述数据采集预处理具体为：
3.根据权利要求1或2所述的基于深度学习的连续手势手语翻译方法，其特征在于，所述卷积神经网络包括2×2卷积滤波器、1×2卷积滤波器和池化层；2×2卷积滤波器沿着表面肌电信号、加速度拼接起来的信号滑动，并将时间轴视为输入通道、输出通道，进行双手信息融合；通过1×2卷积滤波器和池化层进行不同信号局部结构的建模和关键特征的提取。
4.根据权...
【专利技术属性】
技术研发人员：郁海涛，吴琦，王斐，刘晶，李奥，何睿，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。