【技术实现步骤摘要】
一种基于图卷积的多模态融合手语识别系统及方法
本专利技术属于多媒体信息处理领域，涉及到计算机视觉、自然语言处理、深度学习等技术，具体地说是一种基于图卷积的多模态融合手语识别系统及方法。
技术介绍
健全人可以使用口头语言便捷交流，而失聪者或失声者则需要通过手语传达自己的想法。由于大部分健全人缺少手语教育的基础，推广手语用于正常社会沟通存在障碍。科技向善，手语识别技术在一定程度上为失聪失声人群融入社会提供了便利。早期的手语识别研究关注于离散性手语识别，其本质上是一种特殊的视频分类问题。随着视频理解技术的发展，连续性手语翻译吸引越来越多的关注。由于视频数据复杂繁多，现有的手语识别存在很多弊端，尤其是在多模态数据的表征和融合方面。现有手语识别方法在使用多种模态源的数据时，常常忽略了不同模态之间的互补关联，而对其进行暴力融合，融合特征的鲁棒性较差；另一方面，在特征学习过程中对视频数据流中的时间和空间特性发掘较少，没有充分利用手语特征的时间变化特性，从而导致了手语翻译的结果连贯性差、精确度较低。专利技术内...
【技术保护点】
1.一种基于图卷积的多模态融合手语识别系统，其特征包括：特征提取模块，特征融合模块，序列学习模块和对齐翻译模块；/n所述特征提取模块，是从手语视频数据库中提取视频帧的颜色特征、深度特征和骨架特征，并对提取到的所有特征进行维度对齐，得到多模态特征；/n所述特征融合模块，是采用深度学习的方法搭建并训练基于3D卷积神经网络和图卷积网络的多模态序列特征融合模型，并使用所述多模态特征融合模型对所述多模态特征进行融合，得到片段融合特征；/n所述序列学习模块，是采用深度学习的方法搭建并训练基于循环神经网络的序列到序列的转换模型，用于对多个片段融合特征所构成的序列进行转换，得到一连串解码的...
【技术特征摘要】
1.一种基于图卷积的多模态融合手语识别系统，其特征包括：特征提取模块，特征融合模块，序列学习模块和对齐翻译模块；
所述特征提取模块，是从手语视频数据库中提取视频帧的颜色特征、深度特征和骨架特征，并对提取到的所有特征进行维度对齐，得到多模态特征；
所述特征融合模块，是采用深度学习的方法搭建并训练基于3D卷积神经网络和图卷积网络的多模态序列特征融合模型，并使用所述多模态特征融合模型对所述多模态特征进行融合，得到片段融合特征；
所述序列学习模块，是采用深度学习的方法搭建并训练基于循环神经网络的序列到序列的转换模型，用于对多个片段融合特征所构成的序列进行转换，得到一连串解码的单词序列；
所述对齐翻译模块，是使用联结主义时序分类方法对所述单词序列进行解码翻译，最终输出完整的手语句子。
2.根据权利要求1所述的多模态融合手语识别系统，其特征在于，所述特征提取模块使用ResNet-18网络提取颜色特征和深度特征；并以人体关节的自然连接为边、以关节点为节点建立空间图结构，从而使用空间图神经网络对所述空间图结构进行学习，并得到所述骨架特征；
将所述颜色特征、深度特征和骨架特征处理成相同的尺寸，从而得到多模态特征，所述多模态特征包括空间、时间和模态三个维度。
3.根据权利要求1所述的多模态融合手语识别系统，其特征在于，所述特征融合模块包括以下步骤：
步骤a：采用深度学习方法搭建两个并行的3D卷积神经网络分别对多模态特征的空间维度和时间维度进行卷积操作，得到两路特征并相加后输出组合特征；
步骤b：在相邻帧和间隔帧之间分别建立时序边，并在所述时间维度中同一时刻下的不同模态帧之间建立模态边，以所述时间维度中不同时刻下的不同模态帧的特征为图结构的节点、以时序边和模态边为图结构的边，从而构建多模态序列的图卷积网络；
步骤c：将所述组合特征输入所述多模态序列的图卷积网络中进行训练并融合，从而得到更新后的组合特征；
步...
【专利技术属性】
技术研发人员：郭丹，唐申庚，刘祥龙，洪日昌，汪萌，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。