基于数据自驱动的多阶特征动态融合手语翻译方法技术

本发明专利技术公开了一种基于数据自驱动的多阶特征动态融合手语翻译方法，包括：首先提取输入手语视频的多种视觉与动作特征，根据特征之间的多元相关性构建特征池，并根据模型在各特征下的识别概率选择最优特征；再使用数据自驱动的注意力机制进行特征优化，得到视觉与动作注意力特征；接着进行第一阶动态特征融合得到融合特征，以挖掘视觉特征与动作特征之间的互补信息；然后进行第二阶动态特征融合，根据任务状态动态计算不同特征下隐状态的得分融合权重，最后通过得分融合得到手语翻译句子。本发明专利技术能够实现对手语视频的连续句子翻译，并提高手语识别的准确性。

A sign language translation method based on multi-level feature dynamic fusion driven by data

【技术实现步骤摘要】
基于数据自驱动的多阶特征动态融合手语翻译方法
本专利技术属于多媒体信息处理领域，涉及到计算机视觉、自然语言处理、深度学习等技术，具体地说是一种基于数据自驱动的多阶特征动态融合手语翻译方法。
技术介绍
早期的手语识别研究关注于离散性手语识别，其本质上是一种特殊的视频分类问题。随着视频理解技术的发展，连续性手语翻译吸引越来越多的关注。由于视频数据复杂繁多，现有的手语翻译方法存在很多弊端，尤其是在多特征融合方面。经典的融合方法分为前端融合和后端融合。前端融合是在特征层面上进行的，而后端融合是在决策层上进行的。前端融合常采用直接的特征拼接，或加权转化，甚至映射到高维空间的融合，再输入模型计算；对于后端融合，直接将多个特征直接输入模型获得多个得分，再通过计算相似性匹配分布，或者是多分类器权重计算，基于图结构学习等方式，最终获得权重相加后的总得分。前者注重互补信息的原始保留；后者侧重各特征在决策得分层面上，对互补信息上的启发性。各有优点，也都存在一些缺点，如固定的学习参数并不灵活；传统方法在融合优化上花费了过多的时间进行复杂计算；更重要的是，无效特本文档来自技高网...

【技术保护点】
1.一种基于数据自驱动的多阶特征动态融合手语翻译方法，其特征是按如下步骤进行：/n步骤1、构建特征池与特征择优：/n步骤1.1、从手语视频数据库任取一手语视频Q，并提取所述手语视频Q的X种视觉特征与Y种动作特征，得到视觉特征集合F

【技术特征摘要】
1.一种基于数据自驱动的多阶特征动态融合手语翻译方法，其特征是按如下步骤进行：
步骤1、构建特征池与特征择优：
步骤1.1、从手语视频数据库任取一手语视频Q，并提取所述手语视频Q的X种视觉特征与Y种动作特征，得到视觉特征集合Fv与动作特征集合Fm；
步骤1.2、定义变量x，并初始化x＝2；定义第x个视觉拼接特征集合为并有
步骤1.3、从所述视觉特征集合Fv中任取x种不同的视觉特征并按序拼接为一种新的视觉特征，从而得到由种视觉特征组成的第x个视觉拼接特征集合
步骤1.4、将x+1赋值给x，并返回步骤1.3顺序执行，直到x＝X为止，从而得到X个视觉拼接特征集合
步骤1.5、定义变量y，并初始化y＝2；定义第y个动作拼接特征集合为并有
步骤1.6、从所述动作特征集合Fm中任取y种不同的动作特征并按序拼接为一种新的动作特征，从而得到由种动作特征组成的第y个动作拼接特征集合
步骤1.7、将y+1赋值给y，并返回步骤1.6顺序执行，直到y＝Y为止，从而得到Y个动作拼接特征集合
步骤1.8、将所述X个视觉拼接特征集合中所有视觉特征构成视觉特征池，视觉特征池中视觉特征的总数记为X'；将所述Y个动作拼接特征集合中所有动作特征构成动作特征池，动作特征池中动作特征的总数记为Y'；
步骤1.9、从所述视觉特征池中随机选择一个视觉特征并作为最优视觉特征序列从动作特征池中随机选择一个动作特征并作为最优动作特征序列其中，vi表示所述最优视觉特征序列中第i个视觉特征，1≤i≤Kv，mj表示所述最优动作特征序列中第j个动作特征，1≤j≤Km，Kv与Km分别为所述最优视觉特征序列和最优动作特征序列的总长度；
步骤2、特征优化：
步骤2.1、定义当前时刻为t，并初始化t＝1；
步骤2.2、利用式(1)实施数据自驱动的注意力操作，得到t时刻的视觉注意力特征Vt和动作注意力特征Mt；



式(1)中，为t时刻所述最优视觉特征序列中第i个视觉特征vi对应的注意力权值，并有：ht-1为多阶特征动态融合手语翻译模型在t-1时刻的隐状态，当t＝1时，ht-1＝0，MLP(·)表示多层感知机操作；为t时刻所述最优动作特征序列中第j个视觉特征mj对应的注意力权值，并有
步骤3、第一阶特征动态融合：
根据式(2)将所述t时刻的视觉注意力特征Vt和动作注意力特征Mt结合起来，得到t时刻的融合特征Ct；



式(2)中，为向量同维度的相加操作；μt,ηt分别为所述t时刻的...

【专利技术属性】
技术研发人员：郭丹，宋培培，刘祥龙，汪萌，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34