基于子空间稀疏注意力机制的唇语识别方法、系统及介质技术方案

本发明专利技术涉及一种基于子空间稀疏注意力机制的唇语识别方法、系统及介质，方法包括：获取唇部区域图像序列，基于所述唇部区域图像序列提取得到唇部特征序列；将所述唇部特征序列输入到预设的训练完备的音素序列提取模型，得到与所述唇部特征序列相对应的发音音素序列；将所述发音音素序列输入到搭建有子空间稀疏自注意力机制的句子推理模型中得到目标句子序列。本发明专利技术通过构建一个特殊的注意力机制对上下文信息进行增强，实现了在一个正向操作中预测长句子序列，从而大大提高推理速率和准确率。率。率。

【技术实现步骤摘要】
基于子空间稀疏注意力机制的唇语识别方法、系统及介质


[0001]本专利技术涉及计算机视觉与自然语言处理
，尤其涉及一种子空间稀疏注意力机制的唇语方法、系统及计算机可读存储介质。

技术介绍

[0002]唇语识别(又称唇读)是指将说话人的唇部运动信息经过解释分析得到其说话内容的过程，旨在利用视觉的信息来补充听觉信息，使得在听觉损坏的条件下也能准确地获取人们的表达内容。唇语识别的过程通常是输入无声视频，输出语音或者文本内容。唇语识别技术在聋哑人辅助、生活服务和公共安防等领域扮演着极其重要的角色。
[0003]深度学习的发展为唇语识别技术典定了坚实的基础，但随着输入的视频长度增加，深度模型难以训练，通常需要特定的特征学习方法，推理过程计算复杂耗时长，还涉及模型中大量的参数的优化。因此，随着对唇语识别需求量的激增，在识别视频长度增加的同时，如何提高识别的速率和准确率现已成为了唇语识别面临的关键性任务。

技术实现思路

[0004]有鉴于此，有必要提供一种基于子空间稀疏注意力机制的唇语方法、系统及介质，用以解决句子序列长度过长导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于子空间稀疏注意力机制的唇语识别方法，其特征在于，包括：获取唇部区域图像序列，基于所述唇部区域图像序列提取得到唇部特征序列；将所述唇部特征序列输入到预设的训练完备的音素序列提取模型，得到与所述唇部特征序列相对应的发音音素序列；将所述发音音素序列输入到搭建有子空间稀疏自注意力机制的句子推理模型中得到目标句子序列。2.根据权利要求1所述的基于子空间稀疏注意力机制的唇语识别方法，其特征在于，确定所述训练完备的音素序列提取模型，包括：初始化LSTM模型，将唇部区域图像样本对应的唇部特征序列作为训练样本，将所述训练样本输入到所述LSTM模型中，得到发音音素序列的预测结果；根据所述训练样本和所述预测结果，得到LSTM模型损失函数的值；根据所述到LSTM模型损失函数的值，得到所述训练完备的音素序列提取模型。3.根据权利要求1所述的基于子空间稀疏注意力机制的唇语识别方法，其特征在于，所述搭建有子空间稀疏自注意力机制的句子推理模型包括句子推理网络模块、语言模型判定模块和推理句子序列模块；所述将所述发音音素序列输入到搭建有子空间稀疏自注意力机制的句子推理模型中得到目标句子序列，包括：将所述发音音素序列输入到所述句子推理网络模块中，进行句子推理，得到全部的过渡句子子序列；将所述全部的过渡句子子序列输入到所述语言模型判定模块中，根据困惑度计算所述全部的过渡句子子序列的困惑值；基于推理句子序列模块选择所述困惑值最小的过渡句子子序列，得到预测的目标句子序列。4.根据权利要求3所述的基于子空间稀疏注意力机制的唇语识别方法，其特征在于，所述句子推理网络模块包括多个句子子序列推理子模块，所述每个句子子序列推理子模块均包括带掩膜的多头自注意力机制模块和前馈网络模块；将所述发音音素序列输入到所述句子推理网络模块中，进行句子推理，得到全部的过渡句子子序列，包括：基于每个句子子序列推理子模块中的带掩膜的多头自注意力机制模块和前馈网络模块将所述发音音素序列对应的向量转化为对应的句子子序列。5.根据权利要求4所述的基于子空间稀疏注意力机制的唇语识别方法，其特征在于，基于每个句子子序列推理子模块中的带掩膜的多头自注意力机制模块和前馈网络模块将所述发音音素序列对应的向量转化为对应的句子子序列，包括：将音素序列经过用带掩膜的多头自注意力机制模块处理得到第...

【专利技术属性】
技术研发人员：陈亚雄，赵怡晨，路雄博，邓梦涵，熊盛武，
申请(专利权)人：武汉理工大学重庆研究院，
类型：发明
国别省市：