【技术实现步骤摘要】
本专利技术属于唇语识别，具体是涉及到一种唇语识别方法、系统、终端设备及介质。
技术介绍
1、唇语识别，也称为视觉语音识别，依据说话者的唇部动作推断其语言内容。这一技术不仅帮助听障人士进行交流，也在生物验证等多个领域展示了广泛的应用潜力。此外，唇语识别可提高噪声环境下的语音识别精度，并通过整合唇语识别专家模型来提升说话者面部生成的质量，对不准确的唇部动作进行纠正，从而增强生成图像的准确性和可理解性。该技术同样适用于deepfake检测，通过预训练模型学习自然嘴部动作的特征，有效区分真实与伪造的唇动。
2、传统光学相机在捕捉唇部动作时受环境干扰，存在数据冗余、低时间分辨率和动态范围限制等问题。相对而言，事件相机通过检测像素级的亮度变化记录动作，显示出优越的性能。它们在动作识别和手势识别等时序建模任务中已取得显著进展。事件相机的微秒级时间分辨率使其能够精确捕捉唇部的细微变化，极大提高唇语识别的准确性和鲁棒性。此外，由于其高动态范围，即使在极端光照条件下也能准确记录信息，而低功耗特性使其非常适合长时间运作的可穿戴和移动设备。
...【技术保护点】
1.一种唇语识别方法，其特征在于，包括：
2.根据权利要求1所述的唇语识别方法，其特征在于，所述将所述唇读视频转换为事件序列，包括：
3.根据权利要求2所述的唇语识别方法，其特征在于，所述事件序列的表达式为:
4.根据权利要求3所述的唇语识别方法，其特征在于，所述对所述事件序列进行体素化，并将体素化后的事件序列通过体素网格方式进行数据表示，得到体素网格形式的事件序列，包括：
5.根据权利要求4所述的唇语识别方法，其特征在于，所述提取所述唇读视频对应的事件序列的全局时空特征，包括：
6.根据权利要求5所述的唇语...
【技术特征摘要】
1.一种唇语识别方法，其特征在于，包括：
2.根据权利要求1所述的唇语识别方法，其特征在于，所述将所述唇读视频转换为事件序列，包括：
3.根据权利要求2所述的唇语识别方法，其特征在于，所述事件序列的表达式为:
4.根据权利要求3所述的唇语识别方法，其特征在于，所述对所述事件序列进行体素化，并将体素化后的事件序列通过体素网格方式进行数据表示，得到体素网格形式的事件序列，包括：
5.根据权利要求4所述的唇语识别方法，其特征在于，所述提取所述唇读视频对应的事件序列的全局时空特征，包括：
6.根据权利要求5所述的唇语识别方法，其特征在于，所述从所述全局时空特征...
【专利技术属性】
技术研发人员：老明瑞，张雪毅，赵鹏，郭延明，汤俊，朱嘉楠，李正，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。