一种缄默通讯方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种缄默通讯方法、装置、设备及存储介质，包括：同步采集面部肌电信号、唇部光学图像和口腔超声图像；对所述面部肌电信号、唇部光学图像和口腔超声图像进行预处理以及特征提取，得到处理后的特征数据；将所述处理后的特征数据输入预先训练的无声语音识别模型，得到以缄默方式说话时的无声语音；将所述无声语音发送到语音接收设备。本发明专利技术的缄默通讯方法，融合了面部肌电信号、唇部图像以及口腔超声图像三种常用于无声语音识别技术中的特征信号，能够获得准确率更高，识别速度更快的识别结果。

【技术实现步骤摘要】
一种缄默通讯方法、装置、设备及存储介质
本专利技术涉及通讯
，特别涉及一种缄默通讯方法、装置、设备及存储介质。
技术介绍
不依靠声学信号的缄默通讯方法具有多种用途，例如，可以在医疗领域中帮助发音障碍患者进行交流，可以用于火灾、化学物质灾害等救灾现场的通讯，用于在军事指挥作战中的保密通讯等。缄默通讯中的无声语音识别技术发展至今，使用的非声学信号和方法主要有以下几类：利用口腔的超声图像和唇部的光学图像数据进行语音信号的转换，使用表面肌电信号传感器采集发音时面部及喉部肌肉运动的电信号重建发音过程，使用电磁发音记录仪，用来记录发声时各个发音器官的运动信息，从脑电图解析信号，通过记录说话者脑电图情况，模拟语音产生的过程。近年来，基于唇部光学图像、基于口腔的超声成像系统和基于表面肌电信号的无声语音技术越来越广泛的用于缄默通讯方法中，且都是一种非侵入式、临床安全的方式。但是现有技术中都是对上述的各种单一的非声学数据采集及无声语音识别技术进行研究，由于其较低的鲁棒性和泛化能力，使得其语音识别的精度较低，难以满足高效缄默通讯的要求。本文档来自技高网...

【技术保护点】
1.一种缄默通讯方法，其特征在于，包括：/n同步采集面部肌电信号、唇部光学图像和口腔超声图像；/n对所述面部肌电信号、唇部光学图像和口腔超声图像进行预处理以及特征提取，得到处理后的特征数据；/n将所述处理后的特征数据输入预先训练的无声语音识别模型，得到以缄默方式说话时的无声语音；/n将所述无声语音发送到语音接收设备。/n

【技术特征摘要】
1.一种缄默通讯方法，其特征在于，包括：
同步采集面部肌电信号、唇部光学图像和口腔超声图像；
对所述面部肌电信号、唇部光学图像和口腔超声图像进行预处理以及特征提取，得到处理后的特征数据；
将所述处理后的特征数据输入预先训练的无声语音识别模型，得到以缄默方式说话时的无声语音；
将所述无声语音发送到语音接收设备。


2.根据权利要求1所述的方法，其特征在于，所述对所述面部肌电信号、唇部光学图像和口腔超声图像进行预处理，包括：
对所述面部肌电信号进行滤波、降噪、活动段提取、数据归一化以及去基线处理，得到预处理后的面部肌电信号；
对所述唇部光学图像进行转换灰度图、裁剪目标区域以及压缩图像的处理，得到预处理后的唇部光学图像；
对所述口腔超声图像进行数据平滑降噪以及裁剪目标区域的处理，得到预处理后的口腔超声图像。


3.根据权利要求2所述的方法，其特征在于，对预处理后的面部肌电信号、预处理后的唇部光学图像以及预处理后的口腔超声图像进行特征提取，得到处理后的特征数据，包括：
对预处理后的面部肌电信号提取梅尔频率倒谱系数，得到面部肌肉运动的动态特征数据；
对预处理后的唇部光学图像采用主成分分析方法，提取唇部的运动特征数据；
对预处理后的口腔超声图像采用离散余弦变换方法，提取口腔及舌头的运动特征数据。


4.根据权利要求1所述的方法，其特征在于，所述将所述处理后的特征数据输入预先训练的无声语音识别模型之前，还包括：
根据处理后的特征数据，采用深度学习的方法训练所述无声...

【专利技术属性】
技术研发人员：闫野，赵涛，印二威，邓宝松，霍晓凯，徐梦菲，范晓丽，谢良，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，天津滨海人工智能军民融合创新中心，
类型：发明
国别省市：北京;11