当前位置: 首页 > 专利查询>浙江大学专利>正文

一种多模态面部动点数据与声带运动数据的数据处理方法及系统技术方案

技术编号:43477696 阅读:15 留言:0更新日期:2024-11-29 16:52
本发明专利技术公开了一种多模态面部动点数据与声带运动数据的数据处理方法及系统。该方法包括提供文本、采集正常人发声时的面部连续图像或视频与喉部振动数据、预处理数据、提取时间特征与空间特征、建立中文发声的面颈部运动模型,以及聋哑人依照模型进行模仿发声并获取反馈。该系统包括深度摄像头、喉部振动传感器和麦克风,通过综合利用多模态数据,为聋哑人提供即时反馈,降低学习门槛,提高交流效率,适用于全球范围内的聋哑人群体。该发明专利技术促进了语音发声训练,具有广泛的应用前景和社会意义。

【技术实现步骤摘要】

本专利技术属于生物信号处理领域,特别涉及一种多模态面部动点数据与声带运动数据的数据处理方法及系统


技术介绍

1、语音是人类之间交流的最主要方式,也是一种基本的生存技能。语音识别是日常生活中的一种语音技术,能够帮助计算机理解说话者的意图,其发展极大促进了人与计算机之间的关系,利于实现自然高效的人机交互。但对于不能发声,不会发声的聋哑人,单纯的语音识别技术意义不大。

2、人常说“十聋九哑”。这里所说的“哑”并不是“不能说话”,而是“不会说话”。正常人说话时,无时无刻不在自己的耳朵的监听之下,在学习说话的过程中能及时得到反馈;而双耳失聪的人,听不到自己的发音,无法判断说话的效果,没有及时的听力反馈,也就无法用语言表达自己的意图,久而久之,就从单纯的失聪变成了聋哑。

3、手语是用手势比量动作,根据手势的变化模拟形象或者音节以构成的一定意思或词语,它是听力障碍或者无法言语的人互相交际和交流思想的一种手的语言。

4、但在实际的应用场景中,手语本身仍然存在问题与限制。手语本身作为一种普遍性不高的语言,需要特殊培训与学习,存在着一定的本文档来自技高网...

【技术保护点】

1.一种基于多模态面部动点数据与声带运动数据的数据处理方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的多模态面部动点数据与声带运动数据的数据处理方法,其特征在于,所述的喉部振动数据包括:声带与空气摩擦产生的振动数据、与声带开闭运动产生振动的数据以及经过颈部肌肉进行传导的振动信号;

3.根据权利要求1所述的一种多模态面部动点数据与声带运动数据的数据处理方法,其特征在于,步骤2中,所述的预处理包括:信号的滤波、放大、降维与傅里叶变换。

4.根据权利要求1所述的一种多模态面部动点数据与声带运动数据的数据处理方法,其特征在于,步骤3中,提取时间特征与...

【技术特征摘要】

1.一种基于多模态面部动点数据与声带运动数据的数据处理方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的多模态面部动点数据与声带运动数据的数据处理方法,其特征在于,所述的喉部振动数据包括:声带与空气摩擦产生的振动数据、与声带开闭运动产生振动的数据以及经过颈部肌肉进行传导的振动信号;

3.根据权利要求1所述的一种多模态面部动点数据与声带运动数据的数据处理方法,其特征在于,步骤2中,所述的预处理包括:信号的滤波、放大、降维与傅里叶变换...

【专利技术属性】
技术研发人员:张韶岷李拓儒张凡张海艳李晨阳陈光弟董树荣陈卫东
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1