【技术实现步骤摘要】
本专利技术涉及交互，具体涉及一种声纹识别与面部表情同步方法及装置。
技术介绍
1、在虚拟现实(vr)和增强现实(ar)的领域中，通过构建虚拟形象来实现与用户的互动，而虚拟形象的构建一般通过捕捉用户的声音和面部表情等，来生成相应的虚拟形象动作和表情。
2、而对于捕捉用户的声音和面部表情，通常是采用麦克风、摄像设备/视频设备等设备进行捕捉，但是，对于用户处于一些户外场景或者不方便使用摄像设备/视频设备的环境时，此时，对于用户的面部表情的获取，则无法达到使用效果，具有较大的局限性。
3、基于此，本专利技术提供一种声纹识别与面部表情同步方法及装置，以解决上述问题。
技术实现思路
1、为了克服现有技术的不足，本专利技术提供一种声纹识别与面部表情同步方法及装置，以解决现有技术中的问题。
2、本专利技术其中一个实施例提供了一种声纹识别与面部表情同步方法，包括摄像设备与佩戴于用户头部的头戴式耳麦，所述头戴式耳麦两侧的耳罩部分均连接有采集组件，所述同步方法包括以下步骤：<...
【技术保护点】
1.一种声纹识别与面部表情同步方法，其特征在于，包括摄像设备与佩戴于用户头部的头戴式耳麦，所述头戴式耳麦两侧的耳罩部分均连接有采集组件，所述同步方法包括以下步骤：
2.如权利要求1所述的声纹识别与面部表情同步方法，其特征在于，所述提取所述用户面部数据与声纹数据进行预处理，得到应用于深度学习模型的标注数据的步骤中，对用户面部数据中的面部表情数据进行预处理具体包括如下步骤：
3.如权利要求2所述的声纹识别与面部表情同步方法，其特征在于，所述表情样本为有声表情，所述有声表情为用户表达该表情的同时发出的声音；所述提取所述用户面部数据与声纹数据进行预处理...
【技术特征摘要】
1.一种声纹识别与面部表情同步方法，其特征在于，包括摄像设备与佩戴于用户头部的头戴式耳麦，所述头戴式耳麦两侧的耳罩部分均连接有采集组件，所述同步方法包括以下步骤：
2.如权利要求1所述的声纹识别与面部表情同步方法，其特征在于，所述提取所述用户面部数据与声纹数据进行预处理，得到应用于深度学习模型的标注数据的步骤中，对用户面部数据中的面部表情数据进行预处理具体包括如下步骤：
3.如权利要求2所述的声纹识别与面部表情同步方法，其特征在于，所述表情样本为有声表情，所述有声表情为用户表达该表情的同时发出的声音；所述提取所述用户面部数据与声纹数据进行预处理，得到应用于深度学习模型的标注数据的步骤中，对所述用户声纹数据进行预处理，具体包括如下步骤：
4.如权利要求3所述的声纹识别与面部表情同步方法，其特征在于，所述采集组件为肌电图传感器，采集组件所采集的脸颊肌肉数据为用户发出声音时对应的脸颊肌肉活动的电信号；所述提取所述用户面部数据与声纹数据进行预处理，得到应用于深度学习模型的标注数据的步骤中，对用户面部数据中的脸颊肌肉数据进行预处理具体包括...
【专利技术属性】
技术研发人员：陈振江，
申请(专利权)人：天键电声股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。