一种用于对话机器人语音口型动作匹配的系统和方法技术方案

本发明专利技术公开了一种用于对话机器人语音口型动作匹配的系统和方法，涉及语音匹配技术领域，该方法采用蓝牙双通道技术，通过第一蓝牙通道将时间点数组传输至对话机器人Arduino主板，第二蓝牙通道将语音文件传输至对话机器人音响设备，实现语音播放和机械动作的高度同步，语音文件和时间点数组的同步传输，确保了语音播放与嘴型动作之间的紧密关联，避免了因传输延迟或硬件响应不及时导致的动作滞后。再通过Arduino主板内置的定时器可以精确读取并对比时间点数组中的每个时间点，确保在每个设定的时间点，舵机能够立即响应，驱动对话机器人嘴部的开合动作。当时间点到达时，会发送指令控制嘴型的开合，使得语音与嘴型动作保持高度一致。

【技术实现步骤摘要】

本专利技术涉及语音匹配，具体为一种用于对话机器人语音口型动作匹配的系统和方法。

技术介绍

1、随着人工智能技术的不断发展，语音识别与合成技术已经在多个领域中得到了广泛的应用。从最初的智能助手到语音对话机器人，再到如今的对话机器人和虚拟主播，语音技术已成为人机交互的重要桥梁。随着人机交互变得更加自然，对话机器人不仅仅需要具备理解和生成人类语言的能力，还要在语音交互过程中模拟人类的自然表达方式即通过机械嘴型动作来配合语音，增强互动的真实感。因此，对话机器人嘴型动作与语音的匹配成为了一个重要研究课题，这一技术主要应用于对话机器人、虚拟现实vr以及增强现实ar等领域。特别是在对话机器人领域，如何让对话机器人根据语音的内容和节奏实时调整嘴型动作，成为了提升对话机器人“情感表达”与“交互体验”的关键技术之一。

2、现阶段对话玩偶对话机器人虽然能够播放人类录音或机器合成的语音，并配合肢体动作进行互动，但语音内容与嘴部动作之间并未实现有效耦合。即便一些高端的对话机器人玩偶具备嘴部动作与语音的同步能力，但通常依赖于为特定语音预设的固定动作，对话机器人仅能在播放有本文档来自技高网...

【技术保护点】

1.一种用于对话机器人语音口型动作匹配方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种用于对话机器人语音口型动作匹配方法，其特征在于：所述S1包括S11、S12和S13；

3.根据权利要求2所述的一种用于对话机器人语音口型动作匹配方法，其特征在于：所述S2包括S21和S22；

4.根据权利要求3所述的一种用于对话机器人语音口型动作匹配方法，其特征在于：S212、所述频率成分变化率Rf基于频率分量f进行计算输出，具体算法公式为：，其中，f（ti）表示第i个时间点t的频率分量，f（ti+1）表示第i+1个时间点的频率分量；

5.根...

【技术特征摘要】

1.一种用于对话机器人语音口型动作匹配方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种用于对话机器人语音口型动作匹配方法，其特征在于：所述s1包括s11、s12和s13；

3.根据权利要求2所述的一种用于对话机器人语音口型动作匹配方法，其特征在于：所述s2包括s21和s22；

4.根据权利要求3所述的一种用于对话机器人语音口型动作匹配方法，其特征在于：s212、所述频率成分变化率rf基于频率分量f进行计算输出，具体算法公式为：，其中，f（ti）表示第i个时间点t的频率分量，f（ti+1）表示第i+1个时间点的频率分量；

5.根据权利要求4所述的一种用于对话机器人语音口型动作匹配方法，其特征在于：所述s3包括s31、s32、s33和s34；

6.根据权利要求5所述的一种用于对话机器人语音口型动作匹配方法，其特征在于：s32、基于用户根据语音文件内容进行设定周期性阈值pth、再提取频域特...

【专利技术属性】
技术研发人员：王春林，王逸桐，王禹昊，许浚桐，王芊涵，
申请(专利权)人：厦门十一街信息科技有限公司，
类型：发明
国别省市：