基于语音控制的虚拟角色面部表情实时驱动系统和方法技术方案

基于语音控制的虚拟角色面部表情实时驱动系统和方法，涉及图像处理技术领域，包括：图像采集模块、运动分析模块、虚拟角色驱动模块、语音融合模块和交互模块，图像采集模块采集模特的图像信息，得到视频数据，运动分析模块对视频数据进行分析得到关键点数据，虚拟角色驱动模块将关键点数据与虚拟角色数据进行映射和录制得到动作同步数据，通过语音融合模块输入语音标签并与同步数据融合得到同步虚拟表情数据，交互模块通过采集用户发出的声音并与同步虚拟表情数据进行分析比对将对应的同步虚拟表情数据输出，解决了目前的虚拟技术进行互动时虚拟人物的表情表现得不自然，不能通过语音来与虚拟人物来进行交互，用户体验感不好的问题。

【技术实现步骤摘要】
基于语音控制的虚拟角色面部表情实时驱动系统和方法
本专利技术涉及图像处理
，具体涉及基于语音控制的虚拟角色面部表情实时驱动系统和方法。
技术介绍
随着互联网技术和多媒体技术的发展，人们对于电子产品的依赖性也越来越强，目前出现了很多例如豢养虚拟宠物或与虚拟人物互动的应用，通过与虚拟宠物或与虚拟人物进行互动能得到一些语音或动作方面的反馈，但是由于目前的虚拟技术大多是通过三维建模后进行后期处理得到的，在进行互动时虚拟人物的表情表现得不自然，用户进行互动时体验感不好，同时，目前的交互方式多为通过预设的人机交互界面来进行交互，不能通过语音来与虚拟人物来进行交互，减少了互动时体验的乐趣。
技术实现思路
本专利技术实施例提供了基于语音控制的虚拟角色面部表情实时驱动系统和方法，通过设置图像采集模块采集模特的图像信息，得到视频数据，同时运动分析模块对采集的视频数据进行分析提取视频数据中的关键点并对关键点进行标记，得到关键点数据，虚拟角色驱动模块将关键点数据与虚拟角色数据进行映射并进行动作录制，得到动作同步数据，用户通过语音融合模块输入语音标签并与同步数据融合得到同步虚拟表情数据并进行存储，交互模块通过采集用户发出的声音并与同步虚拟表情数据进行分析比对将对应的同步虚拟表情数据输出，解决了目前的虚拟技术大多是通过三维建模后进行后期处理得到的，在进行互动时虚拟人物的表情表现得不自然，用户进行互动时体验感不好，同时，目前的交互方式多为通过预设的人机交互界面来进行交互，不能通过语音来与虚拟人物来进行交互，减少了互动体验乐趣的问题。基于语音控制的虚拟角色面部表情实时驱动系统，包括：图像采集模块、运动分析模块、虚拟角色驱动模块、语音融合模块和交互模块；图像采集模块，用于采集模特的视频数据，将采集到的视频数据发送到所述运动分析模块；其中，图像采集模块包括采集器和预处理单元，所述采集器用于采集模特的视频数据，将采集得到的视频数据发送到所述预处理单元，所述预处理单元用于对视频数据处理为预设的标准格式，将处理完成的视频数据发送到所述运动分析模块；运动分析模块，用于接收所述图像采集模块发送的视频数据，对视频数据进行分析得到视频数据中关键点数据，将关键点数据发送到所述虚拟角色驱动模块；其中，所述运动分析模块包括关键点检测单元和关键点标记单元，所述关键点检测单元用于检测视频数据，得到视频数据中的关键点，将关键点发送到所述关键点标记单元，所述关键点标记单元用于对关键点进行标记，得到关键点数据，将关键点数据发送到所述虚拟角色驱动模块；虚拟角色驱动模块，用于接收所述运动分析模块发送的关键点数据，对关键点数据进行处理得到动作同步数据，将动作同步数据发送到所述语音融合模块；其中，所述虚拟角色驱动模块包括虚拟角色数据库、映射单元、动作录制单元和数据输出单元，所述虚拟角色数据库用于存储虚拟角色数据，所述映射单元用于将关键点数据与虚拟角色数据进行映射，得到映射数据，将映射数据发送到动作录制单元，所述动作录制单元用于接收所述映射单元发送的映射数据，并根据映射数据录制动作同步数据，将动作同步数据发送到所述数据输出单元，所述数据输出单元用于将动作同步数据发送到语音融合模块；语音融合模块，用于接收所述虚拟角色驱动模块发送的动作同步数据，将用户的语音标签与动作同步数据融合得到同步虚拟表情数据，将同步虚拟表情数据进行存储；其中，所述语音融合模块包括数据输入单元、语音标签输入单元、语音标签融合单元和动作存储单元，所述数据输入单元用于接收所述虚拟角色驱动模块发送的动作同步数据，所述语音标签输入单元用于用户输入语音标签，所述语音标签融合单元用于将动作同步数据与语音标签进行映射得到同步虚拟表情数据，所述动作存储单元用于存储同步虚拟表情数据；交互模块，用于采集用户的语音信息并进行分析的得到语音数据，还用于访问所述语音融合模块中保存的同步虚拟表情数据，调取对应的同步虚拟表情数据并输出；其中，所述交互模块包括语音采集单元、语音分析单元、对比单元、调取单元、输出单元和显示单元，所述语音采集单元用于采集用户发出的声音，得到声音数据，将声音数据发送到所述语音分析单元，所述语音分析单元对声音数据进行分析处理得到声音数据的特征，发送到所述对比单元，所述对比单元用于访问所述语音融合模块中保存的同步虚拟表情数据与所述语音分析单元进行分析处理得到声音数据的特征进行比对，得到比对结果，将比对结果发送到调取单元，调取单元访问所述语音融合模块中保存的同步虚拟表情数据，输出单元将同步虚拟表情数据输出到所述显示单元，所述显示单元用于显示同步虚拟表情数据。进一步的，所述语音标签输入的语音标签包括语音标签的声音波形特征。进一步的，预设的标准格式为MP4格式，分辨率为1920*1080，码率为1200kbps。进一步的，语音分析单元对声音数据进行分析处理得到声音数据的特征为声音数据的声音波形特征。第二方面，本专利技术实施例提供基于语音控制的虚拟角色面部表情实时驱动方法，包括以下步骤：S1，图像信息采集及分析，采集器采集模特的视频数据，将采集得到的视频数据发送到预处理单元，预处理单元对视频数据处理为预设的标准格式，将处理完成的视频数据发送到关键点检测单元，关键点检测单元检测视频数据，得到视频数据中的关键点，将关键点发送到关键点标记单元，关键点标记单元对关键点进行标记，得到关键点数据，将关键点数据发送到映射单元；S2，虚拟角色映射，虚拟角色数据库存储虚拟角色数据，映射单元将关键点数据与虚拟角色数据进行映射，得到映射数据，将映射数据发送到动作录制单元，动作录制单元接收映射单元发送的映射数据，并根据映射数据录制动作同步数据，将动作同步数据发送到数据输出单元，数据输出单元将动作同步数据发送到数据输入单元；S3，语音融合，数据输入单元接收数据输出单元发送的同步数据，用户通过语音标签输入单元输入语音标签，语音标签融合单元将同步数据与语音标签进行映射得到同步虚拟表情数据，动作存储单元存储同步虚拟表情数据；S4，交互，语音采集单元采集用户发出的声音，得到声音数据，将声音数据发送到语音分析单元，语音分析单元对声音数据进行分析处理得到声音数据的特征，发送到对比单元，对比单元访问动作存储单元中保存的同步虚拟表情数据与语音分析单元进行分析处理得到声音数据的特征进行比对，得到比对结果，将比对结果发送到调取单元，调取单元访问动作存储单元中保存的同步虚拟表情数据，输出单元将同步虚拟表情数据输出到显示单元，显示单元显示同步虚拟表情数据。本专利技术实施例提供的上述技术方案的有益效果至少包括：本专利技术通过通过设置图像采集模块采集模特的图像信息，得到视频数据，同时运动分析模块对采集的视频数据进行分析提取视频数据中的关键点并对关键点进行标记，得到关键点数据，虚拟角色驱动模块将关键点数据与虚拟角色数据进行映射并进行动作录制，得到动作同步数据，用户通过语音融合模块输入语音标签并与同步数据融合得到同步虚拟表情数据并进行存储，交互模块通过采集本文档来自技高网...

【技术保护点】
1.基于语音控制的虚拟角色面部表情实时驱动系统，其特征在于，包括：图像采集模块、运动分析模块、虚拟角色驱动模块、语音融合模块和交互模块；/n图像采集模块，用于采集模特的视频数据，将采集到的视频数据发送到所述运动分析模块；/n其中，图像采集模块包括采集器和预处理单元，所述采集器用于采集模特的视频数据，将采集得到的视频数据发送到所述预处理单元，所述预处理单元用于对视频数据处理为预设的标准格式，将处理完成的视频数据发送到所述运动分析模块；/n运动分析模块，用于接收所述图像采集模块发送的视频数据，对视频数据进行分析得到视频数据中关键点数据，将关键点数据发送到所述虚拟角色驱动模块；/n其中，所述运动分析模块包括关键点检测单元和关键点标记单元，所述关键点检测单元用于检测视频数据，得到视频数据中的关键点，将关键点发送到所述关键点标记单元，所述关键点标记单元用于对关键点进行标记，得到关键点数据，将关键点数据发送到所述虚拟角色驱动模块；/n虚拟角色驱动模块，用于接收所述运动分析模块发送的关键点数据，对关键点数据进行处理得到动作同步数据，将动作同步数据发送到所述语音融合模块；/n其中，所述虚拟角色驱动模块包括虚拟角色数据库、映射单元、动作录制单元和数据输出单元，所述虚拟角色数据库用于存储虚拟角色数据，所述映射单元用于将关键点数据与虚拟角色数据进行映射，得到映射数据，将映射数据发送到动作录制单元，所述动作录制单元用于接收所述映射单元发送的映射数据，并根据映射数据录制动作同步数据，将动作同步数据发送到所述数据输出单元，所述数据输出单元用于将动作同步数据发送到语音融合模块；/n语音融合模块，用于接收所述虚拟角色驱动模块发送的动作同步数据，将用户的语音标签与动作同步数据融合得到同步虚拟表情数据，将同步虚拟表情数据进行存储；/n其中，所述语音融合模块包括数据输入单元、语音标签输入单元、语音标签融合单元和动作存储单元，所述数据输入单元用于接收所述虚拟角色驱动模块发送的动作同步数据，所述语音标签输入单元用于用户输入语音标签，所述语音标签融合单元用于将动作同步数据与语音标签进行映射得到同步虚拟表情数据，所述动作存储单元用于存储同步虚拟表情数据；/n交互模块，用于采集用户的语音信息并进行分析的得到语音数据，还用于访问所述语音融合模块中保存的同步虚拟表情数据，调取对应的同步虚拟表情数据并输出；/n其中，所述交互模块包括语音采集单元、语音分析单元、对比单元、调取单元、输出单元和显示单元，所述语音采集单元用于采集用户发出的声音，得到声音数据，将声音数据发送到所述语音分析单元，所述语音分析单元对声音数据进行分析处理得到声音数据的特征，发送到所述对比单元，所述对比单元用于访问所述语音融合模块中保存的同步虚拟表情数据与所述语音分析单元进行分析处理得到声音数据的特征进行比对，得到比对结果，将比对结果发送到调取单元，调取单元访问所述语音融合模块中保存的同步虚拟表情数据，输出单元将同步虚拟表情数据输出到所述显示单元，所述显示单元用于显示同步虚拟表情数据。/n...

【技术特征摘要】
1.基于语音控制的虚拟角色面部表情实时驱动系统，其特征在于，包括：图像采集模块、运动分析模块、虚拟角色驱动模块、语音融合模块和交互模块；
图像采集模块，用于采集模特的视频数据，将采集到的视频数据发送到所述运动分析模块；
其中，图像采集模块包括采集器和预处理单元，所述采集器用于采集模特的视频数据，将采集得到的视频数据发送到所述预处理单元，所述预处理单元用于对视频数据处理为预设的标准格式，将处理完成的视频数据发送到所述运动分析模块；
运动分析模块，用于接收所述图像采集模块发送的视频数据，对视频数据进行分析得到视频数据中关键点数据，将关键点数据发送到所述虚拟角色驱动模块；
其中，所述运动分析模块包括关键点检测单元和关键点标记单元，所述关键点检测单元用于检测视频数据，得到视频数据中的关键点，将关键点发送到所述关键点标记单元，所述关键点标记单元用于对关键点进行标记，得到关键点数据，将关键点数据发送到所述虚拟角色驱动模块；
虚拟角色驱动模块，用于接收所述运动分析模块发送的关键点数据，对关键点数据进行处理得到动作同步数据，将动作同步数据发送到所述语音融合模块；
其中，所述虚拟角色驱动模块包括虚拟角色数据库、映射单元、动作录制单元和数据输出单元，所述虚拟角色数据库用于存储虚拟角色数据，所述映射单元用于将关键点数据与虚拟角色数据进行映射，得到映射数据，将映射数据发送到动作录制单元，所述动作录制单元用于接收所述映射单元发送的映射数据，并根据映射数据录制动作同步数据，将动作同步数据发送到所述数据输出单元，所述数据输出单元用于将动作同步数据发送到语音融合模块；
语音融合模块，用于接收所述虚拟角色驱动模块发送的动作同步数据，将用户的语音标签与动作同步数据融合得到同步虚拟表情数据，将同步虚拟表情数据进行存储；
其中，所述语音融合模块包括数据输入单元、语音标签输入单元、语音标签融合单元和动作存储单元，所述数据输入单元用于接收所述虚拟角色驱动模块发送的动作同步数据，所述语音标签输入单元用于用户输入语音标签，所述语音标签融合单元用于将动作同步数据与语音标签进行映射得到同步虚拟表情数据，所述动作存储单元用于存储同步虚拟表情数据；
交互模块，用于采集用户的语音信息并进行分析的得到语音数据，还用于访问所述语音融合模块中保存的同步虚拟表情数据，调取对应的同步虚拟表情数据并输出；
其中，所述交互模块包括语音采集单元、语音分析单元、对比单元、调取单元、输出单元和显示单元，所述语音采集单元用于采集用户发出的声音，得到声音数据，将声音数据发送到所述语音分析单元，所述语音分析单元对声音数据进行分析处理得到声音数据的特征，发送到所...

【专利技术属性】
技术研发人员：周安斌，汤祯科，宋健健，尚绪峰，
申请(专利权)人：山东金东数字创意股份有限公司，
类型：发明
国别省市：山东;37