2D数字人交互系统和2D数字人交互方法技术方案

本申请公开了一种2D数字人交互系统和2D数字人交互方法，属于数字人技术领域。该系统包括：第一特征提取器、第二特征提取器、数据采集处理模块、模型特征处理模块和视频流处理输出器，提取第一人脸特征集、第一渲染特征、第二语音特征、第二模型特征和第二渲染特征集，采集数字人交互数据生成数字人交互对应的语音文本特征，将语音文本特征转换为目标语音特征，基于语音文本特征进行特征空间变换，得到目标渲染特征，基于第一人脸特征集，将目标渲染特征变换到第一渲染特征空间并与目标语音特征进行融合，输出数字人交互视频。该系统可以实现2D数字人带有表情、情感的交互，写实度高，可以应用于多种交互场景。

【技术实现步骤摘要】

本申请属于数字人，尤其涉及一种2d数字人交互系统和2d数字人交互方法。

技术介绍

1、随着数字人技术的发展，数字人在视频会议、直播、虚拟角色生成、动画视频制作等场景下应用。目前市面上的数字人类型可以分为2d数字人与3d数字人，2d数字人相对于3d数字人，无需进行建模、动作捕捉等操作，成本低，应用更加广泛。

2、目前，2d数字人的实时交互，主要是通过播放录制好的视频，播报固定的内容。2d数字人播报时，大多只驱动预置口型，数字人表情僵硬、缺乏情感且写实度低，播放内置视频的方式还会导致数字人交互场景兼容度低。

技术实现思路

1、本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种2d数字人交互系统和2d数字人交互方法，通过模型转换和渲染，可以实现2d数字人带有表情、情感的交互，写实度高，可以应用于多种交互场景。

2、第一方面，本申请提供了一种2d数字人交互系统，该系统包括：

3、第一特征提取器和第二特征提取器，所述第一特征提取器用于获取第一输入视频进行特征提取，得本文档来自技高网...

【技术保护点】

1.一种2D数字人交互系统，其特征在于，包括：

2.根据权利要求1所述的2D数字人交互系统，其特征在于，所述第二特征提取器包括语音特征提取器、模型特征提取器、口型特征提取器、表情特征提取器和情感特征提取器中的至少一个，所述第二模型特征包括口型模型特征、表情模型特征、人脸位置模型特征和情感模型特征中的至少一个，所述第二渲染特征集包括表情渲染特征、口型渲染特征和人脸位置渲染特征中的至少一个。

3.根据权利要求1所述的2D数字人交互系统，其特征在于，所述第一特征提取器包括人脸图像检测器、人脸关键点检测器、人脸掩膜提取器和人脸图像转换器中的至少一个，所述第一渲染特征包括人...

【技术特征摘要】

1.一种2d数字人交互系统，其特征在于，包括：

2.根据权利要求1所述的2d数字人交互系统，其特征在于，所述第二特征提取器包括语音特征提取器、模型特征提取器、口型特征提取器、表情特征提取器和情感特征提取器中的至少一个，所述第二模型特征包括口型模型特征、表情模型特征、人脸位置模型特征和情感模型特征中的至少一个，所述第二渲染特征集包括表情渲染特征、口型渲染特征和人脸位置渲染特征中的至少一个。

3.根据权利要求1所述的2d数字人交互系统，其特征在于，所述第一特征提取器包括人脸图像检测器、人脸关键点检测器、人脸掩膜提取器和人脸图像转换器中的至少一个，所述第一渲染特征包括人脸位置渲染特征和人脸背景渲染特征中的至少一个。

4.根据权利要求1所述的2d数字人交互系统，其特征在于，所述数据采集处理模块包括依次连接的多模态采集器、预处理器和内容理解器，所述多模态采集器用于采集多模态的所述数字人交互数据，并输入至所述预处理器进行预处理，所述内容理解器用于基于所述预处理器进行预处理输出的第一语音文本特征，生成第二语音文本特征，所述语音文本特征包括所述第二语音文本特征和所述第一语音文本特征中的至少一个。

5.根据权利要求4所述的2d数...

【专利技术属性】
技术研发人员：李子旭，
申请(专利权)人：北京元客方舟科技有限公司，
类型：发明
国别省市：