【技术实现步骤摘要】
本专利技术属于数字人，涉及一种2d实时交互式数字人驱动方法、设备及介质，尤其涉及一种大模型驱动的2d实时交互式数字人驱动方法、设备及介质。
技术介绍
1、2d数字人是人工智能领域的一个具像数字化身，是一系列概念(包括元宇宙、web3.0等)的基本组成单元，在休闲娱乐、客服问答、直播、广告、教育和医疗等领域有着广泛的应用于前景。
2、但是，现有的2d数字人在实时交互过程中的自然度表现不好，包括对话的逻辑不自然、面部口型和声音不匹配、语义一致性差等。
3、因此，针对上述现有技术中存在的缺陷，需要研发一种新型的2d实时交互式数字人驱动方法。
技术实现思路
1、为了克服现有技术的缺陷，本专利技术提出一种大模型驱动的2d实时交互式数字人驱动方法、设备及介质，其解决了2d数字人口型动作驱动时存在的语义级同步精度不够、交互自然度不高的问题，实现了2d数字人实时交互的自然表现。
2、为了实现上述目的，本专利技术提供如下技术方案：
3、一种大模型驱动的2d实时交互式数字人驱动方法，其特征在于，包括以下步骤：
4、1)、获取基于真人录制的底座视频并处理所述底座视频，以获得多个原始视频图像帧并从每一个所述原始视频图像帧中得到对应的人脸图像帧和对人脸图像帧缩放所需要的仿射变换数据；
5、2)、获取对话输入文本并将所述对话输入文本输入训练后的大语言模型中以生成对话内容；
6、3)、为所述对话内容生成对应的语音音频；
<...【技术保护点】
1.一种大模型驱动的2D实时交互式数字人驱动方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的大模型驱动的2D实时交互式数字人驱动方法，其特征在于，所述步骤1)中的获取基于真人录制的底座视频并处理所述底座视频具体包括：
3.根据权利要求2所述的大模型驱动的2D实时交互式数字人驱动方法，其特征在于，所述步骤2)中的训练后的大语言模型是基于ChatGLM大语言模型训练出的人设模型，且其部署在云端。
4.根据权利要求3所述的大模型驱动的2D实时交互式数字人驱动方法，其特征在于，所述步骤3)具体为：将所述对话内容通过文本转语音服务转成对应的语音音频。
5.根据权利要求4所述的大模型驱动的2D实时交互式数字人驱动方法，其特征在于，所述步骤4)具体为：将所述语言音频拆分成多个1秒长的音频，将所述多个1秒长的音频、多个原始视频图像帧以及每一个所述原始视频图像帧对应的人脸图像帧输入到口型生成模型中，由所述口型生成模型生成多个口型视频图像帧，并将所述多个1秒长的音频和多个口型视频图像帧按照时间戳顺序存入到队列中。
6.根据权利要求
7.根据权利要求6所述的大模型驱动的2D实时交互式数字人驱动方法，其特征在于，所述步骤5)具体为：将所述多个口型视频图像帧和对人脸图像帧缩放所需要的仿射变换数据传入到人脸图像超分模型中，由所述人脸图像超分模型返回多个超分后的口型视频图像帧，并将所述多个超分后的口型视频图像帧保存到共享磁盘中。
8.根据权利要求7所述的大模型驱动的2D实时交互式数字人驱动方法，其特征在于，所述步骤6)具体为：从所述队列中按照时间戳顺序读取所述多个1秒长的音频和多个口型视频图像帧并在所述共享磁盘中读取与所述多个口型视频图像帧对应的多个超分后的口型视频图像帧，通过推流工具将所述多个1秒长的音频和多个超分后的口型视频图像帧推送到客户端，实现2D实时交互式数字人的面部口型动画以及语音播放。
9.一种大模型驱动的2D实时交互式数字人驱动设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的大模型驱动的2D实时交互式数字人驱动方法中的步骤。
...【技术特征摘要】
1.一种大模型驱动的2d实时交互式数字人驱动方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的大模型驱动的2d实时交互式数字人驱动方法，其特征在于，所述步骤1)中的获取基于真人录制的底座视频并处理所述底座视频具体包括：
3.根据权利要求2所述的大模型驱动的2d实时交互式数字人驱动方法，其特征在于，所述步骤2)中的训练后的大语言模型是基于chatglm大语言模型训练出的人设模型，且其部署在云端。
4.根据权利要求3所述的大模型驱动的2d实时交互式数字人驱动方法，其特征在于，所述步骤3)具体为：将所述对话内容通过文本转语音服务转成对应的语音音频。
5.根据权利要求4所述的大模型驱动的2d实时交互式数字人驱动方法，其特征在于，所述步骤4)具体为：将所述语言音频拆分成多个1秒长的音频，将所述多个1秒长的音频、多个原始视频图像帧以及每一个所述原始视频图像帧对应的人脸图像帧输入到口型生成模型中，由所述口型生成模型生成多个口型视频图像帧，并将所述多个1秒长的音频和多个口型视频图像帧按照时间戳顺序存入到队列中。
6.根据权利要求5所述的大模型驱动的2d实时交互式...
【专利技术属性】
技术研发人员：苏启昌，张洽沺，杜冀中，
申请(专利权)人：北京智谱华章科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。