一种基于闪存控制器的数字人应用加速方法及系统技术方案

本发明专利技术公开了一种基于闪存控制器的数字人应用加速方法及系统，方法包括：在主机侧外部连接闪存控制器，将数字人系统各模型预置至闪存控制器的模型存储单元；将数字人形象视频预置至存储模块，通过NPU模块进行人脸检测得到人脸框序列；将实时语音数据进行ASR语音识别推理，并通过GPU推理得到回答文本信息；通过NPU模块依次进行TTS推理和语音转唇形推理，通过片上CPU进行图片融合，得到人脸图片序列；通过NPU模块进行人脸修复推理，通过片上CPU进行音视频融合编码，得到数字人形象视频。通过本发明专利技术的技术方案，极大减轻了GPU和CPU的负荷，降低了硬件成本，提升了数字人系统的性价比。

【技术实现步骤摘要】

本专利技术涉及数字人，尤其涉及一种基于闪存控制器的数字人应用加速方法以及一种基于闪存控制器的数字人应用加速系统。

技术介绍

1、目前，现有的数字人系统中，如图1所示，整个流程中需要进行asr语音识别、大模型问答、tts文本转语音、语音转唇形、人脸检测、人脸修复共6个模型推理，目前全部需要基于gpu完成推理，其计算成本高昂，难以满足实时对话数字人的需求。

技术实现思路

1、针对上述问题，本专利技术提供了一种基于闪存控制器的数字人应用加速方法及系统，通过将原本需要在gpu上实现的asr语音识别、tts文本转语音、语音转唇形、人脸检测和人脸修复功能在闪存控制器的npu模块上实现，极大减轻了gpu的负荷，将原本需要在cpu上实现的唇形人脸融合和音视频融合编码功能在闪存控制器的片上cpu实现，极大减轻了cpu的负荷，相比原本需要完全依赖gpu实现整体流程的数字人系统极大降低了硬件成本，提升了数字人系统的性价比。

2、为实现上述目的，本专利技术提供了一种基于闪存控制器的数字人应用加速方法，包括：

本文档来自技高网...

【技术保护点】

1.一种基于闪存控制器的数字人应用加速方法，其特征在于，包括：

2.根据权利要求1所述的基于闪存控制器的数字人应用加速方法，其特征在于，所述闪存控制器采用EB1229闪存控制器。

3.根据权利要求1所述的基于闪存控制器的数字人应用加速方法，其特征在于，所述将所述推理结果文本信息传输至GPU进行大语言模型推理，得到回答文本信息，具体过程包括：

4.根据权利要求1所述的基于闪存控制器的数字人应用加速方法，其特征在于，所述将所述回答文本信息通过所述NPU模块依次按照所述TTS模型和所述语音转唇形模型进行TTS推理和语音转唇形推理，得到唇部图片序列，具体过程包...

【技术特征摘要】

1.一种基于闪存控制器的数字人应用加速方法，其特征在于，包括：

2.根据权利要求1所述的基于闪存控制器的数字人应用加速方法，其特征在于，所述闪存控制器采用eb1229闪存控制器。

3.根据权利要求1所述的基于闪存控制器的数字人应用加速方法，其特征在于，所述将所述推理结果文本信息传输至gpu进行大语言模型推理，得到回答文本信息，具体过程包括：

4.根据权利要求1所述的基于闪存控制器的数字人应用加速方法，其特征在于，所述将所述回答文本信息通过所述npu模块依次按照所述tts模型和所述语音转唇形模型进行tts推理...

【专利技术属性】
技术研发人员：孙唐，涂雅培，张友源，袁江波，彭端，王亚夫，
申请(专利权)人：上海锋行致远科技有限公司，
类型：发明
国别省市：