低配显卡条件下的数字人渲染方法和系统技术方案

本申请提出一种低配显卡条件下的数字人渲染方法和系统，该方法包括：分析当前的数字人渲染任务，并根据分析结果为数字人渲染任务配置相应的虚拟内存；接收数字人的渲染配置信息和文本，根据文本生成音频数据，并基于音频数据生成数字人的面部行为数据和肢体行为数据；向渲染引擎下发执行数字人渲染任务的指令，控制渲染引擎利用虚拟内存执行数字人渲染任务，根据面部行为数据和肢体行为数据渲染数字人；接收渲染引擎输出的内容为渲染完成的数字人的视频流，并应用至相应的业务场景。该方法可以在低配置显卡条件可以输出质量可靠的数字人渲染结果，降低了数字人渲染的成本。降低了数字人渲染的成本。降低了数字人渲染的成本。

【技术实现步骤摘要】
低配显卡条件下的数字人渲染方法和系统


[0001]本申请涉及数字人
，尤其涉及一种低配显卡条件下的数字人渲染方法和系统。

技术介绍

[0002]随着人工智能(AI)技术的发展，数字人已经广泛应用于各个
中。数字人是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真，通过建立多层次的数字模型实现对人体从微观到宏观的精确模拟。通过生成包含渲染完成的数字人的视频，可实现向用户提供信息和语音交互等多种功能，而在应用数字人之前，需要先渲染数字人。
[0003]相关技术中，渲染数字人通常采用提升视频生成的技术实现方式，包括以下三种方案：第一，通过预生成视频+抠像实现生成视频；第二，基于预设的关键图像帧的生成方案；第三，针对虚拟短视频生成的基于图像渲染+合成的方案。然而，申请人发现，上述相关技术中的方案，在渲染数字人，特别是超写实数字人的渲染，均非常依赖高配置显卡进行渲染，在不具有高配置显卡的条件下无法实现渲染，导致数字人渲染的成本较高、限制性较强。

技术实现思路

[0004]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本申请的第一个目的在于提出一种低配显卡条件下的数字人渲染方法，该方法通过为数字人渲染任务配置相应的虚拟内存，可以在低配置显卡条件可以输出质量可靠的数字人渲染结果，降低了数字人渲染的成本和限制条件。
[0006]本申请的第二个目的在于提出一种低配显卡条件下的数字人渲染系统。
[0007]本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
[0008]为达上述目的，本申请的第一方面实施例提出了一种低配显卡条件下的数字人渲染方法，包括以下步骤：
[0009]分析当前的数字人渲染任务，并根据分析结果为所述数字人渲染任务配置相应的虚拟内存；
[0010]接收数字人的渲染配置信息和文本，根据所述文本生成音频数据，并基于所述音频数据生成所述数字人的面部行为数据和肢体行为数据；
[0011]向渲染引擎下发执行所述数字人渲染任务的指令，控制所述渲染引擎利用所述虚拟内存执行所述数字人渲染任务，根据所述面部行为数据和所述肢体行为数据渲染数字人；
[0012]接收所述渲染引擎输出的内容为渲染完成的数字人的视频流，并应用至相应的业务场景。
[0013]可选地，在本申请的一个实施例中，控制所述渲染引擎利用所述虚拟内存执行所
述数字人渲染任务，包括：在渲染过程中判断所述虚拟内存的剩余容量能否满足所述数字人渲染任务；在不满足所述数字人渲染任务的情况下，扩增所述虚拟内存的容量。
[0014]可选地，在本申请的一个实施例中，在所述接收所述渲染引擎输出的内容为渲染完成的数字人的视频流之后，还包括：对所述视频流中的每帧画面进行质量检测，检测所述每帧画面的质量是否符合要求；在存在任一帧画面的质量不符合要求的情况下，重新进行渲染直至每帧画面的质量均符合要求。
[0015]可选地，在本申请的一个实施例中，对所述视频流中的每帧画面进行质量检测，包括：将所述每帧画面与场景基准帧进行对比，检测所述每帧画面中是否存在异常，并确定异常的位置和数量。
[0016]可选地，在本申请的一个实施例中，渲染配置信息包括所述数字人的形象信息和语音风格，在所述根据所述面部行为数据和所述肢体行为数据渲染数字人之前，还包括：根据所述形象信息配置所述数字人的形象，所述形象信息包括所述数字人的面容、服装、发型和配饰；所述渲染数字人，还包括：根据所述数字人的形象配置，渲染所述数字人的形象。
[0017]可选地，在本申请的一个实施例中，根据所述文本生成音频数据，包括：根据所述文本确定所述音频数据的语音内容，并结合所述语音风格生成所述音频数据。
[0018]为达上述目的，本申请的第二方面实施例提出了一种低配显卡条件下的数字人渲染系统，包括以下模块：
[0019]配置模块，用于分析当前的数字人渲染任务，并根据分析结果为所述数字人渲染任务配置相应的虚拟内存；
[0020]生成模块，用于接收数字人的渲染配置信息和文本，根据所述文本生成音频数据，并基于所述音频数据生成所述数字人的面部行为数据和肢体行为数据；
[0021]渲染模块，用于向渲染引擎下发执行所述数字人渲染任务的指令，控制所述渲染引擎利用所述虚拟内存执行所述数字人渲染任务，根据所述面部行为数据和所述肢体行为数据渲染数字人；
[0022]应用模块，用于接收所述渲染引擎输出的内容为渲染完成的数字人的视频流，并应用至相应的业务场景。
[0023]可选地，在本申请的一个实施例中，渲染模块，具体用于：在渲染过程中判断所述虚拟内存的剩余容量能否满足所述数字人渲染任务；在不满足所述数字人渲染任务的情况下，扩增所述虚拟内存的容量。
[0024]可选地，在本申请的一个实施例中，该系统还包括：检测模块，所述检测模块，具体用于：对所述视频流中的每帧画面进行质量检测，检测所述每帧画面的质量是否符合要求；在存在任一帧画面的质量不符合要求的情况下，重新进行渲染直至每帧画面的质量均符合要求。
[0025]为了实现上述实施例，本申请第三方面实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的低配显卡条件下的数字人渲染方法。
[0026]本申请的实施例提供的技术方案至少带来以下有益效果：本申请通过为数字人渲染任务配置相应的虚拟内存，使渲染引擎利用虚拟内存进行数字人渲染，通过使用系统虚拟内存可以保证渲染资源使用的内存空间充足，从而在低配置显卡条件下也能完成对2D、
3D或超写实数字人各种类型的数字人的渲染。并且，通过对输出的视频流进行画面质量检测，可以保证输出的渲染结果的质量。由此，本申请可以在低配置显卡条件下输出质量可靠的数字人渲染结果，降低了数字人渲染的成本和限制性。
[0027]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0028]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中
[0029]图1为本申请实施例提出的一种低配显卡条件下的数字人渲染方法的流程图；
[0030]图2为本申请实施例提出的一种具体的低配显卡条件下的数字人渲染方法的流程图；
[0031]图3为本申请实施例提出的一种低配显卡条件下的数字人渲染系统的结构示意图。
具体实施方式
[0032]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0033]需要说明的是，相关技术中的数字人渲染技术，针对视频生成任务，非常依赖高配置显本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低配显卡条件下的数字人渲染方法，其特征在于，包括以下步骤：分析当前的数字人渲染任务，并根据分析结果为所述数字人渲染任务配置相应的虚拟内存；接收数字人的渲染配置信息和文本，根据所述文本生成音频数据，并基于所述音频数据生成所述数字人的面部行为数据和肢体行为数据；向渲染引擎下发执行所述数字人渲染任务的指令，控制所述渲染引擎利用所述虚拟内存执行所述数字人渲染任务，根据所述面部行为数据和所述肢体行为数据渲染数字人；接收所述渲染引擎输出的内容为渲染完成的数字人的视频流，并应用至相应的业务场景。2.根据权利要求1所述的数字人渲染方法，其特征在于，所述控制所述渲染引擎利用所述虚拟内存执行所述数字人渲染任务，包括：在渲染过程中判断所述虚拟内存的剩余容量能否满足所述数字人渲染任务；在不满足所述数字人渲染任务的情况下，扩增所述虚拟内存的容量。3.根据权利要求1所述的数字人渲染方法，其特征在于，在所述接收所述渲染引擎输出的内容为渲染完成的数字人的视频流之后，还包括：对所述视频流中的每帧画面进行质量检测，检测所述每帧画面的质量是否符合要求；在存在任一帧画面的质量不符合要求的情况下，重新进行渲染直至每帧画面的质量均符合要求。4.根据权利要求3所述的数字人渲染方法，其特征在于，所述对所述视频流中的每帧画面进行质量检测，包括：将所述每帧画面与场景基准帧进行对比，检测所述每帧画面中是否存在异常，并确定异常的位置和数量。5.根据权利要求1所述的数字人渲染方法，其特征在于，所述渲染配置信息包括所述数字人的形象信息和语音风格，在所述根据所述面部行为数据和所述肢体行为数据渲染数字人之前，还包括：根据所述形象信息配置所述数字人的形象，所述形象信息包括所述数字人的面容、服装、...

【专利技术属性】
技术研发人员：张洽钿，杜冀中，
申请(专利权)人：北京智谱华章科技有限公司，
类型：发明
国别省市：