南京硅基智能科技有限公司专利技术

南京硅基智能科技有限公司共有145项专利

  • 本申请实施例提供了一种动画角色语音变换系统及方法、存储介质、电子装置,通过角色特征编码模块获取所述目标配音演员针对不同动画角色的配音音频作为角色特征样本,基于所述角色特征样本对应的角色特征向量与所述待转换音频对应的音频特征向量的相似度确...
  • 本申请涉及计算机技术领域,公开了一种视频生成方法、装置、电子设备及计算机可读存储介质。该方法包括获取驱动视频;基于驱动视频,得到多帧驱动图像和驱动音频,驱动图像中包括第一主播;对各帧驱动图像和驱动音频进行预处理,得到驱动音频对应的音频特...
  • 本申请提供一种基于语音韵律的语音合成模型训练方法及语音合成系统,通过将训练文本输入先验编码器,得到文本特征编码,再将文本特征编码和训练语音输入韵律编码器,得到韵律编码,然后将训练语音对应的线性谱输入后验编码器中,得到音频隐变量,并通过时...
  • 本申请提供一种基于音高的语音转换模型训练方法及语音转换系统,通过先验编码器输出音频特征编码,并通过音高提取模块提取音高特征。然后将参考语音对应的线性谱输入至所述后验编码器中,得到音频隐变量。并将音频特征编码和音高特征拼接得到的语音拼接特...
  • 本申请提供了一种音频驱动三维人脸动画模型的生成方法、装置及设备,该方法包括:获取样本数据,样本数据包括样本音频数据、样本说话风格数据以及样本混合变形值;对样本音频数据进行特征提取,得到样本音频特征;基于待训练音频驱动三维人脸动画模型对样...
  • 本申请实施例提供一种基于音频生成动态图像的方法、装置、设备及存储介质,涉及自然人机交互领域;该方法包括:先获取用户输入的参考图像和参考音频;之后,基于参考图像和训练后的生成网络模型,确定目标头部动作特征和目标表情系数特征,并基于目标头部...
  • 本申请实施例提供了一种语音转换方法及装置、存储介质、电子装置,所述方法包括:获取待转换的原始语音与目标说话人的目标语音样本;通过音频特征编码模块识别所述目标语音样本的风格类别,并根据所述目标语音样本的风格类别提取所述目标语音样本的目标音...
  • 本申请实施例公开了一种关键点旋转模型的训练方法及装置、电子设备和存储介质,涉及计算机与图像处理技术领域,能够得到具备利用关键点的三维坐标确定出旋转值的关键点旋转模型。具体方案包括:获取至少一组样本数据;样本数据包括样本人物的关键点的样本...
  • 本申请提供了一种基于交互平台实现数字人与用户的交互方法,通过与用户终端建立通信连接,接收由用户终端上传的数字人形象素材,并在交互平台生成对应形象的数字人
  • 本申请实施例提供了一种数字人短视频制作平台及制作方法,设置有模特单元
  • 本申请一些实施例提供一种基于视频素材生成数字人视频的方法及系统,所述方法可以通过获取用户输入的视频素材,再检测视频素材的驱动特征。其中,所述驱动特征为用户选定的视频特征或音频特征。如果驱动特征为视频特征,则提取音频数据的音频特征,并基于...
  • 本申请实施例提供了一种数字人直播方法,应用于数字人短视频制作平台,平台设置有模特单元、模板单元、声音单元、台本单元、管理单元和直播单元,方法包括:获取目标数字人模特、目标模板、目标声音以及目标台本,并将目标数字人模特、目标模板、目标声音...
  • 本申请提供了一种2D数字人视频生成方法与系统。所述方法通过获取驱动视频,并从驱动视频中提取驱动帧图像和驱动音频。其中驱动帧图像包括驱动人物,驱动音频为驱动人物发出的音频。从驱动帧图像和驱动音频中分别提取图像特征和音频特征,根据图像特征和...
  • 本申请提供一种用于生成3D数字人视频的方法及系统,所述方法通过获取视频素材,并从视频素材中提取素材人物图像,根据素材人物图像进行3D重建,得到与素材人物图像中的人物目标相关联的3D数字人模型。然后获取用户输入的驱动指令,根据驱动指令中的...
  • 本申请提供一种数字人的训练方法、系统及驱动系统。所述方法通过提取训练数据中的人体姿态估计数据,并将人体姿态估计数据输入至优化姿态估计网络以得到人体姿态优化数据。根据优化姿态估计网络的损失函数,计算人体姿态优化数据中的位置优化数据与加速度...
  • 本申请一些实施例提供一种基于人脸重演算法的数字名片生成方法及系统,所述方法通过获取源目标图像与驱动视频,生成源目标图像与驱动视频的目标特征深度图。其中,源目标图像包括目标特征,驱动视频包括适用于目标特征的动作特征。再提取目标特征深度图中...
  • 本申请提供一种基于社交账户的数字人生成方法及系统,所述方法通过获取目标人物的社交账户信息,并基于社交账户信息中的视频平台社交动态以及非视频平台社交动态获取社交动态素材,社交动态素材可以包括图片素材、音频素材以及文本素材。然后从带有目标人...
  • 本申请实施例公开了一种数字人驱动方法及装置、电子设备和存储介质,涉及计算机与图像处理技术领域,能够解决数字人在驱动过程中的抖动明显、关节旋转错位和易丢失的问题。具体方案包括:通过多个视频采集设备在真实三维空间中采集多个视角的视频数据,确...
  • 本申请提供了一种直播互动方法及装置、电子设备和存储介质,涉及网络直播技术领域,能够自动完成数字人主播与直播间观看者的互动,使得数字人直播间对于直播观看者而言更真实,提高了直播间观看者的观看体验,提高了直播间观看者的留存率。该方法包括:接...
  • 本公开提供了一种网络直播场景下的口型数据处理方法和内容表达设备,涉及计算机技术领域,用于对齐数字人主播的音频数据和数字人口型图像,使直播效果更加真实自然。该方法应用于直播系统,直播系统包括内容表达设备以及与内容表达设备连接的直播视频生成...
1 2 3 4 5 6 7 8 尾页