【技术实现步骤摘要】
生成商品对象讲解视频的方法及装置
[0001]本申请涉及视频合成
，特别是涉及生成商品对象讲解视频的方法及装置。
技术介绍
[0002]在传统的商品对象信息系统中，通常可以通过图片、文字、视频等方式对商品对象进行介绍。随着直播、短视频形式的兴起，以及移动终端设备的普及，使得商家可以通过“真人讲解”(也称“口播”等)方式来实现对商品对象的介绍，例如，包括直播或者通过短视频进行讲解等。由于在真人讲解过程中可以由真人对着镜头对商品的细节进行介绍，因此，可以实现“人、货、场”相结合。比起传统的平面图片等而言，更加直观且生动，可以让消费者更直接地看到商品的方方面面。另外，结合“主播”现场的语言和情绪等，也可以让商品显得更加的真实，尤其是在直播过程中，还可以通过互动获得“主播”的即时反馈，从而降低信任成本，便于达成交易。
[0003]但是，由于真人直播或者录制真人讲解的短视频对“主播”的形象以及口才等都具有比较高的要求，要想获得理想的效果，商家需要邀请形象好且口才好的“主播”进行直播或者短视频的录制，因此，使得商家的成本可...
【技术保护点】
【技术特征摘要】
1.一种生成商品对象讲解视频的方法，其特征在于，包括：获取用于进行视频合成的原始素材，所述原始素材包括：与目标人物形象相关的第一图像素材，以及用于对目标商品对象进行讲解的语音素材；所述第一图像素材中包括所述目标人物形象的脸部图像；利用所述语音素材中的音素信息对所述脸部图像进行唇形驱动，得到第二图像素材；将所述第二图像素材与所述语音素材进行合成，获得目标人物形象的唇形与所述音素信息同步变化的目标素材，以用于生成所述目标商品对象的讲解视频。2.根据权利要求1所述的方法，其特征在于，所述利用所述语音素材中的音素信息对所述脸部图像进行唇形驱动，得到第二图像素材，包括：将所述第一图像素材与所述语音素材进行时间轴对齐处理后，从所述第一图像素材中提取脸部图像帧序列，以及脸部图像坐标序列，并从所述语音素材中提取语音帧序列；将所述脸部图像帧序列以及所述语音帧序列输入到语音驱动唇形算法模型中，获得唇形与音素同步变化的目标脸部图像帧序列；根据所述脸部图像坐标序列，将所述目标脸部图像帧序列替换到对齐处理后的原始影像素材中，得到所述第二图像素材。3.根据权利要求2所述的方法，其特征在于，所述语音驱动唇形算法模型还与用于提升图像分辨率的算法、用于提升细节清晰度的算法和/或唇部判决算法相结合。4.根据权利要求1所述的方法，其特征在于，还包括：提供可选的第一图像素材集合，所述第一图像素材集合中包括多个通过计算机合成方式生成的虚拟人物形象对应的影像素材，以便用户通过从所述第一图像素材集合中进行第一图像素材的选择。5.根据权利要求4所述的方法，其特征在于，所述提供可选的第一图像素材集合，包括：根据所述目标商品对象的类目信息和/或面向的用户群体特征信息，对所述第一图像素材集合中的第一图像素材进行筛选，并提供筛选结果作为可选的第一图像素材集合。6.根据权利要求1所述的方法，其特征在于，所述第一图像素材包括视频素材，且其中还包括所述目标商品对象相关的图像；所述方法还包括：在生成所述目标素材后，将所述目标素材确定为所述目标商品对象的讲解视频。7.根据权利要求1所述的方法，其特征在于，所述原始素材中还包括与所述目标商品对象相关的第二图像素材；所述方法还包括：在生成所述目标素材后，将所述目标素材与所述目标商品对象相关的第二图像素材进行组合，生成所述目标商品对象的讲解视频。8.根据权利要求7所述的方法，其特征在于，还包括：在生成所述目标素材后，提供用于进行讲解视频制作的编辑界面，所述编辑界面中包括至少一种编辑操作选项，以用于将所述目标素材与所述目标商品对象相关的第二图像素
材进行组合。9.根据权利要求1至8任一项所述的方法，其特征在于，还包括：提供后期操作界面，所述后期操作界面中包括至少一个操作选项，以用于为所述讲解视频添加字幕、特效和/或背景音乐。10.一种商品对象信息发布方法，其特征在于，包括：在商品对象信息发布界面中提供用于为目标商品对象生成讲解视频的操作选项；通过所述操作选项接收用于进行视频合成的原始素材，所述原始素材包括：与目标人物形象相关的第一图像素材，以及用于对目标商品对象进行讲解的语音素材；所述第一图像素材中包括所述目标人物形象的脸部图像；利用所述语音素材中的音素信息对所述脸部图像进行唇形驱动，得到第二图像素材；将所述第二图像素材与所述语音素材进行合成，获得目标人物形象的唇形与所述音素信息同步变化的目标素材，以用于生成...
【专利技术属性】
技术研发人员：贺欣，李晓霞，罗智凌，黄玉龙，谢佳雯，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。