【技术实现步骤摘要】
本专利技术属于虚拟形象互动，具体涉及基于虚拟形象的直播互动系统。
技术介绍
1、目前，随着移动购物渗透率的提升，传统电商平台眼看着从增量转变成存量竞争，整体流量下滑，获客成本升高，而直播电商的出现，很大程度上打破了消费者对商品看不见、摸不着、感受不到的现状，相比图片和文字，直播呈现视频的信息维度更丰富，使得消费者能够直观并且全面的了解产品及服务信息，使消费者能够融入到购物场景中去，因此电商直播称为电商未来发展的方向。
2、人们在直播电商平台购物时，通过在平台上搜索框中输入商品关键词，平台后台会推送与输入的商品关键词匹配的一系列商品。但现有的直播电商平台推送的商品无法根据用户的偏向进行推送，智能化水平不高，导致用户需要花费大量的时间去从推送的商品中寻找与其偏向匹配的商品，影响人们的购物兴趣，致使用户体验感差。为了增强用户的使用体验感，亟需设计一种基于虚拟形象的直播互动方法与系统。
技术实现思路
1、为此，本专利技术提供一种基于虚拟形象的直播互动系统，有效、快速地提升主播互动时，对于商品的推送和直播的互动。
2、本专利技术的上述目的是通过如下方案实现的：
3、一种基于虚拟形象的直播互动系统，包括
4、第一采集模块，获取来自服务端的第一互动数据；
5、第二采集模块，获取来自服务端的第二互动数据；
6、合成模块，接收第二互动数据并根据预存储的互动词汇库生成互动文本；
7、素材生成模块，存储多组包括图像数据和
8、互动图像合成模块，接收互动文本生成互动图形；
9、融合模块，以时间轴对齐前景图像、背景图像和音轨，融合后得到虚拟主播互动数据；
10、推送模块，从所述第一互动数据和第二互动数据中提取互动需求数据集，从互动需求数据集中筛选产生互动的服务端群体，根据服务端群体生成对应的互动图像。
11、进一步的，还包括存储模块，所述存储模块包括本地存储单元和云端存储单元；接收来自融合模块的虚拟主播互动数据，根据需求执行对虚拟主播互动数据的本地存储、云端存储、备份和调用。
12、本专利技术的另一方面，还提供一种基于虚拟形象的直播互动方法，包括如下步骤：
13、预处理互动图像数据；所述互动图像数据包括前景图像、背景图像和音频；
14、获取第一互动数据和第二互动数据；所述第一互动数据包括服务端获取的真人音频、视频及文字数据；所述第二互动数据包括由请求端发起的文字、音频和视频互动请求数据；
15、生成基于第一互动数据的虚拟形象；
16、生成基于第二互动数据的互动图形和互动文本；
17、分词处理互动文本，根据互动文本对应的音素合成互动音频并导入至音频数据内；生成基于互动图形、互动音频和互动文本的索引数据集；
18、根据第二互动数据从索引数据集中调用生成基于虚拟形象的索引动作、互动图形、互动文本和互动音频反馈至前景图像中。
19、进一步的，所述反馈包括第一反馈与第二反馈；
20、所述第一反馈具体为，从索引数据集中调用匹配所述第二互动数据的互动图像、互动音频和索引动作替换至前景图像中；
21、若在预设的时间内，未执行第一反馈，执行第二反馈；
22、服务端根据已分词处理的互动文本生成真人实时互动后实时更新虚拟形象直接反馈至前景图像中。
23、进一步的，所述互动数据还包括第三互动数据，所述第三互动数据为预录制的真人动作、视频及音频；
24、且所述第三互动数据的预录制时间早于第一互动数据的获取时间；
25、所述第三互动数据用于生成预索引数据集；
26、将第一互动数据和第二互动数据中的互动图形、互动音频和互动文本补充至预索引数据集后得到索引数据集。
27、进一步的，获取第一互动数据和第三互动数据时，建立基于音频数据的语音数据集用于合成互动音频；
28、所述语音数据集的建立过程，具体为：
29、采集多个不同播报内容下的音频数据，提取其中的互动词汇；
30、生成互动词汇对应的音素单元和声纹波形；
31、建立互动词汇和音素单元、声纹波形对应的索引，得到语音数据集。
32、进一步的，建立虚拟形象时，同时对真人进行多个机位的图像采集，然后建立真人的虚拟三维模型。
33、进一步的，存储声纹识别模型并构建音素值库；
34、所述声纹识别模型识别到所述初始数据和/或所述基本数据的音频后，将音频以预设长度切分为音频片段，逐一识别各音频片段中的音素单元，并将音素单元按照音轨时间排序并建立单元时间标签；
35、将具有单元时间标签注入文字值库和/或像素值库中，写入对应所述音素值的文字值和/或像素值；
36、校验所述图像数据的类型，所述图像数据的类型包括单帧图像、多帧图像和复合图像；所述复合图像中至少包括单帧图像、多帧图像、音频数据和文本数据中的至少两种组合；
37、构建像素值库；
38、对每一帧图像均执行以下步骤：
39、将帧图像中的每一最小像素值，获取像素值的色度渐变边界得到像素值边界，根据所述像素值边界得到像素单元图像；
40、根据像素单元图像中包含的像素值数量建立单元像素标签，建立单元像素标签和像素单元图像之间的索引值；
41、将具有单元像素标签注入文字值库和/或音素值库，写入对应所述像素单元的文字值和/或音素值；
42、构建姿态匹配库，
43、提取虚拟形象的人物姿态，标记任人物姿态中的多个位置点，以及每个位置点对应的起始位置和终点位置，获得多个最小姿态值集合，建立姿态标签和最小姿态值之间的索引和姿态标签
44、并将姿态标签注入文字值库和/或音素值库和/或像素值库中；
45、提供任意库之间的相互索引。
46、本专利技术的第三方面，一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现基于虚拟形象的直播互动系统。
47、本专利技术的第四方面，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现基于虚拟形象的直播互动系统。
48、本专利技术的上述技术方案，相比现有技术具有以下优点：
49、(1)可以实现形象逼真、比拟真人的互动节目主播播报效果，并且通过采样直播互动时来自服务端的互动数据。
50、(2)提升播报效率。没有了真人主播播报前的准备环节，可节省大量日常节目录制时间；对于突发预警、现场报道等直播类节目的响应更及时。
51、(3)提高视频内容生产效率。可以大批量、长时间、不间断制作大量商品直播推送节目，提高服务推广能力。
本文档来自技高网...【技术保护点】
1.一种基于虚拟形象的直播互动系统，其特征在于，包括
2.根据权利要求1所述的基于虚拟形象的直播互动系统，其特征在于，还包括存储模块，所述存储模块包括本地存储单元和云端存储单元；接收来自融合模块的虚拟主播互动数据，根据需求执行对虚拟主播互动数据的本地存储、云端存储、备份和调用。
3.一种基于虚拟形象的直播互动方法，其特征在于，包括如下步骤：
4.根据权利要求1所述的基于虚拟形象的直播互动方法，其特征在于，所述反馈包括第一反馈与第二反馈；
5.根据权利要求4所述的基于虚拟形象的直播互动方法，其特征在于，所述互动数据还包括第三互动数据，所述第三互动数据为预录制的真人动作、视频及音频；
6.根据权利要求4所述的基于虚拟形象的直播互动方法，其特征在于，获取第一互动数据和第三互动数据时，建立基于音频数据的语音数据集用于合成互动音频；
7.根据权利要求3所述的基于虚拟形象的直播互动方法，其特征在于，建立虚拟形象时，同时对真人进行多个机位的图像采集，然后建立真人的虚拟三维模型。
8.根据权利要求1所述的基于虚拟
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求3至8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求3至8中任一项所述的方法。
...【技术特征摘要】
1.一种基于虚拟形象的直播互动系统，其特征在于，包括
2.根据权利要求1所述的基于虚拟形象的直播互动系统，其特征在于，还包括存储模块，所述存储模块包括本地存储单元和云端存储单元；接收来自融合模块的虚拟主播互动数据，根据需求执行对虚拟主播互动数据的本地存储、云端存储、备份和调用。
3.一种基于虚拟形象的直播互动方法，其特征在于，包括如下步骤：
4.根据权利要求1所述的基于虚拟形象的直播互动方法，其特征在于，所述反馈包括第一反馈与第二反馈；
5.根据权利要求4所述的基于虚拟形象的直播互动方法，其特征在于，所述互动数据还包括第三互动数据，所述第三互动数据为预录制的真人动作、视频及音频；
6.根据权利要求4所述...
【专利技术属性】
技术研发人员：冒高峰，朱陶飞，王宋军，黄勇，申朝阳，陆永丽，宋家豪，
申请(专利权)人：上海及未科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。