本申请提供了一种在电视盒子上实现数字人交互的方法和装置，包括：采集用户的音视频数据，将所述音视频数据上传至云服务器，其中，所述音视频数据包括用户的视频和/或音频；接收所述云服务器发送的数字人音视频流，其中，所述数字人音视频流包括数字人视频流和音频流，组成所述数字人视频流的各个图像帧的背景颜色为指定颜色；对所述各个图像帧进行处理，以使数字人形象从所述指定颜色的背景中分离出来，并将处理后的各个图像帧与所述电视盒子的用户界面进行图像混合，对所述音频流进行播放，通过该方案能够克服电视盒子的硬件限制，将数字人业务应用在电视盒子，实现数字人在电视盒子的界面上与用户交互。视盒子的界面上与用户交互。视盒子的界面上与用户交互。
【技术实现步骤摘要】
在电视盒子上实现数字人交互的方法和装置
[0001]本专利技术涉及计算机
，特别涉及一种在电视盒子上实现数字人交互的方法和装置。
技术介绍
[0002]相关技术中，随着科技的进步，电视盒子已经成为了许多家庭中不可或缺的一部分，为用户提供了丰富的娱乐和信息服务。然而，电视盒子的硬件性能通常较低，对于一些复杂的计算任务，如运行数字人业务，就显得力不从心。数字人业务是最近几年AI技术的一种应用，能够根据用户的需求提供问题解答、功能讲解、投诉建议等服务，极大地改善了用户的交互体验。然而，这种业务通常需要大量的计算资源以进行图像渲染和语音识别等任务，因此无法在电视盒子上本地运行。
[0003]有鉴于此，如何克服电视盒子的硬件限制，将数字人业务应用在电视盒子，使其能够利用云服务在本地提供数字人业务，实现数字人在电视盒子的界面上与用户交互，成为亟待解决的技术问题。
技术实现思路
[0004]有鉴于此，本申请实施例提供一种在电视盒子上实现数字人交互的方法和装置、电子设备及存储介质，能够有效地约束关节点角度，实现更为准确和可控的动作捕捉。
[0005]第一方面，本申请实施例提供了一种在电视盒子上实现数字人交互的方法，应用于电视盒子，包括：采集用户的音视频数据，将所述音视频数据上传至云服务器，其中，所述音视频数据包括用户的视频和/或音频；接收所述云服务器发送的数字人音视频流，其中，所述数字人音视频流包括数字人视频流和音频流，组成所述数字人视频流的各个图像帧的背景颜色为指定颜色；对所述各个图像帧进行处理，以使数字人形象从所述指定颜色的背景中分离出来，并将处理后的各个图像帧与所述电视盒子的用户界面进行图像混合，对所述音频流进行播放。
[0006]第二方面，本申请实施例提供了一种在电视盒子上实现数字人交互的方法，应用于云服务器，包括：接收电视盒子上传的用户的音视频数据，其中，所述音视频数据包括用户的视频和/或音频；对所述音视频数据进行解析，得到解析结果，利用所述解析结果生成数字人的回应，以及驱动数字人的表情和/或动作发生变化，并渲染出数字人形象；通过将所述数字人形象放置在指定颜色的背景上得到数字人视频流，将数字人音视频流发送给电视盒子，其中，所述数字人音视频流包括数字人视频流和音频流，所述音频流包括所述数字人的回应。
[0007]第三方面，本申请实施例还提供了一种在电视盒子上实现数字人交互的装置，应用于电视盒子，包括：上传单元，用于采集用户的音视频数据，将所述音视频数据上传至云服务器，其中，所述音视频数据包括用户的视频和/或音频；第一接收单元，用于接收所述云服务器发送的数字人音视频流，其中，所述数字人音视频流包括数字人视频流和音频流，组成所述数字人视频流的各个图像帧的背景颜色为指定颜色；处理单元，用于对所述各个图像帧进行处理，以使数字人形象从所述指定颜色的背景中分离出来，并将处理后的各个图像帧与所述电视盒子的用户界面进行图像混合，对所述音频流进行播放。
[0008]第四方面，本申请实施例还提供了一种在电视盒子上实现数字人交互的装置，应用于云服务器，包括：第二接收单元，用于接收电视盒子上传的用户的音视频数据，其中，所述音视频数据包括用户的视频和/或音频；渲染单元，用于对所述音视频数据进行解析，得到解析结果，利用所述解析结果生成数字人的回应，以及驱动数字人的表情和/或动作发生变化，并渲染出数字人形象；发送单元，用于通过将所述数字人形象放置在指定颜色的背景上得到数字人视频流，将数字人音视频流发送给电视盒子，其中，所述数字人音视频流包括数字人视频流和音频流，所述音频流包括所述数字人的回应。
[0009]第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面至第二方面所述的在电视盒子上实现数字人交互的方法的步骤。
[0010]第六方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面至第二方面所述的在电视盒子上实现数字人交互的方法的步骤。
[0011]综上，本申请实施例提供的在电视盒子上实现数字人交互的方法和装置、电子设备及存储介质，由电视盒子采集用户的音视频数据上传至云服务器，由云服务器根据音视频数据生成数字人的回应以及背景颜色为指定颜色的数字人视频流发送给电视盒子，由电视盒子对数字人视频流进行处理，使数字人形象从指定颜色的背景中分离出来，并将处理后的数字人视频流的各个图像帧与电视盒子的用户界面进行图像混合，对数字人的回应进行播放，能够克服电视盒子的硬件限制，将数字人业务应用在电视盒子，使其能够利用云服务在本地提供数字人业务，实现数字人在电视盒子的界面上与用户交互。
附图说明
[0012]图1为本申请实施例提供的一种在电视盒子上实现数字人交互的方法的流程示意图；图2为本申请实施例提供的另一种在电视盒子上实现数字人交互的方法的流程示意图；
图3为本申请实施例提供的一种在电视盒子上实现数字人交互的装置的结构示意图；图4为本申请实施例提供的另一种在电视盒子上实现数字人交互的装置的结构示意图；图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0013]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0014]另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0015]需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
[0016]参照图1所示，为本申请实施例提供的一种在电视盒子上实现数字人交互的方法，应用于电视盒子，包括：S10、采集用户的音视频数据，将所述音视频数据上传至云服务器，其中，所述音视频数据包括用户的视频和/或音频；本专利技术实施例中，需要说明的是，当用户与电视盒子互动时，可以通过电视盒子内置的麦克风捕获用户的语音，通过电视本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种在电视盒子上实现数字人交互的方法，应用于电视盒子，其特征在于，包括：采集用户的音视频数据，将所述音视频数据上传至云服务器，其中，所述音视频数据包括用户的视频和/或音频；接收所述云服务器发送的数字人音视频流，其中，所述数字人音视频流包括数字人视频流和音频流，组成所述数字人视频流的各个图像帧的背景颜色为指定颜色；对所述各个图像帧进行处理，以使数字人形象从所述指定颜色的背景中分离出来，并将处理后的各个图像帧与所述电视盒子的用户界面进行图像混合，对所述音频流进行播放。2.根据权利要求1所述的方法，其特征在于，还包括：接收所述云服务器发送的控制指令；其中，在所述对所述音频流进行播放之后，还包括：执行所述控制指令。3.一种在电视盒子上实现数字人交互的方法，应用于云服务器，其特征在于，包括：接收电视盒子上传的用户的音视频数据，其中，所述音视频数据包括用户的视频和/或音频；对所述音视频数据进行解析，得到解析结果，利用所述解析结果生成数字人的回应，以及驱动数字人的表情和/或动作发生变化，并渲染出数字人形象；通过将所述数字人形象放置在指定颜色的背景上得到数字人视频流，将数字人音视频流发送给电视盒子，其中，所述数字人音视频流包括数字人视频流和音频流，所述音频流包括所述数字人的回应。4.根据权利要求3所述的方法，其特征在于，所述对所述音视频数据进行解析，得到解析结果，利用所述解析结果生成数字人的回应，以及驱动数字人的表情/动作发生变化，包括：对所述用户的视频进行面部表情识别，得到用户的面部表情和肢体动作中的至少之一和/或将所述用户的音频转换为文本；利用所述用户的面部表情和/或肢体动作和/或文本生成数字人的回应，以及目标表情和/或目标动作，驱动数字人展现所述目标表情和/或驱动数字人做出所述目标动作。5.根据权利要求4所述的方法，其特征在于，还包括：利用所述用户的面部表情和/或肢体动作和/或文本生成控制指令，并将所述控制指令发送给所述电视盒子。6.一种在电视盒子上实现数字人交互的装置，应用于电视盒子，其特征在于，包括：上传单元，用于采集...
【专利技术属性】
技术研发人员：王笃，
申请(专利权)人：海马云天津信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。