数据传输方法、数字人生产设备以及数字人显示设备技术

本公开提供了一种数据传输方法、数字人生产设备以及数字人显示设备，涉及通信技术领域，尤其涉及音视频传输领域以及虚拟数字人技术领域。具体实现方案为：接收来自数字人显示设备的指示信息；基于所述指示信息确定发送实时率；基于所述发送实时率，发送数字人音视频数据。本公开实施例可实现根据数字人显示设备的指示动态调整数字人音视频数据的发送实时率，充分利用数字人音视频数据的生产特性降低传输延迟，提升流畅度。提升流畅度。提升流畅度。

【技术实现步骤摘要】
数据传输方法、数字人生产设备以及数字人显示设备


[0001]本公开涉及通信
，尤其涉及音视频传输领域以及虚拟数字人


技术介绍

[0002]虚拟数字人(也可以简称为数字人)具备代替真人进行客服工作的能力，我们可以在服务大厅、展览大厅、营业厅等地方看到它的身影。虚拟数字人也经常应用于公共区域中的展览介绍以及电商、直播等活动中的人机互动。可见，虚拟数字人的应用场景已越来越多。
[0003]基于云端渲染的数字人技术中，在云端生成音视频数据，将音视频数据压缩后，传输到端侧，端侧进行音视频解码和渲染显示。为了满足实时的人机交互的需求，通常采用RTC(Real
‑
Time Communication，实时音视频通信)技术传输数字人音视频数据。

技术实现思路

[0004]本公开提供了一种数据传输方法、数字人生产设备以及数字人显示设备。
[0005]根据本公开的一方面，提供了一种数据传输方法，包括：
[0006]接收来自数字人显示设备的指示信息；
[0007]基于所述指示信息确定发送实时率；
[0008]基于所述发送实时率，发送数字人音视频数据。
[0009]根据本公开的另一方面，提供了一种数据传输方法，包括：
[0010]向数字人生产设备发送指示信息；其中，所述指示信息用于指示所述数字人生产设备确定发送实时率，以根据所述发送实时率发送数字人音视频数据；
[0011]接收所述数字人音视频数据。
[0012]根据本公开的另一方面，提供了一种数字人生产设备，包括：
[0013]指示接收模块，用于接收来自数字人显示设备的指示信息；
[0014]实时率确定模块，用于基于所述指示信息确定发送实时率；
[0015]数据发送模块，用于基于所述发送实时率，发送数字人音视频数据。
[0016]根据本公开的另一方面，提供了一种数字人显示设备，包括：
[0017]指示发送模块，用于向数字人生产设备发送指示信息；其中，所述指示信息用于指示所述数字人生产设备确定发送实时率，以根据所述发送实时率发送数字人音视频数据；
[0018]数据接收模块，用于接收所述数字人音视频数据。
[0019]根据本公开的另一方面，提供了一种电子设备，包括：
[0020]至少一个处理器；以及
[0021]与该至少一个处理器通信连接的存储器；其中，
[0022]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
[0023]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
[0024]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
[0025]根据本公开的另一方面，提供了一种数字人处理系统，包括：
[0026]数字人生产设备和数字人显示设备，用于执行本公开实施例中任一的方法。
[0027]根据本公开实施例的技术方案，数字人显示设备可以发送指示信息，数字人生产设备可以基于该指示信息确定发送实时率，并基于确定的发送实时率发送数字人音视频数据。从而可实现根据数字人显示设备的指示动态调整数字人音视频数据的发送实时率，充分利用数字人音视频数据的生产特性降低传输延迟，提升流畅度，进而提升数字人交互的实时性和稳定性。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是RTC通信系统中应用Jitter Buffer的系统示意图；
[0031]图2是本公开实施例的数据传输方法的示例性应用场景的示意图；
[0032]图3是本公开一实施例提供的数据传输方法的流程示意图；
[0033]图4是本公开另一实施例的数据传输方法的流程示意图；
[0034]图5是本公开实施例中数字人生产设备和数字人显示设备之间的交互流程图；
[0035]图6是本公开一实施例提供的数字人生产设备的示意性框图；
[0036]图7是本公开另一实施例提供的数字人生产设备的示意性框图；
[0037]图8是本公开一实施例提供的数字人显示设备的示意性框图；
[0038]图9是本公开另一实施例提供的数字人显示设备的示意性框图；
[0039]图10是本公开一实施例提供的数字人处理系统的示意性框图；
[0040]图11是用来实现本公开实施例的数据传输方法的电子设备的示意性框图。
具体实施方式
[0041]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0042]为了便于理解本公开实施例提供的数据传输方法，以下对本公开实施例的相关技术进行说明，以下相关技术作为可选方案与本公开实施例的技术方案可以进行任意结合，其均属于本公开实施例的保护范围。
[0043]相关技术中，采用RTC技术传输数字人音视频数据。RTC一般用于实现视频会议、视频通话等场景的实时通信，通信的两端的音视频实时生产。举例而言，用户会话的音视频不会提前生成，生成和发送时长为1s(秒)的音视频需要耗费1s。通常每20ms(毫秒)采集、编码和发送一次音频，每40ms采集、编码和发送一次视频。为了解决网络抖动或丢包问题，接收
侧(即数字人显示设备)需要设计Jitter Buffer(抖动缓冲器)，以缓解网络造成的音视频播放卡顿问题。其中，Jitter Buffer通常通过增加延迟来解决音视频播放卡顿问题。
[0044]图1示出了RTC通信系统中应用Jitter Buffer的系统示意图。具体而言，Jitter Buffer的核心思想是用时间换空间，以增大端到端的延迟为代价来换取视频通话的流畅性。当网络不稳定时(抖动发生)，增加buffer的长度，多缓存一些数据，以应对将来可能发生的抖动；当网络稳定下来时，减小buffer的长度，少缓存一些数据，降低视频端到端的延迟，提高实时性。因此Jitter Buffer的运行过程是一个根据抖动来动态调整buffer长度的过程。总之，在网络发生抖动或丢包时，RTC依靠Jitter buffer，通过增加延迟的代价获得播放的流畅性。
[0045]然而，数字人的生产具有与视频会议、视频通话等场景的音视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，包括：接收来自数字人显示设备的指示信息；基于所述指示信息确定发送实时率；基于所述发送实时率，发送数字人音视频数据。2.根据权利要求1所述的方法，其中，所述指示信息是基于所述数字人显示设备的缓冲数据长度和/或数据等待时间确定的。3.根据权利要求2所述的方法，其中，所述指示信息包含所述发送实时率；所述基于所述指示信息确定发送实时率，包括：在所述指示信息中解析出发送实时率。4.根据权利要求1或2所述的方法，其中，所述指示信息包含所述数字人显示设备的缓冲数据长度和/或数据等待时间；所述基于所述指示信息确定发送实时率，包括：在所述指示信息中解析出所述数字人显示设备的缓冲数据长度和/或数据等待时间；基于所述缓冲数据长度和/或数据等待时间，确定所述发送实时率。5.基于权利要求4所述的方法，其中，所述基于所述缓冲数据长度和/或数据等待时间，确定所述发送实时率，包括：基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率；其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述基于所述发送实时率，发送数字人音视频数据，包括：基于所述发送实时率以及快速UDP互联网连接协议，发送所述数字人音视频数据。7.一种数据传输方法，包括：向数字人生产设备发送指示信息；其中，所述指示信息用于指示所述数字人生产设备确定发送实时率，以根据所述发送实时率发送数字人音视频数据；接收所述数字人音视频数据。8.根据权利要求7所述的方法，还包括：基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述指示信息。9.根据权利要求8所述的方法，其中，所述基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述指示信息，包括：基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述发送实时率；基于所述发送实时率，确定所述指示信息。10.根据权利要求9所述的方法，其中，所述基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述发送实时率，包括：基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率；其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。11.根据权利要求7
‑
10中任一项所述的方法，其中，所述接收所述数字人音视频数据，包括：基于快速UDP互联网连接协议，接收所述数字人音视频数据。
12.一种数字人生产设备，包括：指示接收模块，用于接收来自数字人显示设备的指示信息；实时率确定模块，用于基于所述指示信息确定发送实时率；数据发送模块，用于基于所述发送实时率，发送数字人音视频数据。13.根据权利要求12所述的数字人生产设备，其中，所述指示信息包含所述发送实时率；所述实时率确定模块具体用于：在所述指示信息中解析出发送实时率。14.根据权利要求12所述的数字人...

【专利技术属性】
技术研发人员：郭启行，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：