System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种服务器、显示设备及数字人交互方法技术_技高网

一种服务器、显示设备及数字人交互方法技术

技术编号:40874456 阅读:2 留言:0更新日期:2024-04-08 16:42
本申请一些实施例示出一种服务器、显示设备及数字人交互方法,所述方法包括:接收显示设备发送数字人标识及用户输入的语音数据;确定语音数据对应的用户身份信息,以及识别语音数据,以获取语音文本;基于数字人标识及用户身份信息确定数字人与用户的关系;根据语音文本确定基础文本;基于基础文本及关系生成播报文本;基于数字人标识对应的语音特征和形象,以及播报文本生成数字人数据;将数字人数据发送至显示设备,以使显示设备根据数字人数据播放数字人的图像及语音。本申请实施例通过获取说话人身份信息和数字人信息,确定当前说话人和使用的数字人的关联关系,从而生成趣味播报数据,使语音交互更人性化和智能化。

【技术实现步骤摘要】

本申请涉及数字人交互,尤其涉及一种服务器、显示设备及数字人交互方法


技术介绍

1、虚拟数字人是运用数字技术创造出来的,与人类形象接近的数字化人物形象。虚拟数字人系统一般情况下由人物形象、语音生成、动画生成、音视频合成显示、交互等5个模块构成。随着科学技术的不断进步,虚拟数字人已逐步应用到娱乐、偶像、代言人、企业数字化转型、体育、金融等垂直领域。

2、在同一智能电视上声纹账号和虚拟数字人的注册用户往往来自同一家庭,虽然可以通过声纹信息确定用户身份,但声纹识别技术往往应用于个性化内容定制或推荐。数字人也只是仅仅替换默认语音助手形象完成语音交互。数字人形象展示方式单一,缺少趣味性。


技术实现思路

1、本申请一些实施例提供了一种服务器、显示设备及数字人交互方法,通过获取说话人身份信息和数字人信息,确定当前说话人和使用的数字人的关联关系,从而生成趣味播报数据,使语音交互更人性化和智能化。

2、第一方面,本申请一些实施例中提供一种服务器,被配置为:

3、接收显示设备发送数字人标识及用户输入的语音数据,所述数字人标识用于表征用户选择的数字人形象和语音特征;

4、确定所述语音数据对应的用户身份信息,以及识别所述语音数据,以获取语音文本;

5、基于所述数字人标识及所述用户身份信息确定数字人与用户的关系;

6、根据所述语音文本确定基础文本,所述基础文本为所述语音文本经自然语言处理得到的;

7、基于所述基础文本及所述关系生成播报文本;

8、基于所述数字人标识对应的语音特征和形象数据,以及所述播报文本生成数字人数据;

9、将所述数字人数据发送至所述显示设备,以使所述显示设备根据所述数字人数据播放数字人的图像及语音。

10、在一些实施例中,所述服务器执行确定所述语音数据对应的用户身份信息,被配置为:

11、提取所述语音数据的声纹信息;

12、如果所述声纹信息与声纹库中已注册声纹信息相匹配,则根据所述已注册声纹信息确定用户身份信息。

13、在一些实施例中,所述服务器执行根据所述语音文本确定基础文本,被配置为:

14、对所述语音文本进行分词标注处理,以获取分词信息;

15、对所述分词信息进行句法分析和语义分析,以获取槽位信息;

16、通过垂域分类定位所述槽位信息对应的领域意图;

17、基于所述领域意图及槽位信息确定基础文本。

18、在一些实施例中,所述服务器执行基于所述基础文本及所述关系生成播报文本,被配置为:

19、获取所述关系对应的拼接信息,所述拼接信息包括拼接位置和拼接内容,所述拼接位置包括前置拼接,所述前置拼接对应的拼接内容为根据所述关系设置的称谓;

20、基于所述拼接信息与所述基础文本生成播报文本。

21、在一些实施例中,所述拼接位置还包括后置拼接,所述服务器执行基于所述基础文本及所述关系生成播报文本,被配置为:

22、获取所述用户的年龄;

23、基于所述年龄及所述基础文本,确定所述后置拼接对应的拼接内容。

24、在一些实施例中,所述服务器执行基于所述基础文本及所述关系生成播报文本,被配置为:

25、如果检测到日期为目标日期且所述目标日期与所述关系相关,则根据所述关系确定目标文本,所述目标日期为节日和/或纪念日,所述目标文本包括祝福文本和/或提醒文本;

26、将所述目标文本添加至所述基础文本中,得到播报文本。

27、在一些实施例中,所述服务器执行基于所述基础文本及所述关系生成播报文本,被配置为:

28、如果检测到日期为目标日期且所述目标日期与所述用户相关,则生成目标文本,所述目标日期为节日和/或纪念日;

29、将所述目标文本添加至所述基础文本中,得到播报文本。

30、在一些实施例中,所述服务器,被配置为:

31、在接收显示设备上传超时消息后,基于所述关系和目标场景生成提示文本,所述超时消息为显示设备在检测到进入目标场景的时长超过预设时长后发送至所述服务器;

32、基于所述数字人标识对应的语音特征和形象数据,以及所述提示文本生成数字人数据;

33、将所述数字人数据发送至所述显示设备,以使所述显示设备根据所述数字人数据播放数字人的图像和数据。

34、第二方面,本申请一些实施例中提供一种显示设备,包括:

35、显示器,被配置为显示用户界面;

36、通信器,被配置为与服务器进行数据通信;

37、控制器,被配置为:

38、在启动数字人交互程序后,接收用户输入的语音数据;

39、将所述语音数据通过所述通信器发送至服务器;

40、接收所述服务器基于所述语音数据下发的数字人数据;

41、根据所述数字人数据播放所述数字人的图像及语音。

42、第三方面,本申请一些实施例中提供一种数字人交互方法,包括:

43、接收显示设备发送数字人标识及用户输入的语音数据,所述数字人标识用于表征用户选择的数字人形象和语音特征;

44、确定所述语音数据对应的用户身份信息,以及识别所述语音数据,以获取语音文本;

45、基于所述数字人标识及所述用户身份信息确定数字人与用户的关系;

46、根据所述语音文本确定基础文本,所述基础文本为所述语音文本经自然语言处理得到的;

47、基于所述基础文本及所述关系生成播报文本;

48、基于所述数字人标识对应的语音特征和形象数据,以及所述播报文本生成数字人数据;

49、将所述数字人数据发送至所述显示设备,以使所述显示设备根据所述数字人数据播放数字人的图像及语音。

50、本申请的一些实施例提供一种服务器、显示设备及数字人交互方法。接收显示设备发送数字人标识及用户输入的语音数据,所述数字人标识用于表征用户选择的数字人形象和语音特征;确定所述语音数据对应的用户身份信息,以及识别所述语音数据,以获取语音文本;基于所述数字人标识及所述用户身份信息确定数字人与用户的关系;根据所述语音文本确定基础文本;基于所述基础文本及所述关系生成播报文本;基于所述数字人标识对应的语音特征和形象数据,以及所述播报文本生成数字人数据;将所述数字人数据发送至所述显示设备,以使所述显示设备根据所述数字人数据播放数字人的图像及语音。本申请实施例通过获取说话人身份信息和数字人信息,确定当前说话人和使用的数字人的关联关系,从而生成趣味播报,使语音交互更人性化和智能化。

本文档来自技高网...

【技术保护点】

1.一种服务器,其特征在于,被配置为:

2.根据权利要求1所述的服务器,其特征在于,所述服务器执行确定所述语音数据对应的用户身份信息,被配置为:

3.根据权利要求1所述的服务器,其特征在于,所述服务器执行根据所述语音文本确定基础文本,被配置为:

4.根据权利要求1所述的服务器,其特征在于,所述服务器执行基于所述基础文本及所述关系生成播报文本,被配置为:

5.根据权利要求4所述的服务器,其特征在于,所述拼接位置还包括后置拼接,所述服务器执行基于所述基础文本及所述关系生成播报文本,被配置为:

6.根据权利要求1所述的服务器,其特征在于,所述服务器执行基于所述基础文本及所述关系生成播报文本,被配置为:

7.根据权利要求1所述的服务器,其特征在于,所述服务器执行基于所述基础文本及所述关系生成播报文本,被配置为:

8.根据权利要求1所述的服务器,其特征在于,所述服务器,被配置为:

9.一种显示设备,其特征在于,包括:

10.一种数字人交互方法,其特征在于,包括:

【技术特征摘要】

1.一种服务器,其特征在于,被配置为:

2.根据权利要求1所述的服务器,其特征在于,所述服务器执行确定所述语音数据对应的用户身份信息,被配置为:

3.根据权利要求1所述的服务器,其特征在于,所述服务器执行根据所述语音文本确定基础文本,被配置为:

4.根据权利要求1所述的服务器,其特征在于,所述服务器执行基于所述基础文本及所述关系生成播报文本,被配置为:

5.根据权利要求4所述的服务器,其特征在于,所述拼接位置还包括后置拼接,所述服务器...

【专利技术属性】
技术研发人员:冯瑞平
申请(专利权)人:海信视像科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1