多模态信息交互方法、装置、智能体、设备和介质制造方法及图纸

技术编号:45438863 阅读:17 留言:0更新日期:2025-06-04 19:20
本公开提供了一种多模态信息交互方法、装置、智能体、电子设备和存储介质,涉及人工智能技术领域,尤其涉及大模型、人机交互技术领域。具体实现方案为:对来自终端的媒体资源请求进行意图识别,得到意图识别结果,其中,意图识别结果表征媒体资源请求是否命中预定处理方式;响应于媒体资源请求命中预定处理方式,调用第一多模态处理模块确定与媒体资源请求对应的媒体资源地址;调用第二多模态处理模块针对媒体资源地址中的媒体资源进行渲染,并将渲染得到的媒体流输出给终端。

【技术实现步骤摘要】

本公开涉及人工智能,尤其涉及大模型、人机交互。更具体地,本公开提供了一种多模态信息交互方法、装置、智能体、电子设备、存储介质以及计算机程序产品。


技术介绍

1、随着大模型、智能体应用的逐步普及,人们对智能体的多模态交互需求愈来愈强。然而,当前智能体普遍还是采用语音、文字的交互方式,其它媒体格式则通过提供链接的方式输出。


技术实现思路

1、本公开提供了一种多模态信息交互方法、装置、智能体、电子设备、存储介质以及计算机程序产品。

2、根据第一方面,提供了一种多模态信息交互方法,该方法包括:对来自终端的媒体资源请求进行意图识别,得到意图识别结果,其中,意图识别结果表征媒体资源请求是否命中预定处理方式;响应于媒体资源请求命中预定处理方式,调用第一多模态处理模块确定与媒体资源请求对应的媒体资源地址;调用第二多模态处理模块针对媒体资源地址中的媒体资源进行渲染,并将渲染得到的媒体流输出给终端。

3、根据第二方面,提供了一种智能体,该智能体被配置为执行上述多模态信息交互方法。>

4、根据第三本文档来自技高网...

【技术保护点】

1.一种多模态信息交互方法,包括:

2.根据权利要求1所述的方法,其中,所述调用第二多模态处理模块针对所述媒体资源地址中的媒体资源进行渲染包括:调用第二多模态处理模块执行以下操作:

3.根据权利要求2所述的方法,还包括:

4.根据权利要求1所述的方法,其中,所述意图识别结果还表征所述媒体资源请求的处理类型;所述响应于所述媒体资源请求命中预定处理方式,调用第一多模态处理模块确定与所述媒体资源请求对应的媒体资源地址包括:调用第二多模态处理模块执行以下操作中的之一:

5.根据权利要求1所述的方法,还包括:

6.根据权利要求5所述的方法...

【技术特征摘要】

1.一种多模态信息交互方法,包括:

2.根据权利要求1所述的方法,其中,所述调用第二多模态处理模块针对所述媒体资源地址中的媒体资源进行渲染包括:调用第二多模态处理模块执行以下操作:

3.根据权利要求2所述的方法,还包括:

4.根据权利要求1所述的方法,其中,所述意图识别结果还表征所述媒体资源请求的处理类型;所述响应于所述媒体资源请求命中预定处理方式,调用第一多模态处理模块确定与所述媒体资源请求对应的媒体资源地址包括:调用第二多模态处理模块执行以下操作中的之一:

5.根据权利要求1所述的方法,还包括:

6.根据权利要求5...

【专利技术属性】
技术研发人员:舒志强柯于刚董红柏
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1