【技术实现步骤摘要】
本公开涉及深度学习，具体涉及一种客服应用场景下的多模态问题回答方法和装置。
技术介绍
1、因为大语言模型可以较好的理解用户提问的语义和意图，为提高诸如智能客户系统等问题回答系统回答的准确率和用户体验，大语言模型被部署到问题回答系统中。但是现有的问题回答系统采用诸如bert、gpt等大语言模型，其基于文本对话方式，仅能处理文本或者音频转文本数据，无法处理图像数据。
2、而实际应用中，用户具有向问题回答系统展示照片、视频的方式说明问题和需求。单纯依赖文本处理的问题回答系统无法满足用户自然和直观交互的期望。
技术实现思路
1、为解决现有的问题回答系统单纯依赖文本处理的问题回答系统无法满足用户自然和直观交互的期望的问题，本公开实施例提供一种新的客服应用场景下的多模态问题回答方法和装置。
2、第一方面，本公开实施例提供一种客服应用场景下的多模态问题回答方法，包括：
3、获取用户输入的多模态问题，所述多模态问题包括影像模态数据和非影像模态数据，所述非影像模态数据为文...
【技术保护点】
1.一种客服应用场景下的多模态问题回答方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述影像模态数据包括视频数据；
3.根据权利要求2所述的方法，其特征在于，所述确定所述视频数据中关键视频帧，包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，在将所述映射语义向量和所述文本输入数据输入到预训练的大语言处理模型中之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述映射语义向量、所述文本输入数据和所述召回知识数据输入到所述大语言处理模型中，得到所述针对所述多模态问题的回答
...【技术特征摘要】
1.一种客服应用场景下的多模态问题回答方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述影像模态数据包括视频数据；
3.根据权利要求2所述的方法，其特征在于，所述确定所述视频数据中关键视频帧，包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，在将所述映射语义向量和所述文本输入数据输入到预训练的大语言处理模型中之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述映射语义向量、所述文本输入数据和所述召回知识数据输入到所述大语言处理模型中，得到所述针对所述多模态问题的回答结果，包括：
6.根据权利要求1-3任一项所述的方法，其特...
【专利技术属性】
技术研发人员：程龙，陈驰宇，王许超，王仿，
申请(专利权)人：北京智谱华章科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。