【技术实现步骤摘要】
本申请涉及互联网，尤其涉及一种搜索推荐方法、装置、电子设备及可读存储介质。
技术介绍
1、无论是网络购物、新闻阅读，还是视频观看，都会出现搜索推荐系统的身影，并且随着时代的不断发展，人们需要更加便利的搜索系统，即使输入的是一张图片或一段音频，搜索系统也可以找到人们想到的信息和数据。目前搜索系统中使用较广泛的为多模态大语言模型，它可以处理多模态如文本、图像、音频等的输入和输出，在人机交互、内容生成、知识获取等方面具有广泛前景。
2、但是现有的多模态大语言模型无法有效的适应多种多模态的理解和生成任务，需要为每种任务设计和训练一种专门的模型，导致了当前模型的通用性低的问题。
技术实现思路
1、有鉴于此，本申请实施例提供了一种搜索推荐方法、装置、电子设备及可读存储介质，以解决现有技术中多模态大语言模型通用性差的问题。
2、本申请实施例的第一方面，提供了一种搜索推荐方法，包括：
3、获取目标搜索信息，目标搜索信息包括文本模态、图像模态和音频模态中至少两种模态的搜索信息；
4、将目标搜索信息输入至搜索推荐模型中，得到搜索推荐模型输出的至少一个推荐信息；
5、根据至少一个推荐信息和预设的推荐规则，确定推荐结果；
6、其中，搜索推荐模型包括模态交互模块和模态输出模块；模态交互模块用于通过每种模态对应的嵌入矩阵，对每种模态的搜索信息所对应的标记序列进行映射，得到每种模态的搜索信息所对应的嵌入向量，并通过预先学习的联合嵌入空间，对
7、本申请实施例的第二方面，提供了一种搜索推荐装置，包括：
8、获取模块，用于获取目标搜索信息，目标搜索信息包括文本模态、图像模态和音频模态中至少两种模态的搜索信息；
9、处理模块，用于将目标搜索信息输入至搜索推荐模型中，得到搜索推荐模型输出的至少一个推荐信息，其中，搜索推荐模型包括模态交互模块和模态输出模块；模态交互模块用于通过每种模态对应的嵌入矩阵，对每种模态的搜索信息所对应的标记序列进行映射，得到每种模态的搜索信息所对应的嵌入向量，并通过预先学习的联合嵌入空间，对全部模态对应的嵌入向量进行融合，生成联合嵌入向量；模态输出模块用于基于联合嵌入向量输出至少一个推荐信息；
10、确定模块，用于根据至少一个推荐信息和预设的推荐规则，确定推荐结果。
11、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
12、本申请实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
13、本申请实施例的有益效果至少包括：
14、通过获取目标搜索信息，目标搜索信息包括文本模态、图像模态和音频模态中至少两种模态的搜索信息；目标搜索信息包含了用户在查找信息时的要求和内容。将目标搜索信息输入至搜索推荐模型中，得到搜索推荐模型输出的至少一个推荐信息，其中，搜索推荐模型包括模态交互模块和模态输出模块，这些模块能够有效的对目标搜索信息进行识别和理解，并根据目标搜索信息向用户提供推荐信息。此外，通过每种模态对应的嵌入矩阵，对每种模态的搜索信息所对应的标记序列进行映射，得到每种模态的搜索信息所对应的嵌入向量，并通过预先学习的联合嵌入空间，对全部模态对应的嵌入向量进行融合，生成联合嵌入向量，使得多种不同模态的信息可以通过联合嵌入空间进行相互的融合，不再需要对每种模态进行针对性的设计和训练，提高了模型的灵活性和通用性，解决了当前多模态大语言模型通用性差的问题。模态输出模块会基于联合嵌入向量输出至少一个推荐信息；这些推荐信息是根据用户输入的目标搜索信息得到的，因此可以符合用户的搜索要求和需求内容。根据至少一个推荐信息和预设的推荐规则，确定推荐结果，可以将符合推荐规则的内容推荐给用户，实现了在保证多模态大语言模型通用性的同时，满足了用户的推荐需求。
本文档来自技高网...【技术保护点】
1.一种搜索推荐方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述搜索推荐模型还包括向量生成模块；所述模态输出模块包括多模态文本大语言模型单元和向量解析单元；
3.根据权利要求2所述的方法，其特征在于，所述向量生成模块包括文本模态编码子模块、图像模态编码子模块和音频模态编码子模块；
4.根据权利要求2所述的方法，其特征在于，所述向量解析单元包括文本模态解码单元、图像模态解码单元和音频模态解码单元；
5.根据权利要求2所述的方法，其特征在于，所述将所述目标搜索信息输入至搜索推荐模型中，得到所述搜索推荐模型输出的至少一个推荐信息之前，还包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述不同模态的样本搜索信息输入至待训练的搜索推荐模型中，得到所述搜索推荐模型输出的推荐信息生成结果，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个推荐信息和预设的推荐规则，确定推荐结果，包括：
8.一种搜索推荐装置，其特征在于，包括：
9.一种电子设备，包括
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种搜索推荐方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述搜索推荐模型还包括向量生成模块；所述模态输出模块包括多模态文本大语言模型单元和向量解析单元；
3.根据权利要求2所述的方法，其特征在于，所述向量生成模块包括文本模态编码子模块、图像模态编码子模块和音频模态编码子模块；
4.根据权利要求2所述的方法，其特征在于，所述向量解析单元包括文本模态解码单元、图像模态解码单元和音频模态解码单元；
5.根据权利要求2所述的方法，其特征在于，所述将所述目标搜索信息输入至搜索推荐模型中，得到所述搜索推荐模型输出的至少一个推荐信息之前，还包括：
6.根据权利要求5所述的方法...
【专利技术属性】
技术研发人员：杜梦雪，袁子涵，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。