【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种多模态信息搜索的方法、系统、存储介质及电子设备。
技术介绍
1、在大数据的时代背景下，人们可以从不同的媒体和来源访问各种信息。但是，这种信息的多样性使得信息检索和组织变得更加复杂。信息的特点为新、快、准。信息形式多模态化，有文本、视频、音频、图片等形式展现。多模态信息数据下检索具有关联度低、价值度低，且价值度和时效性冲突的问题。
技术实现思路
1、有鉴于此，本公开的目的在于提出一种多模态信息搜索的方法、系统、电子设备及存储介质，解决在检索多模态信息时，检索结果关联度低、价值度和时效性冲突的问题。
2、为了实现上述公开目的之一，本公开提供了一种多模态信息搜索的方法，所述方法包括：
3、获取多模态信息，确定所述多模态信息的分布情况和所述多模态信息的分类情况；
4、根据所述分布情况和所述分类情况，生成所述多模态信息的结构化关系，将所述结构化关系引接至搜索引擎中；
5、根据所述多模态信息的文本信息，构建所述多模态信息的倒排索引；
6、接收检索关键词，利用所述搜索引擎中的所述倒排索引，检索并得到所述多模态信息中的目标多模态信息，所述目标多模态信息按照第一权重值排序；
7、基于高斯衰减函数模型或用户偏好模型计算每个目标多模态信息的第二权重值；
8、将每个目标多模态信息对应的第一权重值和第二权重值相加得到每个目标多模态信息的最终权重，并按照最终权重的大小对所述目标多模态信息重新排序，
9、作为本公开一实施方式的进一步改进，所述基于高斯衰减函数模型或用户偏好模型计算所述目标多模态信息的第二权重值，包括：基于所述高斯衰减函数模型，选取衰减参数，当所述衰减参数为一维数据时，所述高斯衰减函数模型中，高斯分布遵从概率密度函数：
10、
11、其中x为所述衰减参数，μ为特征向量的均值，σ为特征向量的标准差；
12、当所述衰减函数为多维数据时，所述高斯衰减函数中，高斯分布遵从概率密度函数：
13、
14、其中，σ为协方差，d为数据维度，t表示转置；
15、高斯衰减函数为：
16、s(·f)ds＝∫cf·ds；
17、其中，s表示闭合曲线所围成的区域，c表示闭合曲线，f表示向量场，·f表示向量场f的散度，ds表示曲面上的面积元素，ds表示曲线上的长度元素。
18、作为本公开一实施方式的进一步改进，所述衰减参数为检索时间；或所述衰减参数为搜索位置的经纬度。
19、作为本公开一实施方式的进一步改进，所述基于高斯衰减函数模型或用户偏好模型计算所述目标多模态信息的第二权重值；包括：基于用户偏好模型，计算用户偏好量；根据所述用户偏好量，计算所述目标多模态信息的第二权重值。
20、作为本公开一实施方式的进一步改进，所述基于用户偏好模型，计算用户偏好量；包括：计算提前i天的历史用户偏好：
21、
22、
23、其中，si为第i天的用户偏好记录总数；pihp是第i天第hp条记录中第j个概念的偏好值；hl为偏好记录对总和偏好的影响力的衰减周期；计算n天内的历史用户偏好：
24、
25、
26、计算会话用户偏好：
27、
28、
29、s为当前会话用户偏好向量总数，pihp是第hp个偏好向量中第i个概念的偏好值；合并历史用户偏好和会话用户偏好，用户偏好向量为：
30、p＝α×phistory+β×pses；
31、其中0≤α，β≤1，α+β＝1；且
32、作为本公开一实施方式的进一步改进，所述根据所述用户偏好量，计算所述目标多模态信息的第二权重值；包括：
33、计算所述第二权重值的公式为：
34、ii＝wi+(m-i)；
35、其中，m为检索总数；i为检索返回的第i个结果；
36、
37、其中，pij为当前的用户偏好向量p中多模态信息之一对应的元素值；wi为用户对多模态信息的偏好之和。
38、作为本公开一实施方式的进一步改进，所述根据所述多模态信息的文本信息，构建所述多模态信息的倒排索引；包括：扫描所述文本信息中的词语，每个词语建立一个词语索引，所述词语索引包括所述词语在所述文本信息中的出现次数和出现位置。
39、基于相同的专利技术构思，本公开还提供了一种多模态信息搜索的系统，包括：
40、获取模块，用于获取多模态信息，确定所述多模态信息的分布情况和所述多模态信息的分类情况；生成模块，用于根据所述分布情况和所述分类情况，生成所述多模态信息的结构化关系，将所述结构化关系引接至搜索引擎中；构建模块，用于根据所述多模态信息的文本信息，构建所述多模态信息的倒排索引；第一排序模块，用于接收检索关键词，利用所述搜索引擎中的所述倒排索引，检索并得到所述多模态信息中的目标多模态信息，所述目标多模态信息按照第一权重值排序；计算模块，用于基于高斯衰减函数模型或用户偏好模型计算每个目标多模态信息的第二权重值；第二排序模块，用于将每个目标多模态信息对应的第一权重值和第二权重值相加得到每个目标多模态信息的最终权重，并按照最终权重的大小对所述目标多模态信息重新排序，得到检索结果。
41、基于同样的专利技术构思，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述任一所述的多模态信息搜索的方法。
42、基于同样的专利技术构思，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的多模态信息搜索的方法。
43、相对于现有技术，本专利技术的技术效果在于：在不同格式的信息来源之间建立联系，更好的捕捉信息的内容，利用倒排索引和搜索引擎，提高检索的准确性和速度，再使用价值函数对各种属性匹配，计算得到第二权重值，解决了传统信息之间的局限性，使检索结果关联度高、时效性高且价值度高。
本文档来自技高网...【技术保护点】
1.一种多模态信息搜索的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多模态信息搜索的方法，其特征在于，所述基于高斯衰减函数模型或用户偏好模型计算所述目标多模态信息的第二权重值；包括：
3.根据权利要求2所述的多模态信息搜索的方法，其特征在于，所述衰减参数为检索时间；或
4.根据权利要求1所述的多模态信息搜索的方法，其特征在于，所述基于高斯衰减函数模型或用户偏好模型计算所述目标多模态信息的第二权重值；包括：
5.根据权利要求4所述的多模态信息搜索的方法，其特征在于，所述基于用户偏好模型，计算用户偏好量；包括：
6.根据权利要求4所述的多模态信息搜索的方法，其特征在于，所述根据所述用户偏好量，计算所述目标多模态信息的第二权重值；包括：
7.根据权利要求1所述的多模态信息搜索的方法，其特征在于，所述根据所述多模态信息的文本信息，构建所述多模态信息的倒排索引；包括：
8.一种多模态信息搜索的系统，其特征在于，包括：
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可
10.一种电子设备，其特征在于，包括：处理器和存储器；
...【技术特征摘要】
1.一种多模态信息搜索的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多模态信息搜索的方法，其特征在于，所述基于高斯衰减函数模型或用户偏好模型计算所述目标多模态信息的第二权重值；包括：
3.根据权利要求2所述的多模态信息搜索的方法，其特征在于，所述衰减参数为检索时间；或
4.根据权利要求1所述的多模态信息搜索的方法，其特征在于，所述基于高斯衰减函数模型或用户偏好模型计算所述目标多模态信息的第二权重值；包括：
5.根据权利要求4所述的多模态信息搜索的方法，其特征在于，所述基于用户偏好模型，计算用户偏好量；包括：
...【专利技术属性】
技术研发人员：黄宇，孔祥博，
申请(专利权)人：中科世通亨奇北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。