一种信息检索方法及装置制造方法及图纸

本发明专利技术涉及一种信息检索方法及装置，方法包括：获取各模态数据，得到多模态数据集；对多模态数据集中的数据根据数据类型进行特征提取，将得到的特征向量融合，构建循环神经网络模型，通过特征向量对循环神经网络模型进行训练；通过循环神经网络模型对多模态数据进行多模态语义解析；将不同模态数据的语义表示映射到知识图谱的实体和关系上，实现跨模态的语义关联，对跨模态数据进行语义推理和关联；对实体和关系使用图数据库或知识图谱存储引擎进行图谱构建和查询。本发明专利技术方法能够将不同模态的数据进行综合，形成一体化的知识表示，使得知识图谱能够提供更全面、准确的知识服务，支持更精确的查询和应用服务。持更精确的查询和应用服务。持更精确的查询和应用服务。

【技术实现步骤摘要】
一种信息检索方法及装置


[0001]本专利技术涉及一种信息检索方法及装置，属于知识图谱


技术介绍

[0002]传统的基于文本模态的知识图谱已经无法满足现代社会的需求。多模态知识图谱系统，能够有效整合多种媒体数据，并提供跨模态的语义分析和关联，对于提升数据管理效率有重要意义。
[0003]如申请号为CN202211367866.7的专利公开了一种基于知识图谱的搜索系统，该系统根据目标用户预设值的实体标签信息，在用户输入实体信息后检索出相应多个实体信息，该系统存在数据类型单一，信息匮乏，泛化能力弱的问题，无法提供更准确、丰富的知识服务，难以挖掘实体间隐含关系。
[0004]在多模态知识图谱系统中，整合来自不同模态的数据是要点之一，如文本数据、图像数据、声音数据、视频数据等。多模态知识图谱系统需要能够自动从这些不同媒体和模态中获取数据，并将其整合到一个统一的知识图谱中。
[0005]另一个关键的问题是如何进行深度模态分析和特征提取，如图像数据和声音数据中包含着丰富的信息。
[0006]跨模态的语义关联和推理也是多模态知识图谱系统的关键问题之一。不同模态的数据之间存在着丰富的语义关系。多模态知识图谱系统需要能够在知识图谱中建立这些跨模态的语义关联，以提供更准确和全面的知识查询和应用服务。

技术实现思路

[0007]为了克服上述问题，本专利技术提供一种信息检索方法装置，该方法能够将不同模态的数据进行综合，形成一体化的知识表示。通过整合图像、声音、文本等多种数据类型，可以建立更全面、多维的知识图谱，涵盖了丰富的信息和语义关联。这种综合性和一体化的设计使得知识图谱能够提供更全面、准确的知识服务，支持更精确的查询和应用服务。
[0008]本专利技术的技术方案如下：
[0009]第一方面
[0010]一种信息检索方法，包括：
[0011]获取各模态数据，得到多模态数据集；
[0012]深度模态分析与特征提取，对所述多模态数据集中的数据根据数据类型进行特征提取，将得到的特征向量融合，构建循环神经网络模型，通过所述特征向量对所述循环神经网络模型进行训练；
[0013]通过所述循环神经网络模型对多模态数据进行多模态语义解析，得到不同模态数据的语义表示；
[0014]将不同模态数据的所述语义表示映射到知识图谱的实体和关系上，实现跨模态的语义关联，对跨模态数据进行语义推理和关联；
[0015]对所述实体和所述关系使用图数据库或知识图谱存储引擎进行图谱构建和查询，定期更新和维数数据，处理新增数据和变更数据。
[0016]进一步的，还包括对所述多模态数据集中数据的预处理，对所述多模态数据集中数据模态为图像的数据预处理包括直方图均衡化，具体为：
[0017]将图像转换为灰度图像；
[0018]计算灰度图像的直方图，统计每个灰度级别的像素数量；
[0019]计算灰度图像的累积直方图，将所述直方图的值进行累积求和；
[0020]根据累积直方图进行像素值映射，计算新的像素值，公式如下：
[0021]NewPixel＝round((L
‑
1)*CumulativeHist[OriginalPixel]/(ImageWidth*ImageHeight))；
[0022]其中，NewPixel为映射后的像素值，OriginalPixel为原始图像的像素值，L为灰度级别数量，CumulativeHist[]为累计直方图，ImageWidth为图像宽度，ImageHeight为图像高度，round()为取整函数；
[0023]根据映射后新的像素值重构图像，将新的像素值替换原始图像中的对应像素值。
[0024]进一步的，对数据模态为图像的数据预处理还包括图像去噪，具体为：
[0025]通过中值滤波、或高斯滤波算法对重构后的图像进行去噪处理。
[0026]进一步的，对数据模态为图像的数据预处理还包括图像尺寸调整，具体为：
[0027]确定需求图像的尺寸大小；
[0028]通过最近邻差值或双线性插值算法对去噪后的图像进行尺寸调整。
[0029]进一步的，还包括对所述多模态数据集中数据的预处理，对所述多模态数据集中数据模态为音频的数据进行以下预处理：
[0030]将音频信号分成若干短时间窗口；
[0031]对各所述短时间窗口应用傅里叶变换，得到频谱表示，变换公式如下：
[0032][0033]其中，X(t,f)为在时间t和频率f处的频谱表示，x(n)为音频信号中的样本值，w(n
‑
t)为窗函数，用于限制样本的时间范围，j为虚数单位，e为自然常数，F为采样频率，n为离散时间点的索引，N为窗函数的长度。
[0034]进一步的，还包括对所述多模态数据集中数据的预处理，对所述多模态数据集中数据模态为文本的数据进行以下预处理：
[0035]通过文本处理工具，去除特殊字符，通过停用词列表，去除停用词；
[0036]通过预设规则将文本划分为单个的词语或单词，通过概率模型或统计方法，对文本进行分词；
[0037]词向量表示，通过神经网络模型将每个词映射为高维空间中的向量表示。
[0038]进一步的，对所述多模态数据集中的数据根据数据类型进行特征提取，将得到的特征向量融合包括：
[0039]对于图像数据，使用卷积神经网络进行特征提取，对于文本数据，使用循环神经网络进行特征提取，对于音频数据，使用循环神经网络进行声学特征提取；
[0040]将不同模态的特征进行融合，获取多模态数据的联合表示，包括：
[0041]为不同模态的特征分配不同的权重，公式如下：
[0042]X1
weighted
＝X1*w1；
[0043]X2
weighted
＝X2*w2；
[0044]其中，X1
weighted
、X2
weighted
分别为特征向量X1和X2加权后的特征向量，w1、w2分别为特征向量X1、X2所属模态的特征权重；
[0045]对加权后的特征向量进行求和，公式如下：
[0046]X
fused
＝X1
weighted
+X2
weighted
；
[0047]其中，X
fused
为融合后的特征向量。
[0048]进一步的，构建循环神经网络模型，通过所述特征向量对所述循环神经网络模型进行训练具体为：
[0049]将多模态数据集中的数据划分为训练集、验证集和测试集；
[0050]定义循环神经网络模型，使用循环神经网络模型对多模态数据进行建模，通过多个并行的循环神经网络分别处理融合后的特征向量的不同模态的信息，并输出：
[0051]h
t
＝RNN(x
t<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息检索方法，其特征在于，包括：获取各模态数据，得到多模态数据集；对所述多模态数据集中的数据根据数据类型进行特征提取，将得到的特征向量融合，构建循环神经网络模型，通过所述特征向量对所述循环神经网络模型进行训练；通过所述循环神经网络模型对多模态数据进行多模态语义解析，得到不同模态数据的语义表示；将不同模态数据的所述语义表示映射到知识图谱的实体和关系上，实现跨模态的语义关联，对跨模态数据进行语义推理和关联；对所述实体和所述关系使用图数据库或知识图谱存储引擎进行图谱构建和查询，定期更新和维数数据，处理新增数据和变更数据。2.根据权利要求1所述信息检索方法，其特征在于，还包括对所述多模态数据集中数据的预处理，对所述多模态数据集中数据模态为图像的数据预处理包括直方图均衡化，具体为：将图像转换为灰度图像；计算灰度图像的直方图，统计每个灰度级别的像素数量；计算灰度图像的累积直方图，将所述直方图的值进行累积求和；根据累积直方图进行像素值映射，计算新的像素值，公式如下：NewPixel＝round((L
‑
1)*CumulativeHist[OriginalPixel]/(ImageWidth*ImageHeight))；其中，NewPixel为映射后的像素值，OriginalPixel为原始图像的像素值，L为灰度级别数量，CumulativeHist[]为累计直方图，ImageWidth为图像宽度，ImageHeight为图像高度，round()为取整函数；根据映射后新的像素值重构图像，将新的像素值替换原始图像中的对应像素值。3.根据权利要求2所述信息检索方法，其特征在于，对数据模态为图像的数据预处理还包括图像去噪，具体为：通过中值滤波、或高斯滤波算法对重构后的图像进行去噪处理。4.根据权利要求3所述信息检索方法，其特征在于，对数据模态为图像的数据预处理还包括图像尺寸调整，具体为：确定需求图像的尺寸大小；通过最近邻差值或双线性插值算法对去噪后的图像进行尺寸调整。5.根据权利要求1所述信息检索方法，其特征在于，还包括对所述多模态数据集中数据的预处理，对所述多模态数据集中数据模态为音频的数据进行以下预处理：将音频信号分成若干短时间窗口；对各所述短时间窗口应用傅里叶变换，得到频谱表示，变换公式如下：其中，X(t,f)为在时间t和频率f处的频谱表示，x(n)为音频信号中的样本值，w(n
‑
t)为窗函数，用于限制样本的时间范围，j为虚数单位，e为自然常数，F为采样频率，n为离散时间点的索引，N为窗函数的长度。
6.根据权利要求1所述信息检索方法，其特征在于，还包括对所述多模态数据集中数据的预处理，对所述多模态数据及中数据模态为文本的数据进行以下预处理：通过文本处理工具，去除特殊字符，通过停用词列表，去除停用词；通过预设规则将文本划分为单个的词语或单词，通过概率模型或统计方法，对文本进行分词；词向量表示，通过神经网络模型将每个词映射为高维空间中的向量表示。7.根据权利要求1所述信息检索方法，其特征在于，对所述多模态数据集中的数据根据数据类型进行特征提取，将得到的特征向量融合包括：对于图像数据，使用卷积神经网络进行特征提取，对于文本数据，使用循环神经网络进行特征提取，对于音频数据，使用循环神经网络进行声学特征提取；将不同模态的特征进行融合，获取多模态数据的联合表示，包括：为不同模态的特征分配不同的权重，公式如下：X1
weighted
＝X1*w1；X2
weighted
＝X2*w2；其中，X1
weighted
、X2
weighted
分别为特征向量X1和X2加权后的特征向量，w1、w2分别为特征向量X1、X2所属模态的特征权重；对加权后的特征向量进行求和，公式如下：X
fused
＝X1
weighted
+X2
weighted
；其中，X
fused
为融合后的特征向量。8.根据权利要求7所述信息检索方法，其特征在于，构建循环神经网络模型，通过所述特征向量对所述循环神经网络模型进行训练具体为：将多模态数据集中的数据划分为训练集、验证集和测试集；定义循环神经网络模型，使用循环神经网络模型对多模态数据进行建模，通过多个并行的循环神经网络分别处理融合后的特征向量的不同模态的信息，并输出：h
t
＝RNN(X
fused
，h
{t
‑
1}
)；其中，h
t
表示循环神经网络模型在时间步t的隐含信息，h
{t
‑
1}

【专利技术属性】
技术研发人员：林钊，庄莉，梁懿，王秋琳，邱镇，卢大玮，张晓东，王燕蓉，陈江海，靳丹，
申请(专利权)人：国网信息通信产业集团有限公司国网甘肃省电力公司白银供电公司，
类型：发明
国别省市：