【技术实现步骤摘要】
本申请涉及数据处理，具体涉及基于多模态数据的智能数据分析方法。
技术介绍
1、多模态数据指的是多种模态的信息数据，包括文本数据、图像数据、音频数据等等，多模态数据之间能够进行不同维度的信息互补，而多模态数据的融合可以进一步提升数据分析的准确性。
2、多模态数据的融合过程需要对不同模态的数据进行信息融合，例如，图像数据能够提高视觉信息、视觉特征，而文字数据能够提高文本信息、文本特征，将文本数据和图像数据进行多模态融合可以更好的理解、利用数据，使得数据分析的结果更符合分析对象的真实情况。但是由于文本数据和图像数据表示的语义上下文信息存在语义密度不一致的问题，导致两个模态的数据融合结果表示效果不佳，从而影响文本数据、图像数据进行数据融合结果的可靠性和有效性。
技术实现思路
1、本申请提供基于多模态数据的智能数据分析方法，以解决文本数据和图像数据表示的语义上下文信息存在语义密度不一致导致多模态数据融合效果较差的问题，所采用的技术方案具体如下：
2、本申请一个实施例提供了基于多模态数据的智能数据分析方法，该方法包括以下步骤：
3、分别从不同数据源获取文本数据、图像数据；
4、采用聚类算法分别基于词语的词向量、目标区域构成的无向图获取词向量、目标区域的聚类结果；基于每个目标区域在识别模型中对应的类别标签确定每个目标区域的单模态数据描述子；
5、基于聚类结果中每个聚类簇内不同元素在每个聚类簇的语义非负矩阵分解所得投影矩阵中投影结果之间差
6、基于两个两种模态下聚类簇中元素之间的上下文语义信息相似度以及元素之间的公共语义基相似度确定每个词语与每个目标区域之间的双模语义可拓展重叠度；
7、基于两个两种模态下聚类簇中元素在不同模态下的一致性矩阵上投影结果的差异性以及元素之间对应的双模语义可拓展重叠度确定每个词语与每个目标区域之间的模态上下文融合性；
8、根据每个词语与所有目标区域聚类簇中不同目标区域之间的模态上下文融合性以及语义信息的可融合性确定每个词语的融合筛选权重；
9、基于每个文本数据序列中每个词语的融合筛选权重以及每个词语的语义共基偏差稳定度确定每个文本数据序列的融合分割上限值；
10、采用多模态融合模型基于每个文本数据序列的融合分割上限值获取每个文本数据序列对应的数据融合结果。
11、优选的，所述采用聚类算法分别基于词语的词向量、目标区域构成的无向图获取词向量、目标区域的聚类结果的方法为：
12、将每个原始文本数据依次经过分词、去停用词处理后得到词语组成的序列作为一个文本数据序列；将所有文本数据序列作为elmo模型的输入，利用elmo模型得到每个文本数据序列中每个词语的词向量；
13、将所有文本数据序列中词语的词向量均作为图中的一个节点，将两个词向量之间的余弦相似度作为对应两个节点之间的相似性度量结果，将由所有词语的词向量构成的图作为输入，采用ap聚类算法获取词向量的聚类结果；
14、将每个图像数据的去噪结果作为一幅干净图像数据，利用cnn识别模型获取每幅干净图像数据中每个目标区域以及每个目标区域的预设数量个类别标签；
15、将每个目标区域均作为图中的一个节点，将两个目标区域之间的结构相似性作为对应两个节点之间的相似性度量结果，将由所有目标区域构成的图作为输入，采用ap聚类算法获取目标区域的聚类结果。
16、优选的，所述基于每个目标区域在识别模型中对应的类别标签确定每个目标区域的单模态数据描述子的方法为：
17、将每个目标区域的预设数量个类别标签对应的类别描述数据作为word2vec模型的输入，利用word2vec模型获取每个类别标签的词向量，将每个目标区域的预设数量个类别标签的词向量按照类别标签置信度降序顺序组成的向量作为每个目标区域的单模态数据描述子。
18、优选的，所述基于聚类结果中每个聚类簇内不同元素在每个聚类簇的语义非负矩阵分解所得投影矩阵中投影结果之间差异确定每个元素的公共语义基相似度的方法为：
19、基于每个聚类簇中所有元素获取每个聚类簇的语义非负矩阵分解所得的一致性矩阵和一个投影矩阵；
20、将任意一个聚类簇中每个元素与每个元素在所述聚类簇的语义非负矩阵分解结果中投影矩阵上投影结果之间的皮尔逊相关系数作为每个元素对应的内涵语义相似度；
21、将每个元素的内涵语义相似度与每个元素所在聚类簇中所有元素对应的内涵语义相似度最小值的差值作为分子；
22、将每个元素与其所在聚类簇内其余元素在所述聚类簇的语义非负矩阵分解结果中投影矩阵上投影结果之间位方差在所有所述其余元素上的累加结果与0.01的和作为分母；
23、将分子与分母的比值作为每个元素的公共语义基相似度。
24、优选的，所述基于每个聚类簇中所有元素获取每个聚类簇的语义非负矩阵分解所得的一致性矩阵和一个投影矩阵的方法为：
25、对于任意一个词向量的聚类簇，将每个聚类簇中每个词向量作为矩阵中的一个行向量，将每个聚类簇内所有词向量组成的矩阵作为每个聚类簇的语义非负矩阵；
26、对于任意一个目标区域的聚类簇，将每个聚类簇中每个目标区域的单模态数据描述子作为矩阵中的一个行向量，将每个聚类簇内所有目标区域的单模态数据描述子组成的矩阵作为每个聚类簇的语义非负矩阵；
27、对于任意一个聚类簇，将每个聚类簇的语义非负矩阵作为输入，采用nmf算法将所述语义非负矩阵分解为一个一致性矩阵和一个投影矩阵相乘的结果。
28、优选的，所述基于两个两种模态下聚类簇中元素之间的上下文语义信息相似度以及元素之间的公共语义基相似度确定每个词语与每个目标区域之间的双模语义可拓展重叠度的方法为：
29、计算每个词语的词向量所在语义非负矩阵的一致性矩阵与每个目标区域的单模态数据描述子所在语义非负矩阵的一致性矩阵之间的杰卡德系数；将每个词语的词向量与每个目标区域的单模态数据描述子之间的余弦相似度与所述杰卡德系数之间的乘积作为分子；
30、将每个词语的公共语义基相似度与每个目标区域的公共语义基相似度之间差值的绝对值与0.01的和作为分母；
31、将分子与分母的比值作为每个词语与每个目标区域之间的双模语义可拓展重叠度。
32、优选的，所述基于两个两种模态下聚类簇中元素在不同模态下的一致性矩阵上投影结果的差异性以及元素之间对应的双模语义可拓展重叠度确定每个词语与每个目标区域之间的模态上下文融合性的方法为：
33、
34、式中，是第i个词语与第j个目标区域之间的模态上下文融合性，n是第i个词语的词向量所在聚类簇中词向量的数量，n是除第i个词语的词向量之外第n个词向量，m是第j个目标区域的单模态数据描述子所在聚类簇中单模态数据描述子的数量，m是除第j个目标区域的单模态数据描述子本文档来自技高网...
【技术保护点】
1.基于多模态数据的智能数据分析方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述采用聚类算法分别基于词语的词向量、目标区域构成的无向图获取词向量、目标区域的聚类结果的方法为：
3.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述基于每个目标区域在识别模型中对应的类别标签确定每个目标区域的单模态数据描述子的方法为：
4.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述基于聚类结果中每个聚类簇内不同元素在每个聚类簇的语义非负矩阵分解所得投影矩阵中投影结果之间差异确定每个元素的公共语义基相似度的方法为：
5.根据权利要求4所述基于多模态数据的智能数据分析方法，其特征在于，所述基于每个聚类簇中所有元素获取每个聚类簇的语义非负矩阵分解所得的一致性矩阵和一个投影矩阵的方法为：
6.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述基于两个两种模态下聚类簇中元素之间的上下文语义信息相似度以及元素之间的公共语义基相似
7.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述基于两个两种模态下聚类簇中元素在不同模态下的一致性矩阵上投影结果的差异性以及元素之间对应的双模语义可拓展重叠度确定每个词语与每个目标区域之间的模态上下文融合性的方法为：
8.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述根据每个词语与所有目标区域聚类簇中不同目标区域之间的模态上下文融合性以及语义信息的可融合性确定每个词语的融合筛选权重的方法为：
9.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述基于每个文本数据序列中每个词语的融合筛选权重以及每个词语的语义共基偏差稳定度确定每个文本数据序列的融合分割上限值的方法为：
10.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述采用多模态融合模型基于每个文本数据序列的融合分割上限值获取每个文本数据序列对应的数据融合结果的方法为：
...【技术特征摘要】
1.基于多模态数据的智能数据分析方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述采用聚类算法分别基于词语的词向量、目标区域构成的无向图获取词向量、目标区域的聚类结果的方法为：
3.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述基于每个目标区域在识别模型中对应的类别标签确定每个目标区域的单模态数据描述子的方法为：
4.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述基于聚类结果中每个聚类簇内不同元素在每个聚类簇的语义非负矩阵分解所得投影矩阵中投影结果之间差异确定每个元素的公共语义基相似度的方法为：
5.根据权利要求4所述基于多模态数据的智能数据分析方法，其特征在于，所述基于每个聚类簇中所有元素获取每个聚类簇的语义非负矩阵分解所得的一致性矩阵和一个投影矩阵的方法为：
6.根据权利要求1所述基于多模态数据的智能数据分析方法，其特征在于，所述基于两个两种模态下聚类簇中元素之间的上下文语义信息相...
【专利技术属性】
技术研发人员：刘义辉，
申请(专利权)人：北京尚博信科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。