一种多源异构大数据融合与集成系统及方法技术方案

本发明专利技术涉及一种多源异构大数据融合与集成系统，解决的是融合精度差的技术问题，通过采用包括多源异构数据采集单元、多源异构数据预处理传输单元、多源异构数据融合集成单元以及数据存储输出单元的技术方案，较好的解决了该问题，可用于多源异构大数据融合中。可用于多源异构大数据融合中。可用于多源异构大数据融合中。

【技术实现步骤摘要】
一种多源异构大数据融合与集成系统及方法


[0001]本专利技术涉及多源异构数据处理领域，具体涉及一种多源异构大数据融合与集成系统。

技术介绍

[0002]数据融合是将多传感器信息源的数据和信息加以联合、相关及组合，获得更为精确的位置估计及身份估计，从而实现对态势和威胁以及其重要程度实时、完整评价的处理过程。
[0003]现有的多源异构大数据融合存在融合精度差的技术问题，本专利技术提供一种多源异构大数据融合与集成系统，用以解决上述技术问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是现有技术中存在的融合精度差的技术问题。提供一种新的多源异构大数据融合与集成系统，该多源异构大数据融合与集成系统具有融合精度高的特点。
[0005]为解决上述技术问题，采用的技术方案如下：
[0006]一种多源异构大数据融合与集成系统，所述多源异构大数据融合与集成系统包括多源异构数据采集单元、多源异构数据预处理传输单元、多源异构数据融合集成单元以及数据存储输出单元；
[0007]所述多源异构数据预处理传输单元执行包括如下步骤：
[0008]步骤s1，对多源异构数据进行归一化处理，并按时序进行排列存储；
[0009]步骤s2，对同一数据按照时序进行交错采集，交错采集的交错阶数为偶数g；
[0010]步骤s3，更新交错采集阶数g'＝g/2，计更新次数g
g
＝1；
[0011]步骤s4，将步骤s2中交错采集的样本数据矩阵定义为数据，按时序以步骤s3中的交错采集阶数进行采集，得到g个更新样本数据矩阵；判断更新后的g与2的大小，若g大于2则返回执行步骤s3，更新g
g
＝g
g
+1；若g＝2则执行步骤s5；
[0012]步骤s5，将2个更新样本数据矩阵定义为第一更新样本数据矩阵和第二更新样本数据矩阵；
[0013]步骤s6，计算第一更新样本数据矩阵和第二更新样本数据矩阵的高斯卷积函数，计算2位二进制数的高斯函数指数δ＝{00,01,10,11}；计算3位二进制数的高斯卷积特征
[0014]步骤s7，对步骤s6中高斯函数指数进行指数归一化，处理得到指数一致性区间函数
[0015]其中，y是m个第一更新向量或第二更新向量组成的更新矩阵，μ为更新矩阵的均值，δ为更新矩阵的方差；
[0016]步骤s8，计算出dis 1＝{dis 11,dis 21,...dis c1}为第一更新样本数据矩阵内两个特征样本的最短距离集合，将dis i1按照降序进行排列，计算出距离均值其中i1＝1,2,3,...c，dis ic为最短距离；
[0017]步骤s9，计算出dis 2＝[dis 12,dis 22,...dis c2]为第二更新样本数据矩阵内两个特征样本的最短距离集合，将dis i2按照降序进行排列，计算出距离均值其中i2＝1,2,3,...c，dis ic为最短距离；
[0018]步骤s10，计算出距离权值定义权值矩阵为ρ＝[ρ1，ρ2，...,ρ
m
]，权值均值为
[0019]步骤s11，计算出归一化数据的预融合估计函数更新g
g
＝g
g
‑
1，判断g
g
与1的大小，若g
g
值大于1，则返回执行步骤s5，否则将y
rh
输出。
[0020]上述方案中，为优化，进一步地，所述步骤s1包括多源异构数据降维处理，包括：
[0021]步骤ss1，定义多源异构数据为{X
(1)
，X
(2)
,...,X
(H)
}，多源异构数据降维至{K
(1)
，K
(2)
,...,K
(H)
}，预定义参数λ1、λ2和λ3，正整数H为特征种类数，定义高维数据X的投影矩阵P∈K
×
V，V为数据的维数；
[0022]步骤ss2，定义相似度矩阵其中X
(h)
为第h个种类特征的数据集，X
(h)T
为X
(h)
转置运算后的数据集；
[0023]步骤ss3，初始化定义h值为1；
[0024]步骤ss4，根据(X
(h)
X
(h)T
+λ1X
(h)
LX
(h)T
)P
(h)
＝P
(h)
Λ计算投影矩阵P
(h)
，其中,Λ为预定义参数，D为S的对角矩阵；
[0025]步骤ss5，迭代更新h＝h+1，根据计算更新S后，返回执行步骤4；
[0026]其中β为预定义参数，i为正整数，N为样本个数；
[0027]步骤ss6，判断h大小，如h＝H，则执行步骤ss7，否则返回执行步骤ss5；
[0028]步骤ss7，输出各多源异构数据的降维矩阵{P
(1)
，P
(2)
,...,P
(H)
}。
[0029]进一步地，所述多源异构数据融合集成单元执行数据融合程序，包括：
[0030]步骤1，确定多源异构数据融合算法节点以及对应权重，将算法节点按照级联顺序，由下至上分为第一级算法节点、第二级算法节点、第三级算法节点；
[0031]第一级算法节点值其中，为第一级算法节点的第ix子算法节点值，为第一级算法节点的第ix个子算法节点的权重系数，mx为第一级算法节点的子算法节点个数；
[0032]第二级算法节点值其中，为第一级算法节点对应第二级算法节点的第jx个子算法节点值，为第一级算法节点对应第二级算法节点的第jx个子算法节点的权重系数，nx为第一级算法节点对应第二级算法节点的第jx个子算法节点的个数；
[0033]第三级算法节点值其中，为第二级算法节点对应第三级算法节点的第kx个子算法节点值，为第二级算法节点对应第三级算法节点的第kx个子算法节点的权重系数，qx为第二级算法节点对应第三级算法节点的子算法节点的个数；
[0034]步骤2，使用预定义独立的mq种数据预融合估计算法对nq多源异构数据源进行预融合估计，对预融合估计进行相似度检验，如果相似度检验结果为不具有相似性，则执行步骤4，否则执行步骤3；
[0035]步骤3，任选将步骤2中的2种预融合估计算法进行相似度检验，将相似度检验定义为相似的择1留用，遍历mq种数据预融合估计算法，完毕后执行步骤4；
[0036]步骤4，根据最终得到的各种预融合估计算法的预融合估计结果，运用至少2种加权组合算法对预评价结果进行加权组合评价；
[0037]步骤5，将加权组合评价结果和预融合估计结果作为一个结果矩阵，进行相似度排序值；
[0038]步骤6，定义表示第kq种加权组合算法的加权组合评价结果与所有预融合估计结果的相似本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源异构大数据融合与集成系统，其特征在于：所述多源异构大数据融合与集成系统包括多源异构数据采集单元、多源异构数据预处理传输单元、多源异构数据融合集成单元以及数据存储输出单元；所述多源异构数据预处理传输单元执行包括如下步骤：步骤s1，对多源异构数据进行归一化处理，并按时序进行排列存储；步骤s2，对同一数据按照时序进行交错采集，交错采集的交错阶数为偶数g；步骤s3，更新交错采集阶数g'＝g/2，计更新次数g
g
＝1；步骤s4，将步骤s2中交错采集的样本数据矩阵定义为数据，按时序以步骤s3中的交错采集阶数进行采集，得到g个更新样本数据矩阵；判断更新后的g与2的大小，若g大于2则返回执行步骤s3，更新g
g
＝g
g
+1；若g＝2则执行步骤s5；步骤s5，将2个更新样本数据矩阵定义为第一更新样本数据矩阵和第二更新样本数据矩阵；步骤s6，计算第一更新样本数据矩阵和第二更新样本数据矩阵的高斯卷积函数，计算2位二进制数的高斯函数指数δ＝{00,01,10,11}；计算3位二进制数的高斯卷积特征步骤s7，对步骤s6中高斯函数指数进行指数归一化，处理得到指数一致性区间函数其中，y是m个第一更新向量或第二更新向量组成的更新矩阵，μ为更新矩阵的均值，δ为更新矩阵的方差；步骤s8，计算出dis 1＝{dis 11,dis 21,...dis c1}为第一更新样本数据矩阵内两个特征样本的最短距离集合，将dis i1按照降序进行排列，计算出距离均值其中i1＝1,2,3,...c，dis ic为最短距离；步骤s9，计算出dis 2＝[dis 12,dis 22,...dis c2]为第二更新样本数据矩阵内两个特征样本的最短距离集合，将dis i2按照降序进行排列，计算出距离均值其中i2＝1,2,3,...c，dis ic为最短距离；步骤s10，计算出距离权值定义权值矩阵为ρ＝[ρ1，ρ2，...,ρ
m
]，权值均值为步骤s11，计算出归一化数据的预融合估计函数更新g
g
＝g
g
‑
1，判断g
g
与1的大小，若g
g
值大于1，则返回执行步骤s5，否则将y
rh
输出。2.根据权利要求1所述的多源异构大数据融合与集成系统，其特征在于：所述步骤s1包括多源异构数据降维处理，包括：步骤ss1，定义多源异构数据为{X
(1)
，X
(2)
,...,X
(H)
}，多源异构数据降维至{K
(1)
，K
(2)
,...,K
(H)
}，预定义参数λ1、λ2和λ3，正整数H为特征种类数，定义高维数据X的投影矩阵P∈K
×
V，V为数据的维数；
步骤ss2，定义相似度矩阵其中X
(h)
为第h个种类特征的数据集，X
(h)T
为X
(h)
转置运算后的数据集；步骤ss3，初始化定义h值为1；步骤ss4，根据(X
(h)
X
(h)T
+λ1X
(h)
LX
(h)T
)P
(h)
＝P
(h)
Λ计算投影矩阵P
(h)
，其中,Λ为预定义参数，D为S的对角矩阵；步骤ss5，迭代更新h＝h+1，根据计算更新S后，返回执行步骤4；其中P
(h)
p
(h)T
＝I，β为预定义参数，i为正整数，N为样本个数；步骤ss6，判断h大小，如h＝H，则执行步骤ss7，否则返回执行步骤ss5；步骤ss7，输出各多源异构数据的降维矩阵{P
(1)
，P
(2)
,...,P
(H)
}。3.根据权利要求1所述的多源异构大数据融合与集成系统，其特征在于：所述多源异构数据融合集成单元执行数据融合程序，包括：步骤1，确定多源异构数据融合算法节点以及对应权重，将算法节点按照级联顺序，由下至上分为第一级算法节点、第二级算法节点、第三级算法节点；第一级算法节点值其中，为第一级算法节点的第ix子算法节点值，为第一级算法节点的第ix个子算法节点的权重系数，mx为第一级算法节点的子算法节点个数；第二级算法节点值其中，为第一级算法节点对应第二级算法节点的第jx个子算法节点值，为第一级算法节点对应第二级算法节点的第jx个子算法节点的权重系数，nx为第一级算法节点对应第二级算法节点的第jx个子算法节点的个数；第三级算法节点值其中，为第二级算法节点对应第三级算法节点的第kx个子算法节点值，为第二级算法节点对应第三级算法节点的第kx个子算法节点的权重系数，qx为第二级算法节点对应第三级算法节点的子算法节点的个数；步骤2，使用预定义独立的mq种数据预融合估计算法对nq多源异构数据源进行预融合估计，对预融合估计进行相似度检验，如果相似度检验结果为不具有相似性，则执行步骤4，否则执行步骤3；步骤3，任选将步骤2中的2种预融合估计算法进行相似度检验，将相似度检验定义为相似的择1留用，遍历mq种数据预融合估计算法，完毕后执行步骤4；步骤4，根据最终得到的各种预融合估计算法的预融合估计结果，运用至少2种加权组
合算法对预评价结果进行加权组合评价；步骤5，将加权组合评价结果和预融合估计结果作为一个结果矩阵，进行相似度排序值；步骤6，定义表示第kq种加权组合算法的加权组合评价结果与所有预融合估计结果的相似度系数；其中，jq＝1,2,3..mq，kq＝1,2,3..pq；x
iqjq
为第iq多源异构数据源在第jq种预融合估计算法排序结果规范后的取值，x
iqkq
为第iq多源异构数据源在第kq种加权组合算法排序结果规范后的取值，nq为多源异构数据源的个数，mq为预融合估计种类数，pq为加权组合算法种类数，ρ
jqkq
为第kq种加权组合算法与预融合估计中第jq种方法的相似度值；步骤7，将为t
kq
值最大的多源异构数据融合结果作为输出。4.一种多源异构大数据融合与集成方法，其特征在于：多源异构大数据融合与集成方法基于权利要求1<...

【专利技术属性】
技术研发人员：张华成，张卓轩，彭福银，杨兵，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：