数据融合方法、装置及服务器制造方法及图纸

技术编号:24331838 阅读:37 留言:0更新日期:2020-05-29 19:59
本发明专利技术涉及数据处理技术领域,涉及一种数据融合方法、装置及服务器。本发明专利技术通过提取每个业务数据在对应的数据转换矩阵上的矩阵特征序列和矩阵节点序列,并获取各个关联矩阵节点的数据融合参数,从而根据各个业务数据的矩阵特征序列、矩阵节点序列及各个关联矩阵节点的数据融合参数对各个业务数据进行数据融合,得到融合业务数据。本发明专利技术通过关联矩阵节点的数据融合参数表示关联矩阵节点单独针对业务数据参与与其它业务数据进行融合时的融合过程参数,并以此进行各业务数据的数据融合,可以在解析数据时实现统一解析处理,以便于后期通过统一的解析策略从融合业务数据中解析出需求的解析业务数据,提高数据解析效率。

Data fusion method, device and server

【技术实现步骤摘要】
数据融合方法、装置及服务器
本专利技术涉及数据处理
,具体而言,涉及一种数据融合方法、装置及服务器。
技术介绍
当前在对数据采集终端采集的业务数据(例如媒体数据,交通数据,农业数据,通信数据,电商数据,工业数据等)进行访问解析时,由于不同业务数据的维度不同,在解析数据时难以实现统一解析处理,通常需要逐个进行解析,从而不便于后期采用统一的解析策略对业务数据进行分析,导致数据解析繁琐并且效率低下。
技术实现思路
为了至少克服现有技术中的上述不足,本申请的目的在于提供一种数据融合方法、装置及服务器,以解决或者改善上述问题。第一方面,本申请提供一种数据融合方法,应用于服务器,所述服务器与多个数据采集终端通信连接,所述服务器预先配置有针对每个数据采集终端所对应的数据转换矩阵,所述方法包括:获取所述多个数据采集终端分别采集的业务数据,并提取每个业务数据在对应的数据采集终端所对应的数据转换矩阵上的矩阵特征序列和矩阵节点序列,其中,所述矩阵特征序列包括所述业务数据在所述数据转换矩阵中各个关联矩阵节点对应的业务类型置信度,所述矩阵节点序列包括所述各个关联矩阵节点之间的计算关系;根据所述矩阵特征序列和矩阵节点序列生成所述各个关联矩阵节点的数据融合参数,所述关联矩阵节点的数据融合参数包括用于表示所述关联矩阵节点单独针对所述业务数据参与与其它业务数据进行融合时的融合过程参数;根据各个业务数据的矩阵特征序列、矩阵节点序列及各个关联矩阵节点的数据融合参数对各个业务数据进行数据融合,得到融合业务数据。在第一方面的一种可能的设计中,所述提取每个业务数据在对应的数据采集终端所对应的数据转换矩阵上的矩阵特征序列和矩阵节点序列的步骤,包括:提取每个业务数据在对应的数据采集终端所对应的数据转换矩阵上的多个业务转换通道;根据所述多个业务转换通道将所述业务数据输入到所述数据转换矩阵中进行矩阵转换处理,得到多个不同维度的矩阵转换业务结果;针对所述多个业务转换通道中的每个业务转换通道,从所述多个不同维度的矩阵转换业务结果中,为所述业务转换通道选择对应维度的矩阵转换业务结果,并利用所述矩阵转换业务结果所对应的矩阵转换信息,判断所述业务转换通道是否匹配预设的矩阵转换模板,当所述业务转换通道匹配预设的矩阵转换模板时,保留所述业务转换通道,以得到多个保留的业务转换通道;将所述业务数据通过所述多个保留的业务转换通道输入到所述数据转换矩阵中进行业务转换,获取对应的业务转换矩阵节点序列及所述业务转换矩阵节点序列中目标矩阵节点的业务转换过程信息,并根据所述目标矩阵节点的业务转换过程信息确定所述目标矩阵节点的业务转换区间;将所述目标矩阵节点的业务转换区间的重合区间作为业务关联区间,并在所述业务关联区间内获取每个目标矩阵节点的业务转换位置,并根据所述每个目标矩阵节点的业务转换位置的位置置信度进行目标矩阵节点重组,得到对应的候选关联矩阵节点,并获得所述业务数据在所述候选关联矩阵节点对应的业务类型置信度,以根据所述业务类型置信度建立所述候选关联矩阵节点和计算关系之间的计算关系信息,并以所述计算关系为基准处理每个候选关联矩阵节点,以确定每个候选关联矩阵节点的计算关系信息所对应的业务转换过程信息;根据每个候选关联矩阵节点的计算关系信息所对应的业务转换过程信息,确定每个候选关联矩阵节点中的各个关联矩阵节点,以得到所述业务数据在所述数据转换矩阵中各个关联矩阵节点对应的业务类型置信度以及所述各个关联矩阵节点之间的计算关系。在第一方面的一种可能的设计中,所述根据所述矩阵特征序列和矩阵节点序列生成所述各个关联矩阵节点的数据融合参数的步骤,包括:根据所述矩阵特征序列和矩阵节点序列确定所述业务数据对于每个关联矩阵节点的归一化融合信息,并将所述业务数据对于每个关联矩阵节点的归一化融合信息转换为归一化融合采样图;根据所述归一化融合采样图,构建对应的融合数据范围样图,并对构建的所述融合数据范围样图进行解析,得到多个融合数据范围区域;获取各个所述融合数据范围区域中数据数量的平均值,计算所述融合数据范围区域中数据数量与所述平均值的差值,以得到所述融合数据范围区域的数据数量确定值;将数据数量确定值相关联的多个融合数据范围区域进行分类,以生成由多个分类的融合数据范围区域的分类组合组成的对应的分类融合数据范围区域图;在所述分类融合数据范围区域图中选择融合数据范围最大的融合数据范围区域和融合数据范围最小的融合数据范围区域分别作为第一融合数据范围区域和第二融合数据范围区域,并分别计算所述分类融合数据范围区域图中各个融合数据范围区域与所述第一融合数据范围区域、所述第二融合数据范围区域之间的数据数量确定值差异,将与所述第一融合数据范围区域的数据数量确定值差异小于或者等于与所述第二融合数据范围区域的数据数量确定值差异的融合数据范围区域分配至第一融合数据范围区域序列,将与所述第一融合数据范围区域的数据数量确定值差异大于与所述第二融合数据范围区域的数据数量确定值差异的融合数据范围区域分配至第二融合数据范围区域序列;计算所述第一融合数据范围区域序列中所有融合数据范围区域的数据数量确定值的平均值,获得以实际数据数量确定值的平均值为区域的第一融合数据范围区域,计算所述第二融合数据范围区域序列中所有融合数据范围区域的数据数量确定值的平均值,获得以实际数据数量确定值的平均值为区域的第二融合数据范围区域;根据所述第一融合数据范围区域和所述第二融合数据范围区域与所述分类融合数据范围区域图中的各个融合数据范围区域的重合度确定对应的多个第三融合数据范围区域和多个第四融合数据范围区域;根据所述多个第三融合数据范围区域和所述多个第四融合数据范围区域,确定所述归一化融合信息所对应的归一化融合参数信息,并对所述归一化融合参数信息进行解析以获取所述归一化融合参数信息中的归一化融合过程控制信息;将所述归一化融合过程控制信息的融合仿射变换范围确定为所述关联矩阵节点所对应的融合仿射变换范围,并根据所述关联矩阵节点所对应的融合仿射变换范围和所述归一化融合过程控制信息确定所述关联矩阵节点单独针对所述业务数据参与与其它业务数据进行融合时的融合过程参数。在第一方面的一种可能的设计中,所述根据各个业务数据的矩阵特征序列、矩阵节点序列及各个关联矩阵节点的数据融合参数对各个业务数据进行数据融合,得到融合业务数据的步骤,包括:根据所述各个业务数据的矩阵特征序列和矩阵节点序列确定出各个业务数据的融合矩阵信息,并根据所述融合矩阵信息确定所述各个业务数据对应的融合矩阵节点;从各个关联矩阵节点的数据融合参数获取所述各个业务数据对应的融合矩阵节点的数据融合策略,所述数据融合策略用于表示所述融合矩阵节点的融合参与信息;根据所述数据融合策略建立所述融合矩阵节点与融合参与位置的映射关系;根据建立的所述融合矩阵节点与融合参与位置的映射关系确定所述各个业务数据中每个数据记录位置的多个位置关联状态,针对每一个位本文档来自技高网...

【技术保护点】
1.一种数据融合方法,其特征在于,应用于服务器,所述服务器与多个数据采集终端通信连接,所述服务器预先配置有针对每个数据采集终端所对应的数据转换矩阵,所述方法包括:/n获取所述多个数据采集终端分别采集的业务数据,并提取每个业务数据在对应的数据采集终端所对应的数据转换矩阵上的矩阵特征序列和矩阵节点序列,其中,所述矩阵特征序列包括所述业务数据在所述数据转换矩阵中各个关联矩阵节点对应的业务类型置信度,所述矩阵节点序列包括所述各个关联矩阵节点之间的计算关系;/n根据所述矩阵特征序列和矩阵节点序列生成所述各个关联矩阵节点的数据融合参数,所述关联矩阵节点的数据融合参数包括用于表示所述关联矩阵节点单独针对所述业务数据参与与其它业务数据进行融合时的融合过程参数;/n根据各个业务数据的矩阵特征序列、矩阵节点序列及各个关联矩阵节点的数据融合参数对各个业务数据进行数据融合,得到融合业务数据。/n

【技术特征摘要】
1.一种数据融合方法,其特征在于,应用于服务器,所述服务器与多个数据采集终端通信连接,所述服务器预先配置有针对每个数据采集终端所对应的数据转换矩阵,所述方法包括:
获取所述多个数据采集终端分别采集的业务数据,并提取每个业务数据在对应的数据采集终端所对应的数据转换矩阵上的矩阵特征序列和矩阵节点序列,其中,所述矩阵特征序列包括所述业务数据在所述数据转换矩阵中各个关联矩阵节点对应的业务类型置信度,所述矩阵节点序列包括所述各个关联矩阵节点之间的计算关系;
根据所述矩阵特征序列和矩阵节点序列生成所述各个关联矩阵节点的数据融合参数,所述关联矩阵节点的数据融合参数包括用于表示所述关联矩阵节点单独针对所述业务数据参与与其它业务数据进行融合时的融合过程参数;
根据各个业务数据的矩阵特征序列、矩阵节点序列及各个关联矩阵节点的数据融合参数对各个业务数据进行数据融合,得到融合业务数据。


2.根据权利要求1所述的数据融合方法,其特征在于,所述提取每个业务数据在对应的数据采集终端所对应的数据转换矩阵上的矩阵特征序列和矩阵节点序列的步骤,包括:
提取每个业务数据在对应的数据采集终端所对应的数据转换矩阵上的多个业务转换通道;
根据所述多个业务转换通道将所述业务数据输入到所述数据转换矩阵中进行矩阵转换处理,得到多个不同维度的矩阵转换业务结果;
针对所述多个业务转换通道中的每个业务转换通道,从所述多个不同维度的矩阵转换业务结果中,为所述业务转换通道选择对应维度的矩阵转换业务结果,并利用所述矩阵转换业务结果所对应的矩阵转换信息,判断所述业务转换通道是否匹配预设的矩阵转换模板,当所述业务转换通道匹配预设的矩阵转换模板时,保留所述业务转换通道,以得到多个保留的业务转换通道;
将所述业务数据通过所述多个保留的业务转换通道输入到所述数据转换矩阵中进行业务转换,获取对应的业务转换矩阵节点序列及所述业务转换矩阵节点序列中目标矩阵节点的业务转换过程信息,并根据所述目标矩阵节点的业务转换过程信息确定所述目标矩阵节点的业务转换区间;
将所述目标矩阵节点的业务转换区间的重合区间作为业务关联区间,并在所述业务关联区间内获取每个目标矩阵节点的业务转换位置,并根据所述每个目标矩阵节点的业务转换位置的位置置信度进行目标矩阵节点重组,得到对应的候选关联矩阵节点,并获得所述业务数据在所述候选关联矩阵节点对应的业务类型置信度,以根据所述业务类型置信度建立所述候选关联矩阵节点和计算关系之间的计算关系信息,并以所述计算关系为基准处理每个候选关联矩阵节点,以确定每个候选关联矩阵节点的计算关系信息所对应的业务转换过程信息;
根据每个候选关联矩阵节点的计算关系信息所对应的业务转换过程信息,确定每个候选关联矩阵节点中的各个关联矩阵节点,以得到所述业务数据在所述数据转换矩阵中各个关联矩阵节点对应的业务类型置信度以及所述各个关联矩阵节点之间的计算关系。


3.根据权利要求1所述的数据融合方法,其特征在于,所述根据所述矩阵特征序列和矩阵节点序列生成所述各个关联矩阵节点的数据融合参数的步骤,包括:
根据所述矩阵特征序列和矩阵节点序列确定所述业务数据对于每个关联矩阵节点的归一化融合信息,并将所述业务数据对于每个关联矩阵节点的归一化融合信息转换为归一化融合采样图;
根据所述归一化融合采样图,构建对应的融合数据范围样图,并对构建的所述融合数据范围样图进行解析,得到多个融合数据范围区域;
获取各个所述融合数据范围区域中数据数量的平均值,计算所述融合数据范围区域中数据数量与所述平均值的差值,以得到所述融合数据范围区域的数据数量确定值;
将数据数量确定值相关联的多个融合数据范围区域进行分类,以生成由多个分类的融合数据范围区域的分类组合组成的对应的分类融合数据范围区域图;
在所述分类融合数据范围区域图中选择融合数据范围最大的融合数据范围区域和融合数据范围最小的融合数据范围区域分别作为第一融合数据范围区域和第二融合数据范围区域,并分别计算所述分类融合数据范围区域图中各个融合数据范围区域与所述第一融合数据范围区域、所述第二融合数据范围区域之间的数据数量确定值差异,将与所述第一融合数据范围区域的数据数量确定值差异小于或者等于与所述第二融合数据范围区域的数据数量确定值差异的融合数据范围区域分配至第一融合数据范围区域序列,将与所述第一融合数据范围区域的数据数量确定值差异大于与所述第二融合数据范围区域的数据数量确定值差异的融合数据范围区域分配至第二融合数据范围区域序列;
计算所述第一融合数据范围区域序列中所有融合数据范围区域的数据数量确定值的平均值,获得以实际数据数量确定值的平均值为区域的第一融合数据范围区域,计算所述第二融合数据范围区域序列中所有融合数据范围区域的数据数量确定值的平均值,获得以实际数据数量确定值的平均值为区域的第二融合数据范围区域;
根据所述第一融合数据范围区域和所述第二融合数据范围区域与所述分类融合数据范围区域图中的各个融合数据范围区域的重合度确定对应的多个第三融合数据范围区域和多个第四融合数据范围区域;
根据所述多个第三融合数据范围区域和所述多个第四融合数据范围区域,确定所述归一化融合信息所对应的归一化融合参数信息,并对所述归一化融合参数信息进行解析以获取所述归一化融合参数信息中的归一化融合过程控制信息;
将所述归一化融合过程控制信息的融合仿射变换范围确定为所述关联矩阵节点所对应的融合仿射变换范围,并根据所述关联矩阵节点所对应的融合仿射变换范围和所述归一化融合过程控制信息确定所述关联矩阵节点单独针对所述业务数据参与与其它业务数据进行融合时的融合过程参数。


4.根据权利要求1-3中任意一项所述的数据融合方法,其特征在于,所述根据各个业务数据的矩阵特征序列、矩阵节点序列及各个关联矩阵节点的数据融合参数对各个业务数据进行数据融合,得到融合业务数据的步骤,包括:
根据所述各个业务数据的矩阵特征序列和矩阵节点序列确定出各个业务数据的融合矩阵信息,并根据所述融合矩阵信息确定所述各个业务数据对应的融合矩阵节点;
从各个关联矩阵节点的数据融合参数获取所述各个业务数据对应的融合矩阵节点的数据融合策略,所述数据融合策略用于表示所述融合矩阵节点的融合参与信息;
根据所述数据融合策略建立所述融合矩阵节点与融合参与位置的映射关系;
根据建立的所述融合矩阵节点与融合参与位置的映射关系确定所述各个业务数据中每个数据记录位置的多个位置关联状态,针对每一个位置关联状态,获取每个数据记录位置匹配的其它业务数据的数据记录位置的对应位置关联状态的状态记录值与每个数据记录位置之后预设数量个数据记录位置的对应位置关联状态的状态记录值之间的匹配关系,并根据该匹配关系得到每个数据记录位置在该位置关联状态处的融合参与状态配置信息,以得到每个数据记录位置的融合参与状态配置信息;
根据每个数据记录位置的融合参与状态配置信息获取每个数据记录位置在融合过程中的融合控制状态;
根据所述融合控制状态得到每个数据记录位置对应的多个控制特征序列,并确定所述多个控制特征序列的第一控制特征信息和第二控制特征信息,所述第一控制特征信息包含所述每个数据记录位置的融合控制状态为开启状态时的控制特征信息,所述第二控制特征信息包含所述每个数据记录位置的融合控制状态为关闭状态时的控制特征信息;
确定所述第一控制特征信息在所述控制特征序列中的位置排序,并根据所述位置排序确定所述第一控制特征信息的融合参与等级,并按照所述融合参与等级分别确定每个数据记录位置对应的融合参与位置的控制特征序列对应的融合项目序列,并计算与所述融合项目序列对应的融合项目特征,所述融合项目序列是根据所述数据记录位置对应的融合参与位置的控制特征序列在融合过程中对应的基于可融合部分生成的融合项目记录信息确定的,不同的可融合部分对应的融合项目记录信息不同;
获取每个数据记录位置对应的融合参与位置对应的匹配度下限,并根据所述融合项目特征确定所述融合项目序列与所述匹配度下限之间的映射关系;
根据确定的所述融合项目序列与所述匹配度下限之间的映射关系,从所述融合项目序列中确定出每个数据记录位置的多个融合项目以及每个融合项目对应的融合顺序;
从所述多个融合项目中筛选出多个与预设融合顺序相同的融合项目,获得多个第一融合项目,并将所述多个融合项目中除所述第一融合项目以外的融合项目作为第二融合项目;
根据所述第一融合项目的数量与所述第二融合项目的数量之间的第一比值、所有第一融合项目中的第一融合顺序的数量与第二融合顺序的数量的第二比值以及所有第二融合项目中的第一融合顺序的数量与第二融合顺序的数量的第三比值确定出针对所述每个数据记录位置的融合间隔数;
根据所述各个业务数据中每个数据记录位置的融合间隔数和融合项目特征,对各个业务数据进行数据融合,得到融合业务数据。


5.根据权利要求1-4中任意一项所述的数据融合方法,其特征在于,所述根据各个业务数据的矩阵特征序列、矩阵节点序列及各个关联矩阵节点的数据融合参数对各个业务数据进行数据融合,得到融合业务数据的步骤之后,所述方法还包括:
在接收到数据解析请求时,根据预设的融合业务数据的解析策略从所述融合业务数据中解析出与所述数据解析请求对应的解析业务数据。
<...

【专利技术属性】
技术研发人员:费红琳肖巧巧丁杰
申请(专利权)人:广州高企云信息科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1