数据源融合的方法和装置制造方法及图纸

技术编号:14562115 阅读:101 留言:0更新日期:2017-02-05 18:40
本发明专利技术公开了一种数据源融合的方法,方法包括:根据接收的融合指令,为每种待融合的数据源生成记录有数据信息的时间戳的概要信息;根据所述概要信息,将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。本发明专利技术还公开了一种数据源融合的装置。本发明专利技术所提供的数据源融合的方法和装置,对待融合的数据源的数据信息的时间戳没有要求,能够实现多种不同种类的时间序列数据源融合,能有效利用待融合的数据源中数据信息的时间戳的排序特性,融合效率高,数据源融合的实现过程简单、成本低。

【技术实现步骤摘要】

本专利技术涉及数据分析
,尤其涉及数据源融合的方法和装置
技术介绍
大数据技术的发展为海量数据的分析提供了保证,使得机器生成的海量数据能够得到有效的挖掘。时间序列数据源是一类特殊的数据源,每条数据信息都有一个相应的时间戳,各条数据信息按照时间戳的先后顺序排列。当今社会基础设施十分发达,互联网、物联网、移动通讯、移动定位等系统广泛存在,每时每刻机器产生海量的数据(Machine-generateddata),这些数据从不同的角度反映了社会的方方面面,因此对机器生成的时间序列数据源分析是大数据分析的一个重要分支。对不同机器生成的时间序列数据源作系统性的分析往往需要首先将不同机器生成的时间序列数据源进行融合,要求融合后的数据中各条数据信息仍然以时间戳的先后排序,这种融合后数据能够直观详实地反映目标体的时空轨迹状态。然而现有时间序列数据源的融合技术对待融合的数据源的数据信息的时间戳要求严格、计算复杂、融合效率低。
技术实现思路
本专利技术的主要目的在于解决现有的数据源融合技术对待融合的数据源的数据信息的时间戳要求严格、计算复杂、融合效率低的技术问题。为了实现上述目的,本专利技术提供一种数据源融合的方法,所述方法包括:根据接收的融合指令,为每种待融合的数据源生成记录有数据信息的时间戳的概要信息;根据所述概要信息,将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。优选地,所述根据所述概要信息,将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合具体包括:步骤一、计算时钟步进值,根据当前待处理时钟点和所述时钟步进值计算下一步待处理时钟点;步骤二、在所述每种待融合的数据源中,提取时间戳处于所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息;步骤三、将提取的所有数据信息,按时间戳的先后顺序排列融合;判断所有待融合的数据源内的数据信息是否全部融合完毕;若否,则返回步骤一;若是,则结束流程。优选地,所述的数据源融合的方法,当所述时钟步进值为第1~n个时钟步进值,则所述计算时钟步进值具体为:根据所有待融合的数据源中数据信息时间戳最早和最晚的时间点计算时钟步进值;当所述时钟步进值为第m个时钟步进值,则所述计算时钟步进值具体为:根据第m-z个至第m-1个时钟步进值,及第m-z个至第m-1个时钟步进值对应的融合数据信息量和融合时间,计算第m个时钟步进值;其中,n为3~10的自然数,m为大于n的自然数,z为3~6的自然数。优选地,所述的数据源融合的方法,步骤三中将提取的所有数据信息进行融合之前还包括:将提取的所有数据信息转换为设定的格式。优选地,所述将提取的所有数据信息,按时间戳的先后顺序排列融合具体包括:采用线程迭代算法,将所有待融合的数据源中每两种数据源中提取的数据信息,按时间戳的先后顺序排列融合,形成多个融合数据;将多个融合数据中每两个融合数据进行进一步融合,直至融合为一个融合数据。优选地,所述的数据源融合的方法,当待融合的数据源种类为奇数,在将所有待融合的数据源中每两种数据源中提取的数据信息,按时间戳的先后顺序排列融合之后还包括:将剩余的一种数据源中提取的数据信息与所述多个融合数据中的一个融合数据进行融合。优选地,所述的数据源融合的方法,还包括:根据接收的融合指令,为每种待融合的数据源生成相应的数据融合进度表,并实时更新数据融合进度表。此外,为实现上述目的,本专利技术还提供一种数据源融合的装置,包括:概要信息生成模块,用于根据接收的融合指令,为每种待融合的数据源生成记录有数据信息的时间戳的概要信息;数据融合模块,用于根据所述概要信息,将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。优选地,所述数据融合模块还包括:计算单元,用于计算时钟步进值,根据当前待处理时钟点和所述时钟步进值计算下一步待处理时钟点;数据提取单元,用于在所述每种待融合的数据源中,提取时间戳处于所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息;数据融合单元,用于将提取的所有数据信息,按时间戳的先后顺序排列融合;循环控制单元,用于在数据融合单元将提取的所有数据信息按时间戳的先后顺序排列融合后,判断所有待融合的数据源内的数据信息是否全部融合完毕;若否,则返回依次调用计算单元、数据提取单元、数据融合单元执行各自相应的操作,直至所有待融合的数据源内的数据信息全部融合完毕。优选地,所述计算单元,具体还用于当所述时钟步进值为第1~n个时钟步进值,则根据所有待融合的数据源中数据信息时间戳最早和最晚的时间点计算时钟步进值;当所述时钟步进值为第m个时钟步进值,则根据第m-z个至第m-1个时钟步进值,及第m-z个至第m-1个时钟步进值对应的融合数据信息量和融合时间,计算第m个时钟步进值;其中,n为3~10的自然数,m为大于n的自然数,z为3~6的自然数。优选地,所述数据融合模块还包括:转换单元,用于在将提取的所有数据信息融合之前,将所提取的所有数据信息转换为设定的格式。优选地,所述数据融合单元,具体用于采用线程迭代算法,将所有待融合的数据源中每两种数据源中提取的数据信息,按时间戳的先后顺序排列融合,形成多个融合数据;将多个融合数据中每两个融合数据进行进一步融合,直至融合为一个融合数据。优选地,所述数据融合单元,具体还用于当数据源种类为奇数,在将所有待融合的数据源中每两种数据源中提取的数据信息,按时间戳的先后顺序排列融合之后,将剩余的一种数据源中提取的数据信息与所述多个融合数据中的一个融合数据进行融合。优选地,所述的数据源融合的装置,还包括:进度表生成模块,用于根据接收的融合指令,为每种待融合的数据源生成相应的数据融合进度表,并实时更新数据融合进度表。本专利技术所提供的数据源融合的方法和装置,根据接收的融合指令,为每种待融合的数据源生成记录有数据信息的时间戳的概要信息;根据所述概要信息,将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合的方式,对待融合的数据源的数据信息的时间戳没有要求,能够实现多种不同种类的时间序列数据源融合,能有效利用待融合的数据源中数据信息的时间戳的排序特性,融合效率高,数据源融合的实现过程简单、成本低。附图说明图1是本专利技术的数据源融合的方法第一实施例的流程图;图2是图1中步骤S20的细化流本文档来自技高网...

【技术保护点】
一种数据源融合的方法,其特征在于,所述方法包括:根据接收的融合指令,为每种待融合的数据源生成记录有数据信息的时间戳的概要信息;根据所述概要信息,将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。

【技术特征摘要】
1.一种数据源融合的方法,其特征在于,所述方法包括:
根据接收的融合指令,为每种待融合的数据源生成记录有数据信息的时
间戳的概要信息;
根据所述概要信息,将所有待融合的数据源的数据信息按照时间戳的先
后顺序排列融合。
2.根据权利要求1所述的数据源融合的方法,其特征在于,所述根据所
述概要信息,将所有待融合的数据源的数据信息按照时间戳的先后顺序排列
融合具体包括:
步骤一、计算时钟步进值,根据当前待处理时钟点和所述时钟步进值计
算下一步待处理时钟点;
步骤二、在所述每种待融合的数据源中,提取时间戳处于所述当前待处
理时钟点和所述下一步待处理时钟点之间的数据信息;
步骤三、将提取的所有数据信息,按时间戳的先后顺序排列融合;判断
所有待融合的数据源内的数据信息是否全部融合完毕;若否,则返回步骤一;
若是,则结束流程。
3.根据权利要求2所述的数据源融合的方法,其特征在于,
当所述时钟步进值为第1~n个时钟步进值,则所述计算时钟步进值具体
为:根据所有待融合的数据源中数据信息时间戳最早和最晚的时间点计算时
钟步进值;
当所述时钟步进值为第m个时钟步进值,则所述计算时钟步进值具体
为:根据第m-z个至第m-1个时钟步进值,及第m-z个至第m-1个时钟步进
值对应的融合数据信息量和融合时间,计算第m个时钟步进值;
其中,n为3~10的自然数,m为大于n的自然数,z为3~6的自然数。
4.根据权利要求2所述的数据源融合的方法,其特征在于,步骤三中将

\t提取的所有数据信息进行融合之前还包括:
将提取的所有数据信息转换为设定的格式。
5.根据权利要求2所述的数据源融合的方法,其特征在于,所述将提取
的所有数据信息,按时间戳的先后顺序排列融合具体包括:
采用线程迭代算法,将所有待融合的数据源中每两种数据源中提取的数
据信息,按时间戳的先后顺序排列融合,形成多个融合数据;
将多个融合数据中每两个融合数据进行进一步融合,直至融合为一个融
合数据。
6.根据权利要求5所述的数据源融合的方法,其特征在于,当待融合的
数据源种类为奇数,在将所有待融合的数据源中每两种数据源中提取的数据
信息,按时间戳的先后顺序排列融合之后还包括:
将剩余的一种数据源中提取的数据信息与所述多个融合数据中的一个融
合数据进行融合。
7.根据权利要求1所述的数据源融合的方法,其特征在于,还包括:
根据接收的融合指令,为每种待融合的数据源生成相应的数据融合进度
表,并实时更新数据融合进度表。
8.一种数据源融合的装置,其特征在于,包括:
概要信息生成模块,用于根据接收的融...

【专利技术属性】
技术研发人员:王利学
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1