数据处理方法和系统技术方案

技术编号:15004042 阅读:71 留言:0更新日期:2017-04-04 12:18
本发明专利技术提出一种数据处理方法和系统,该数据处理方法包括:获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;对读取的所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;匹配得到符合待检测模式的数据,缓存符合待检测模式的数据,且在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据;将所述新产生的待定数据作为下一时间周期的待处理的数据。该方法能够提高处理结果的准确性。

【技术实现步骤摘要】

本专利技术涉及数据处理
,尤其涉及一种数据处理方法和系统
技术介绍
随着计算机和互联网技术的快速发展,会产生大量数据。在一些场景下需要对产生的数据进行存储和处理,以发现规律,并指导之后的运营。例如:电商每天产生的交易记录在凌晨开始分析,第二天早上决策者需要看到分析结果,以便做出正确的决策。通常对数据进行处理时,数据是连续产生的,但处理却是离散的。相关技术中,是将连续的数据切成段,对每一段独立地进行处理,每个时间周期内仅处理当前时间周期的数据。但是,这种方式会导致处理结果不准确。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本专利技术的一个目的在于提出一种数据处理方法,该方法可以提高处理结果的准确性。本专利技术的另一个目的在于提出一种数据处理系统。为达到上述目的,本专利技术第一方面实施例提出的数据处理方法,包括:获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。本专利技术第一方面实施例提出的数据处理方法,通过获取已结束时间周期产生的待定数据,可以在当前时间周期内进行数据处理时,将当前时间周期与已结束时间周期进行结合,切断的信息又被连接起来,从而可以使用完整的数据进行处理,提高处理结果的准确性。为达到上述目的,本专利技术第二方面实施例提出的数据处理系统,包括:数据处理装置,所述数据处理装置包括:获取模块,用于获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;匹配模块,用于对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;缓存模块,用于在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;第一确定模块,用于在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。本专利技术第二方面实施例提出的数据处理系统,通过获取已结束时间周期产生的待定数据,可以在当前时间周期内进行数据处理时,将当前时间周期与已结束时间周期进行结合,切断的信息又被连接起来,从而可以使用完整的数据进行处理,提高处理结果的准确性。本专利技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:图1是本专利技术一实施例提出的数据处理方法的流程示意图;图2是本专利技术实施例中待定数据的产生和处理的示意图;图3是本专利技术实施例中数据处理模块进行数据处理的流程示意图;图4是本专利技术实施例中数据处理模块中的状态机的示意图;图5是本专利技术另一实施例提出的数据处理方法的流程示意图;图6是图5对应的系统结构示意图;图7是本专利技术另一实施例提出的数据处理系统的结构示意图;图8是本专利技术另一实施例提出的数据处理系统的结构示意图。具体实施方式下面详细描述本专利技术的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的,仅用于解释本专利技术,而不能理解为对本专利技术的限制。相反,本专利技术的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。图1是本专利技术一实施例提出的数据处理方法的流程示意图。参见图1,该方法包括:S11:获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据。本实施例以离散处理为例,因此,在进行数据处理时是以每个时间周期为单位进行处理。每个时间周期例如是一天。以时间周期是一天为例,假设当前时间周期是今天,已结束时间周期包括昨天以及昨天之前的时间。以已结束时间周期是昨天为例,则在今天进行处理时,可以获取昨天产生的待定数据以及今天的数据。本实施例以连续性数据为例,连续性数据是指在不同的时间周期内进行连续记录的数据。以已结束时间周期是上一时间周期为例,例如,参见图2,对应当前时间周期和上一时间周期,记录的数据21是连续性的。待定数据是指未得到确定状态的数据。例如,以计算车辆超速时长为例,由于在没有遇到不超速的数据之前,不能确定超速时长,因此,如果昨天记录的数据(时间点及时间点上的车速采样)包括(T1,V1)、(T2,V2)、…(Tn,Vn),假设在昨天最后记录的数据(Tn,Vn)内都没有遇到不超速的车速,则(T1,V1)、(T2,V2)、…(Tn,Vn)属于待定数据。参见图2,上一时间周期中可能存在部分数据是待定数据22。S12:对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配。本实施例中,以进行数据处理的模块称为数据处理模块,且数据处理模块接收数据调度模块发送的数据为例。因此,数据处理模块可以具体采用如下方式获取当前处理的数据:数据处理模块接收数据调度模块发送的当前处理的数据,其中,所述数据调度模块根据当前处理的数据流的标识,从存储模块中读取与当前处理的数据流的标识对应的数据作为当前处理的数据。例如,在计算车辆超速时长时,可以对应每个车辆计算对应的车辆超速时长。此时,可以对应每个车辆分配一个数据流的标识,同一车辆的数据具有相同的数据流的标识,不同车辆的数据具有不同的数据流的标识。在存储模块中,可以对应存储数据流的标识与数据。假设当前要计算车辆A的车辆超速时长,则数据调度模块可以根据车辆A的数据流的标识从存储模块中读取到车辆A的数据,并将读取的数据发送给数据处理模块,由数据处理模块进行处理,以得到车辆A的车辆超速时长。数据调度模块在发送数据时,可以本文档来自技高网...

【技术保护点】
一种数据处理方法,其特征在于,包括:获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待
定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未
得到确定状态的连续性数据;
对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待
检测模式进行匹配;
在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;
在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存
中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数
据作为下一时间周期的待处理的数据。
2.根据权利要求1所述的方法,其特征在于,还包括:
在当前时间周期结束之前,匹配得到不符合待检测模式的数据时,根据当
前处理的数据确定匹配结果,并保存匹配结果。
3.根据权利要求1所述的方法,其特征在于,所述获取当前处理的数据,
包括:
接收数据调度模块发送的当前处理的数据,其中,所述数据调度模块根据
当前处理的数据流的标识,从存储模块中读取与当前处理的数据流的标识对应
的数据作为当前处理的数据。
4.根据权利要求1所述的方法,其特征在于,还包括:
数据调度模块在当前时间周期的数据处理开始时,调用每个数据处理模块
的第一接口,产生第一指令,所述第一指令用于指示每个数据处理模块进行数

\t据处理的初始化;
数据调度模块根据当前处理的数据确定对应的数据处理模块,将所述当前
处理的数据发送给对应的数据处理模块;
数据调度模块调用所述对应的数据处理模块的第二接口,产生第二指令,
所述第二指令用于指示所述对应的数据处理模块对所述当前处理的数据进行
数据处理;
数据调度模块在当前时间周期的数据处理结束时,调用每个数据处理模块
的第三接口,产生第三指令,所述第三指令用于指示每个数据处理模块结束数
据处理。
5.根据权利要求4所述的方法,其特征在于,当所述当前处理的数据是
所述待定数据时,所述数据调度模块根据当前处理的数据确定对应的数据处理
模块,将所述当前处理的数据发送给对应的数据处理模块,包括:
数据调度模块从用于存储待定数据的第一存储模块中读取待定数据,所述
待定数据中包含产生所述待定数据的数据处理模块的标识信息;
数据调度模块调用每个数据处理模块的第四接口,产生第四指令,所述第
四指令用于指示每个数据处理模块将自身的标识信息发送给数据调度模块;
数据调度模块根据待定数据中包含的标识信息及接收的每个数据处理模
块发送的标识信息,确定与待定数据对应的数据处理模块;<...

【专利技术属性】
技术研发人员:孙伟
申请(专利权)人:杭州数梦工场科技有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1