【技术实现步骤摘要】
本专利技术涉及数据处理
,尤其涉及一种数据处理方法和系统。
技术介绍
随着计算机和互联网技术的快速发展,会产生大量数据。在一些场景下需要对产生的数据进行存储和处理,以发现规律,并指导之后的运营。例如:电商每天产生的交易记录在凌晨开始分析,第二天早上决策者需要看到分析结果,以便做出正确的决策。通常对数据进行处理时,数据是连续产生的,但处理却是离散的。相关技术中,是将连续的数据切成段,对每一段独立地进行处理,每个时间周期内仅处理当前时间周期的数据。但是,这种方式会导致处理结果不准确。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本专利技术的一个目的在于提出一种数据处理方法,该方法可以提高处理结果的准确性。本专利技术的另一个目的在于提出一种数据处理系统。为达到上述目的,本专利技术第一方面实施例提出的数据处理方法,包括:获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数 ...
【技术保护点】
一种数据处理方法,其特征在于,包括:获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待
定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未
得到确定状态的连续性数据;
对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待
检测模式进行匹配;
在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;
在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存
中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数
据作为下一时间周期的待处理的数据。
2.根据权利要求1所述的方法,其特征在于,还包括:
在当前时间周期结束之前,匹配得到不符合待检测模式的数据时,根据当
前处理的数据确定匹配结果,并保存匹配结果。
3.根据权利要求1所述的方法,其特征在于,所述获取当前处理的数据,
包括:
接收数据调度模块发送的当前处理的数据,其中,所述数据调度模块根据
当前处理的数据流的标识,从存储模块中读取与当前处理的数据流的标识对应
的数据作为当前处理的数据。
4.根据权利要求1所述的方法,其特征在于,还包括:
数据调度模块在当前时间周期的数据处理开始时,调用每个数据处理模块
的第一接口,产生第一指令,所述第一指令用于指示每个数据处理模块进行数
\t据处理的初始化;
数据调度模块根据当前处理的数据确定对应的数据处理模块,将所述当前
处理的数据发送给对应的数据处理模块;
数据调度模块调用所述对应的数据处理模块的第二接口,产生第二指令,
所述第二指令用于指示所述对应的数据处理模块对所述当前处理的数据进行
数据处理;
数据调度模块在当前时间周期的数据处理结束时,调用每个数据处理模块
的第三接口,产生第三指令,所述第三指令用于指示每个数据处理模块结束数
据处理。
5.根据权利要求4所述的方法,其特征在于,当所述当前处理的数据是
所述待定数据时,所述数据调度模块根据当前处理的数据确定对应的数据处理
模块,将所述当前处理的数据发送给对应的数据处理模块,包括:
数据调度模块从用于存储待定数据的第一存储模块中读取待定数据,所述
待定数据中包含产生所述待定数据的数据处理模块的标识信息;
数据调度模块调用每个数据处理模块的第四接口,产生第四指令,所述第
四指令用于指示每个数据处理模块将自身的标识信息发送给数据调度模块;
数据调度模块根据待定数据中包含的标识信息及接收的每个数据处理模
块发送的标识信息,确定与待定数据对应的数据处理模块;<...
【专利技术属性】
技术研发人员:孙伟,
申请(专利权)人:杭州数梦工场科技有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。