一种数据管理方法、相关装置及计算机可读存储介质制造方法及图纸

技术编号:20364967 阅读:25 留言:0更新日期:2019-02-16 17:28
本发明专利技术实施例涉及通信技术领域,公开了一种数据管理方法、相关装置及计算机可读存储介质。本发明专利技术中,获取数据,其中,数据中包含用户的身份信息;确定数据经过每一个流程时所对应的时间戳;将数据中的用户的身份信息、时间戳和流程的对应关系保存在数据结构中;根据数据结构将数据放置到匹配的窗口中,其中,窗口用于对数据进行管理。在对数据进行时间赋予的时候,可以获取数据流经过每一个流程时所对应的时间戳,并将经过每一个流程时所对应的时间戳保存到数据结构中,便于窗口根据数据结构中保存的多个时间戳进行管理。

【技术实现步骤摘要】
一种数据管理方法、相关装置及计算机可读存储介质
本专利技术实施例涉及通信
,特别涉及一种数据管理方法、相关装置及计算机可读存储介质。
技术介绍
在基于流式数据引擎进行窗口管理的时候,窗口对数据管理的实现涉及到了三种时间概念:事件发生时间(数据事件发生的时间)、窗口处理时间(数据事件被流式数据引擎中窗口计算模块计算处理的时间)和系统摄取时间(数据进入流处理系统的时间),并且在程序编写初期,设置时间概念只能为上述三种概念中的一种,然后按照确定的时间概念去给每个数据流中的数据赋予时间。专利技术人发现现有技术中至少存在如下问题:现有技术中数据的时间赋予比较固定,窗口也只能应用数据唯一赋予的时间进行数据管理,例如,在确定数据流的时间概念是事件发生时间,那么在进行数据处理的时候,窗口只能使用每条数据中的唯一确定的时间去进行数据处理,从而限制了窗口的管理方式。
技术实现思路
本专利技术实施方式的目的在于提供一种数据管理方法、相关装置及计算机可读存储介质,使得能够确定数据流经任意流程时所对应的时间戳,便于窗口根据数据所对应的多个时间戳进行管理。为解决上述技术问题,本专利技术的实施方式提供了一种数据管理方法,包括以下步骤:获取数据,其中,数据中包含用户的身份信息;确定数据经过每一个流程时所对应的时间戳;将数据中的用户的身份信息、时间戳和流程的对应关系保存在数据结构中;根据数据结构将数据放置到匹配的窗口中,其中,窗口用于对数据进行管理。本专利技术的实施方式还提供了一种数据管理装置,包括:获取模块,用于获取数据,其中,数据中包含用户的身份信息;确定模块,用于确定数据经过每一个流程时所对应的时间戳;保存模块,用于将数据中的用户的身份信息、时间戳和流程的对应关系保存在数据结构中;放置模块,用于根据数据结构将数据放置到匹配的窗口中,其中,窗口用于对数据进行管理。本专利技术的实施方式还提供了一种服务器,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上的数据管理方法。本专利技术的实施方式还提供了一计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现如上的数据管理。本专利技术实施方式相对于现有技术而言,在对数据进行时间赋予的时候,可以获取数据流经过每一个流程时所对应的时间戳,并将经过每一个流程时所对应的时间戳保存到数据结构中,便于窗口根据数据所对应的多个时间戳进行管理。另外,确定数据经过每一个流程时所对应的时间戳之前,还包括:对每一个流程的初始时间进行校准。该实现中,通过对每一个流程的初始时间进行校准,确保了数据经过每一个流程时所对应的时间戳的连续性。另外,确定数据经过每一个流程时所对应的时间戳,具体包括:根据预设指令获取数据经过每一个流程指定位置时所对应的时间;将时间作为时间戳。另外,指定位置包括:数据从流程输入的位置或数据从流程输出的位置。该实现中,可以获取数据从流程输入的位置所对应的时间戳,也可以获取数据从流程输出的位置所对应的时间戳,从而提高了获取数据时间戳的多样性。另外,根据数据结构将数据放置到匹配的窗口中,具体包括:根据数据结构中用户的身份信息以及时间戳,从已知的匹配列表中进行查询,获取到与用户的身份信息以及时间戳匹配的窗口;将数据放置到匹配的窗口中;其中,匹配列表中保存了用户的身份信息、时间戳以及窗口的对应关系。该实现中,根据数据结构中用户的身份信息以及时间戳,从已知的匹配列表中进行查询,从而提高了获取匹配窗口的速度。另外,根据数据结构将数据放置到匹配的窗口中之前,还包括:对窗口的大小进行设置;根据数据结构将数据放置到匹配的窗口中之后,还包括:控制窗口根据时间戳以及窗口的大小,对数据进行筛选,并将筛选后的数据进行保存。该实现中,通过设置窗口的大小,使窗口能够根据窗口大小以及时间戳,筛选出符合要求的数据,从而便于窗口对数据的管理。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。图1是本申请第一实施例中数据管理方法的流程图;图2是本申请第二实施例中数据管理方法的流程图;图3是本申请第三实施例中数据管理装置的方框示意图;图4是本申请第四实施例中数据管理装置的方框示意图;图5是本申请第五实施例中服务器的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本专利技术各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。本专利技术的第一实施方式涉及一种数据管理方法。具体流程如图1所示,包括以下步骤:步骤101,获取数据。具体的说,在本实施例中,获取进入流式数据引擎中的数据,其中,数据中包含用户的身份信息,通过用户的身份信息可以对进入流式数据引擎中的每一个数据进行身份识别。在一个具体实现中,获取的数据可以是用户的消费记录数据,则在消费记录数据中包含用户的身份信息,用户的身份信息可以是用户在购物网站上注册的账号。步骤102,确定数据经过每一个流程时所对应的时间戳。具体的说,在本实施方式中,根据预设指令获取数据经过每一个流程指定位置时所对应的时间,将指定位置所对应的时间作为时间戳。指定位置包括:数据从流程输入的位置或者数据从流程输出的位置。当然,还可能包括进入流程中的任意位置,本实施方式只是举例进行说明。例如,如果数据指的是一个用户的消费记录数据,数据经过的的第一个流程是加入购物车操作,数据经过的第二个流程是进行下单操作。如果预设指令为获取数据从流程输入位置所对应的时间,则获取数据刚进行加入购物车操作时所对应的时间戳,同时获取数据刚进行下单操作时所对应的时间戳;如果预设指令为获取数据从流程输入位置所对应的时间,则获取数据结束加入购物车操作时所对应的时间戳,同时获取数据结束下单操作时所对应的时间戳。需要说明的是,在确定数据经过每一个流程时所对应的时间戳之前,需要对每一个流程的初始时间进行校准,以确保数据经过每一个流程时所对应的时间戳的连续性。例如,将第一个流程和第二个流程的初始时间校准成相同的,如果数据从第一个流程输入位置进入时所对应的时间为3:15,则此时第二个流程所对应的时间也是3:15,如果经过5分钟后数据从第二个流程输入位置进入,则数据从第二个流程输入位置进入时所对应的时间为3:20。因此,避免了出现由于未对每一个流程的初始时间进行校验,造成出现数据从第一个流程输入位置进入时所对应的时间为3:15,而从第二个流程输入位置进入时所对应的时间为3:05的情况发生。步骤103,将数据中的用户的身份信息、时间戳和流程的对应关系保存在数据结构中。具体的说,在本实施方式中,在数据中设置有一个字段值来作为数据结构,并且在数据结构中相应的设置有保存接口,可以将用户的身份信息、以及实时获取的时间戳和流程的对应关系保存在数据结构中。并且可以根据实际需要,将用户的身份信息、时间戳和流程的对本文档来自技高网...

【技术保护点】
1.一种数据管理方法,其特征在于,包括:获取数据,其中,所述数据中包含用户的身份信息;确定所述数据经过每一个流程时所对应的时间戳;将所述数据中的所述用户的身份信息、所述时间戳和所述流程的对应关系保存在数据结构中;根据所述数据结构将所述数据放置到匹配的窗口中,其中,所述窗口用于对所述数据进行管理。

【技术特征摘要】
1.一种数据管理方法,其特征在于,包括:获取数据,其中,所述数据中包含用户的身份信息;确定所述数据经过每一个流程时所对应的时间戳;将所述数据中的所述用户的身份信息、所述时间戳和所述流程的对应关系保存在数据结构中;根据所述数据结构将所述数据放置到匹配的窗口中,其中,所述窗口用于对所述数据进行管理。2.根据权利要求1所述的数据管理方法,其特征在于,所述确定所述数据经过每一个流程时所对应的时间戳之前,还包括:对每一个所述流程的初始时间进行校准。3.根据权利要求2所述的数据管理方法,其特征在于,所述确定所述数据经过每一个流程时所对应的时间戳,具体包括:根据预设指令获取所述数据经过每一个所述流程指定位置时所对应的时间;将所述时间作为时间戳。4.根据权利要求3所述的数据管理方法,其特征在于,所述指定位置包括:所述数据从所述流程输入的位置或所述数据从所述流程输出的位置。5.根据权利要求4所述的数据管理方法,其特征在于,所述根据所述数据结构将所述数据放置到匹配的窗口中,具体包括:根据所述数据结构中的所述用户的身份信息以及所述时间戳,从已知的匹配列表中进行查询,获取到与所述用户的身份信息以及所述时间戳匹配的所述窗口;将所述数据放置到所述匹配的窗口中;其中,所述匹配列表中保存了所述用户的身份信息、所述时间戳与所述窗口的对应关系。6.根据权利要求1至5中任...

【专利技术属性】
技术研发人员:常舒超
申请(专利权)人:中兴飞流信息科技有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1