数据获取及存储的方法、装置、设备及存储介质制造方法及图纸

技术编号:29310718 阅读:14 留言:0更新日期:2021-07-17 02:15
本公开提供了一种数据获取及存储的方法、装置、设备及存储介质,其中,该数据获取的方法包括:响应于接收到的客户端发送的基于目标时间段的处理结果获取请求,从预先存储的各时间窗口各自对应的第一处理结果中,获取与目标时间段匹配的多个时间窗口各自对应的第一处理结果;对获取的多个第一处理结果进行汇总,得到目标时间段对应的第二处理结果;向客户端返回第二处理结果。本公开可以很大程度上提升客户端的处理结果响应速度,满足用户的业务需求。求。求。

Data acquisition and storage method, device, equipment and storage medium

【技术实现步骤摘要】
数据获取及存储的方法、装置、设备及存储介质


[0001]本公开涉及计算机
,具体而言,涉及一种数据获取及存储的方法、装置、设备及存储介质。

技术介绍

[0002]在业务系统开发过程中,对于用户数据进行分析和统计是比较常见的需求。对于并发量不大的业务系统而言,传统的基于数据库的统计方式可以满足用户后续的快速访问需求。
[0003]然而,对于云服务而言,由于用户基数比较大,需要统计的数据量巨大,这导致传统的统计方式无法再满足用户的需求。

技术实现思路

[0004]本公开实施例至少提供一种数据获取及存储的方法、装置、设备及存储介质。
[0005]第一方面,本公开实施例提供了一种数据获取的方法,所述方法包括:
[0006]响应于接收到的客户端发送的基于目标时间段的处理结果获取请求,从预先存储的各时间窗口各自对应的第一处理结果中,获取与所述目标时间段匹配的多个时间窗口各自对应的第一处理结果;
[0007]对获取的多个第一处理结果进行汇总,得到所述目标时间段对应的第二处理结果;
[0008]向所述客户端返回所述第二处理结果。
[0009]采用上述数据获取的方法,响应客户端的处理结果获取请求,可以获取与目标时间段匹配的多个时间窗口各自对应的第一处理结果。这里,将目标时间段匹配的多个第一处理结果直接进行汇总即可以得到与上述处理结果获取请求对应的第二处理结果,从而可以很大程度上提升客户端的处理结果响应速度,满足用户的业务需求。
[0010]在一种可能的实施方式中,在所述获取与所述目标时间段匹配的多个时间窗口各自对应的第一处理结果之前,所述方法还包括:
[0011]获取用户数据;所述用户数据包括用户视频数据以及基于所述用户视频数据得到的用户行为数据;
[0012]按照所述用户数据的产生时间,将所述用户数据划分到不同的时间窗口;
[0013]分别对每个时间窗口内产生的用户数据进行分析处理,得到各时间窗口各自对应的第一处理结果。
[0014]这里,针对获取的用户数据,可以按照用户数据的产生时间,实时的将用户数据划分到不同的时间窗口,并可以对每个时间窗口进行有关用户数据的分析处理,也即,可以在执行处理结果获取请求之前,预先进行有关时间窗口的第一处理结果的确定,这将提升后续客户端的处理结果响应速度。
[0015]在一种可能的实施方式中,在所述得到各时间窗口各自对应的第一处理结果之
后,所述方法还包括:
[0016]分别将各第一处理结果存储至预设数据库;
[0017]所述获取与所述目标时间段匹配的多个时间窗口各自对应的第一处理结,包括:
[0018]基于时间段与时间窗口之间的时间对应关系,从所述各时间窗口中确定与所述目标时间段匹配的多个时间窗口;
[0019]从所述预设数据库中读取所述多个时间窗口各自对应的第一处理结果。
[0020]这里,针对每个时间窗口的第一处理结果可以是预先存储在预设数据库中的,以便于在接收到客户端的处理结果获取请求的情况下,基于处理结果获取请求中携带的目标时间段与各时间窗口之间的关系,直接从预设数据库中查找到目标时间段匹配的各时间窗口各自对应的第一处理结果,简单高效。
[0021]在一种可能的实施方式中,所述按照所述用户数据的产生时间,将所述用户数据划分到不同的时间窗口,包括:
[0022]按照所述用户数据的产生时间以及数据量,将所述用户数据划分到不同的时间窗口。
[0023]这里可以结合用户数据的产生时间以及数据量进行时间窗口的划分,例如,可以以等数据量为时间窗口的划分前提,这样划分出来的各时间窗口所对应的产生时间段将有长也有短,从而可以便于预先配置好针对各时间窗口的计算资源,进一步提升数据响应速度。
[0024]在一种可能的实施方式中,所述用户数据包括客户端所对应目标管理对象的行为状态数据;所述分别对每个时间窗口内产生的用户数据进行分析处理,得到各时间窗口各自对应的第一处理结果,包括:
[0025]针对每个时间窗口,对该时间窗口内的目标管理对象的行为状态数据进行分析处理,得到所述目标管理对象的至少一种异常行为的持续状态信息;
[0026]将所述持续状态信息确定为所述第一处理结果。
[0027]这里,可以针对客户端所对应目标管理对象的行为状态数据这一用户数据进行分析处理,所得到的有关目标管理对象的至少一种异常行为的持续状态信息可以便于分析用户的学习情况,更具实用性。
[0028]在一种可能的实施方式中,在异常行为包括异常学习行为的情况下,所述异常学习行为包括如下至少一项:
[0029]未学习行为、注意力异常行为、姿态异常行为。
[0030]在一种可能的实施方式中,所述用户数据包括多个用户的用户数据;所述分别对每个时间窗口内产生的用户数据进行分析处理,得到各时间窗口各自对应的第一处理结果,包括:
[0031]针对每个时间窗口,执行如下步骤:
[0032]在确定所述时间窗口内产生的多个用户的用户数据的数据量大于预设阈值的情况下,将所述多个用户划分为多组用户;以及,
[0033]对所述多组用户的用户数据进行并行的分析处理,得到所述时间窗口内针对每组用户的第一处理结果。
[0034]这里,在确定一个时间窗口内产生的多个用户的用户数据的数据量比较大的情况
下,可以先对多个用户进行划组,划组后的多组用户之间可以采用并行处理的方式,提升分析处理的效率。
[0035]在一种可能的实施方式中,在所述分别对每个时间窗口内产生的用户数据进行分析处理之前,所述方法还包括:
[0036]针对每个时间窗口,执行如下步骤:
[0037]对所述时间窗口内产生的用户数据进行冗余处理和格式化处理中的至少一项,得到处理后的用户数据。
[0038]这里,通过冗余处理和/或格式化处理,可以使得后续的分析处理操作更为高效。
[0039]在一种可能的实施方式中,所述用户数据包括用户学习数据,所述对所述时间窗口内产生的用户数据进行冗余处理和格式化处理中的至少一项,得到处理后的用户数据,包括如下至少一项:
[0040]响应于所述时间窗口指示的时段不属于预设学习时间段,则删除所述时间窗口内产生的用户学习数据;
[0041]响应于所述时间窗口内产生的用户学习数据包含隐私数据,则删除所述时间窗口内产生的隐私数据,得到处理后的用户数据。
[0042]在一种可能的实施方式中,所述用户数据包括用户学习数据,所述对所述时间窗口内产生的用户数据进行冗余处理和格式化处理中的至少一项,得到处理后的用户数据,包括:
[0043]基于预设学习数据模板,将所述时间窗口内产生的用户学习数据转化为与所述预设学习数据模板匹配的学习数据;
[0044]将与所述预设学习数据模板匹配的学习数据,确定为处理后的用户数据。
[0045]第二方面,本公开实施例还提供了一种数据存本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据获取的方法,其特征在于,所述方法包括:响应于接收到的客户端发送的基于目标时间段的处理结果获取请求,从预先存储的各时间窗口各自对应的第一处理结果中,获取与所述目标时间段匹配的多个时间窗口各自对应的第一处理结果;对获取的多个第一处理结果进行汇总处理,得到所述目标时间段对应的第二处理结果;向所述客户端返回所述第二处理结果。2.根据权利要求1所述的方法,其特征在于,在所述获取与所述目标时间段匹配的多个时间窗口各自对应的第一处理结果之前,所述方法还包括:获取用户数据;所述用户数据包括用户视频数据以及基于所述用户视频数据得到的用户行为数据;按照所述用户数据的产生时间,将所述用户数据划分到不同的时间窗口;分别对每个时间窗口内产生的用户数据进行分析处理,得到各时间窗口各自对应的第一处理结果。3.根据权利要求2所述的方法,其特征在于,在所述得到各时间窗口各自对应的第一处理结果之后,所述方法还包括:分别将各第一处理结果存储至预设数据库;所述获取与所述目标时间段匹配的多个时间窗口各自对应的第一处理结,包括:基于时间段与时间窗口之间的时间对应关系,从所述各时间窗口中确定与所述目标时间段匹配的多个时间窗口;从所述预设数据库中读取所述多个时间窗口各自对应的第一处理结果。4.根据权利要求2或3所述的方法,其特征在于,所述按照所述用户数据的产生时间,将所述用户数据划分到不同的时间窗口,包括:按照所述用户数据的产生时间以及数据量,将所述用户数据划分到不同的时间窗口。5.根据权利要求2

4任一所述的方法,其特征在于,所述用户数据包括客户端所对应目标管理对象的行为状态数据;所述分别对每个时间窗口内产生的用户数据进行分析处理,得到各时间窗口各自对应的第一处理结果,包括:针对每个时间窗口,对该时间窗口内的目标管理对象的行为状态数据进行分析处理,得到所述目标管理对象的至少一种异常行为的持续状态信息;将所述持续状态信息确定为所述第一处理结果。6.根据权利要求5所述的方法,其特征在于,在异常行为包括异常学习行为的情况下,所述异常学习行为包括如下至少一项:未学习行为、注意力异常行为、姿态异常行为。7.根据权利要求2

6任一所述的方法,其特征在于,所述用户数据包括多个用户的用户数据;所述分别对每个时间窗口内产生的用户数据进行分析处理,得到各时间窗口各自对应的第一处理结果,包括:针对每个时间窗口,执行如下步骤:在确定所述时间窗口内产生的多个用户的用户数据的数据量大于预设阈值的情况下,将所述多个用户划分为多组用户;以及,
对所述多组用户的用户数据进行并行的分析处理,得到所述时间窗口内针对每组用户的第一处理结果。8.根据权利要求2

7任一所述的方法,其特征在于,在所述分别对...

【专利技术属性】
技术研发人员:赵云
申请(专利权)人:北京市商汤科技开发有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1