一种数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置，用于提高用户行为数据的存储及统计效率。所述方法包括：当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息；根据所述日期信息确定所述用户行为数据对应的待存储分区；将所述用户行为数据存储至所述待存储分区中。该技术方案实现了根据日期信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。

【技术实现步骤摘要】

本专利技术涉及互联网
，尤其涉及一种数据处理方法及装置。
技术介绍
互联网科技的发展使得数据量急剧增加，在数据科技的大力发展下，人们所能存储、处理的数据已经达到前所未有的量级，大数据的核心价值就是在于对于海量数据进行存储和统计分析。因此，如何对海量数据进行存储和管理成为当前亟待解决的问题。
技术实现思路
本专利技术实施例提供一种数据处理方法及装置，用于提高用户行为数据的存储及统计效率。一种数据处理方法，包括以下步骤：当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息；根据所述日期信息确定所述用户行为数据对应的待存储分区；将所述用户行为数据存储至所述待存储分区中。在一个实施例中，所述根据所述日期信息确定所述用户行为数据对应的待存储分区之前，所述方法还包括：根据所述日期信息确定所述用户行为数据对应的分钟数；将所述用户行为数据按所述分钟数进行分组，获得每分钟对应的参与用户临时表；所述根据所述日期信息确定所述用户行为数据对应的待存储分区，包括：根据所述日期信息确定所述用户行为数据在所述参与用户临时表中对应的待存储分区，所述参与用户临时表中包括用于存储所述用户行为数据的多个分区。在一个实施例中，所述日期信息为秒数信息。在一个实施例中，所述根据所述日期信息确定所述用户行为数据在所述参与用户临时表中对应的待存储分区，包括：按照以下公式计算所述用户行为数据在所述参与用户临时表中对应的待存储分区n：n＝(s+8*3600)％(24*3600)其中，所述s为所述用户行为数据对应的秒数值。在一个实施例中，所述方法还包括：确定所述参与用户临时表中的各分区的分区标识；包括：计算所述日期信息距离格林威治开始时间的天数；利用所述天数对预设数值取余，所述预设数值等于所述用户行为表中的分区个数；根据所述取余后的数值确定所述参与用户临时表中的分区标识。在一个实施例中，所述方法还包括：根据已存储至所述用户行为表中的用户行为数据对应的日期信息，判断所述用户行为表中是否存在日期与当前日期之间的时长超过预设时长的无效用户行为数据；当所述用户行为表中存在日期与当前日期之间的时长超过预设时长的无效用户行为数据时，删除日期在所述无效用户行为数据对应的日期之前的用户行为数据。一种数据处理装置，包括：第一确定模块，用于当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息；第二确定模块，用于根据所述日期信息确定所述用户行为数据对应的待存储分区；存储模块，用于将所述用户行为数据存储至所述待存储分区中。在一个实施例中，所述装置还包括：第三确定模块，用于在所述根据所述日期信息确定所述用户行为数据对应的待存储分区之前，根据所述日期信息确定所述用户行为数据对应的分钟数；分组模块，用于将所述用户行为数据按所述分钟数进行分组，获得每分钟对应的参与用户临时表；所述第二确定模块，用于根据所述日期信息确定所述用户行为数据在所述参与用户临时表中对应的待存储分区，所述参与用户临时表中包括用于存储所述用户行为数据的多个分区。在一个实施例中，所述日期信息为秒数信息。在一个实施例中，所述第二确定模块，用于按照以下公式计算所述用户行为数据在所述参与用户临时表中对应的待存储分区n：n＝(s+8*3600)％(24*3600)其中，所述s为所述用户行为数据对应的秒数值。本专利技术实施例的一些有益效果可以包括：采用本专利技术实施例提供的技术方案，能够当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息，进而根据日期信息确定用户行为数据对应的待存储分区，并将用户行为数据存储至待存储分区中，便于后续对用户行为数据进行统计，实现了根据日期信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术实施例中一种数据处理方法的示意性流程图；图2为本专利技术实施例中一种数据处理方法的示意性流程图；图3为本专利技术实施例中一种数据处理方法中确定分区标识的示意性流程图；图4为本专利技术实施例中一种数据处理装置的示意性框图；图5为本专利技术实施例中另一种数据处理装置的示意性框图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1为本专利技术实施例中一种数据处理方法的示意性流程图。如图1所示，该数据处理方法包括以下步骤S11-S13：步骤S11，当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息。步骤S12，根据日期信息确定用户行为数据对应的待存储分区。步骤S13，将用户行为数据存储至待存储分区中。在一个实施例中，执行步骤S12前，上述方法还包括以下步骤S21-S22：步骤S21，根据日期信息确定用户行为数据对应的分钟数。步骤S22，将用户行为数据按分钟数进行分组，获得每分钟对应的参与用户临时表。该实施例中，将用户行为数据按分钟数进行分组，使得每分钟写入的用户行为数据都存储至各自对应的参与用户临时表中，便于后续对用户行为数据进行管理和统计。执行完步骤S22之后，继续执行步骤S12此时，步骤S12可执行为以下步骤：根据日期信息确定用户行为数据在参与用户临时表中对应的待存储分区，参与用户临时表中包括用于存储用户行为数据的多个分区。在一个实施例中，日期信息为秒数信息。基于上述实施例，可按照如下公式(1)计算用户行为数据在参与用户临时表中对应的待存储分区n：n＝(s+8*3600)％(24*3600)(1)其中，s为用户行为数据对应的秒数值，符号％表示求余数。该实施例中，秒数信息即用户行为数据在当天的秒数值，例如，根据用户行为数据的时间戳确定出用户行为数据对应的日期信息为8月24日5时整，则该用户行为数据对应的秒数值s＝5*3600(秒)，因此，该用户行为数据对应的待存储分区n＝(5*3600+8*3600)％(24*3600)＝13。通常情况下，为方便数据统计，可将参与用户临时表中每个分区的分区标识设置为与待存储分区n的值一致，即，将参与用户临时表中的分区划分为第一分区、第二分区、第三分区等等。当n＝13时，则用户行为数据的待存储分区为第十三分区。在一个实施例中，参与用户临时表中的各分区的分区标识可通过如图3所示的步骤S31-S33确定：步骤S31，计算日期信息距离格林威治开始时间的天数。其中，格林威治时间是指位于英国伦敦郊区的皇家格林尼治天文台的标准时间，因为本初子午线被定义在通过那里的经线。格林威治开始时间即为1970年1月1日。步骤S32，利用天数对预设数值取余，预设数值等于用户行为表中的分区个数。步骤S33，根据取余后的数值确定参本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息；根据所述日期信息确定所述用户行为数据对应的待存储分区；将所述用户行为数据存储至所述待存储分区中。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息；根据所述日期信息确定所述用户行为数据对应的待存储分区；将所述用户行为数据存储至所述待存储分区中。2.根据权利要求1所述的方法，其特征在于，所述根据所述日期信息确定所述用户行为数据对应的待存储分区之前，所述方法还包括：根据所述日期信息确定所述用户行为数据对应的分钟数；将所述用户行为数据按所述分钟数进行分组，获得每分钟对应的参与用户临时表；所述根据所述日期信息确定所述用户行为数据对应的待存储分区，包括：根据所述日期信息确定所述用户行为数据在所述参与用户临时表中对应的待存储分区，所述参与用户临时表中包括用于存储所述用户行为数据的多个分区。3.根据权利要求2所述的方法，其特征在于，所述日期信息为秒数信息。4.根据权利要求3所述的方法，其特征在于，所述根据所述日期信息确定所述用户行为数据在所述参与用户临时表中对应的待存储分区，包括：按照以下公式计算所述用户行为数据在所述参与用户临时表中对应的待存储分区n：n＝(s+8*3600)％(24*3600)其中，所述s为所述用户行为数据对应的秒数值。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述参与用户临时表中的各分区的分区标识；包括：计算所述日期信息距离格林威治开始时间的天数；利用所述天数对预设数值取余，所述预设数值等于所述用户行为表中的分区个数；根据所述取余后的数值确定所述参与用户临时表中的分区标识。6.根据权利要求1所...

【专利技术属性】
技术研发人员：张俊伟，
申请(专利权)人：无锡天脉聚源传媒科技有限公司，
类型：发明
国别省市：江苏;32