【技术实现步骤摘要】
本申请涉及数据存储的领域，尤其是涉及一种数据存储与处理方法、装置、电子设备及存储介质。
技术介绍
1、数据仓库是一个用于集成和存储企业各种数据的集中式系统。它的设计目标是支持数据分析、决策支持和业务智能等任务，例如为用户推荐相关资讯等。
2、当前实时数仓大多是基于lambda架构或者kappa架构搭建的，而类似如lambda架构的数据仓库，在需要执行决策支持、智能推荐以及个性化推荐等任务时，每次都需要获取源数据，对源数据进行处理与分析，之后再利用处理与分析后的结果，进行决策分析与预测等操作，从而导致处理处理的效率较低。
技术实现思路
1、为了提高处理的效率，本申请提供一种数据存储与处理方法、装置、电子设备及存储介质。
2、第一方面，本申请提供一种数据处理方法，采用如下的技术方案：
3、一种数据存储与处理方法，包括：
4、获取每个用户的用户数据，所述用户数据用于表征用户在网络的行为所产生的数据；
5、根据所述用户数据，确定每个用户的特征数据，所述特征数据用于表征用户在网络上的行为对应的特征；
6、将所述特征数据存储至iceberg表中；
7、当接收到针对任一用户的数据操作指令时，利用flink从所述iceberg表中查找所述任一用户对应的特征数据，并根据所述数据操作指令，确定数据处理操作，并对查找到的特征数据执行对应的数据处理操作。
8、通过采用上述技术方案，通过创建iceberg表可以实
9、在一种可能的实现方式中，所述根据所述用户数据，确定每个用户的特征数据，包括：
10、对所述用户数据进行数据清洗，以得到清洗后的用户数据；
11、基于所述清洗后的用户数据，确定所述每个用户的特征数据。
12、通过采用上述技术方案，在确定用户的特征数据时，对用户数据进行数据清洗，之后再将根据清洗后的用户数据确定特征数据，能够提高确定特征数据时的准确性以及效率。
13、在另一种可能的实现方式中，所述用户数据包括用户行为数据以及用户基本数据，所述用户基本数据用于表征用户的属性；
14、其中，所述对所述用户数据进行数据清洗，以得到清洗后的用户数据，包括：
15、确定每个用户行为数据对应的发生时刻，所述发生时刻为发生对应行为时的初始时刻；
16、判断是否存在至少两个相同的发生时刻；
17、若存在，则将所述至少两个相同的发生时刻所对应的用户行为数据确定为目标行为数据；基于用户基本数据以及目标行为数据，确定所述目标行为数据与所述用户的匹配程度；
18、将匹配程度不大于预设程度阈值的目标行为数据删除，以得到清洗后的用户行为数据。
19、通过采用上述技术方案，对用户行为数据进行数据清洗时，确定每个用户行为数据的发生时刻，对于发生时刻相同的用户行为数据，分析用户行为数据与用户的匹配度，并将匹配程度小的用户行为数据删除，以得到清洗后的用户行为数据，以提供一种数据清洗的方式。
20、在另一种可能的实现方式中，所述用户行为数据包括浏览记录数据，所述浏览记录数据用于表征用户的浏览行为所产生的浏览痕迹，其中，对所述浏览记录数据进行数据清洗，得到清洗后的浏览记录数据，包括：
21、确定每个浏览记录数据对应的浏览持续时长；
22、判断每个浏览持续时长是否大于预设时长阈值；
23、将小于预设时长阈值的浏览记录数据删除，以得到清洗后的浏览记录数据。
24、通过采用上述技术方案，对用户的浏览记录数据进行清洗时，将浏览持续时长低于预设时长阈值的浏览记录数据删除，也即将可能为误触而产生的数据删除，从而使得确定出的特征数据能够更与用户更适配。
25、在另一种可能的实现方式中，所述用户数据包括用户行为数据以及用户基本数据，其中，所述根据所述用户数据，确定每个用户的特征数据，包括：
26、根据所述用户基本数据，确定所述用户基本数据对应的属性特征数据；
27、根据所述用户行为数据，确定所述用户行为数据对应的行为特征数据；
28、基于所述属性特征数据以及所述行为特征数据，确定每个用户的特征数据。
29、通过采用上述技术方案，确定所述用户基本数据对应的属性特征数据以及行为特征数据，并基于所述属性特征数据以及所述行为特征数据，确定用户的特征数据，以提供了一种确定用户的特征数据的实现方式。
30、第二方面，本申请提供一种数据存储与处理装置，采用如下的技术方案：
31、一种数据存储与处理装置，包括：
32、数据获取模块，用于获取每个用户的用户数据，所述用户数据用于表征用户在网络的行为所产生的数据；
33、特征确定模块，用于根据所述用户数据，确定每个用户的特征数据，所述特征数据用于表征用户在网络上的行为对应的特征；
34、存储模块，用于将所述特征数据存储至iceberg表中；
35、操作处理模块，用于当接收到针对任一用户的数据操作指令时，利用flink从所述iceberg表中查找所述任一用户对应的特征数据，并根据所述数据操作指令，确定数据处理操作，并对查找到的特征数据执行对应的数据处理操作。
36、通过采用上述技术方案，通过创建iceberg表可以实时进行用户数据的获取、确定特征数据并将特征数据存储至iceberg表，以不断收集用户的特征数据，并且当接收到针对任一用户的数据操作指令时，即可从当前的iceberg表所存储的数据中查询对应的特征数据以对对应的特征数据进行统计与分析，从而在每次需要对数据进行处理时，不需要每次都对用户数据进行获取与分析之后再对数据进行处理，而仅需要从iceberg表中查找对应的数据以对查找到的数据进行处理即可，从而可以提高数据处理的效率，并且，也不需要在多次对同一用户的用户数据进行处理时，重复执行获取用户数据以及得到特征数据的步骤，以进一步提高数据处理的效率。
37、在一种可能的实现方式中，所述特征确定模块在根据所述用户数据，确定每个用户的特征数据时，具体用于：
38、对所述用户数据进行数据清洗，以得到清洗后的用户数据；
39、基于所述清洗后的用户数据，确定所述每个本文档来自技高网...
【技术保护点】
1.一种数据存储与处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述用户数据，确定每个用户的特征数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述用户数据包括用户行为数据以及用户基本数据，所述用户基本数据用于表征用户的属性；
4.根据权利要求3所述的方法，其特征在于，所述用户行为数据包括浏览记录数据，所述浏览记录数据用于表征用户的浏览行为所产生的浏览痕迹，
5.根据权利要求1所述的方法，其特征在于，所述用户数据包括用户行为数据以及用户基本数据，
6.一种数据存储与处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述特征确定模块在根据所述用户数据，确定每个用户的特征数据时，具体用于：
8.根据权利要求7所述的装置，其特征在于，所述用户数据包括用户行为数据以及用户基本数据，所述用户基本数据用于表征用户的属性；
9.一种电子设备，其特征在于，该电子设备包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其
...【技术特征摘要】
1.一种数据存储与处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述用户数据，确定每个用户的特征数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述用户数据包括用户行为数据以及用户基本数据，所述用户基本数据用于表征用户的属性；
4.根据权利要求3所述的方法，其特征在于，所述用户行为数据包括浏览记录数据，所述浏览记录数据用于表征用户的浏览行为所产生的浏览痕迹，
5.根据权利要求1所述的方法，其特征在于，所述用户数据包括用户行为数据以及用户基本数据，
<...【专利技术属性】
技术研发人员：张晓霞，柴长忠，丁潇，
申请(专利权)人：维正知识产权科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。