数据处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种数据处理方法、装置、设备及存储介质，该方法包括：响应于用于指示向用户推送消息的触发指令，获取活动信息，所述活动信息包括活动规则和活动文本内容；从Kafka队列中获取各个省份的实时流数据，所述实时流数据包括至少一个用户的信令数据；针对各个所述省份，根据所述活动规则和所述活动文本内容，通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户；将所述活动文本内容推送至所述目标用户使用的终端。本申请实施例提供的方法能够克服现有技术无法快速有效地处理数据，进而无法有效地为用户提供更好的服务的问题。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
本申请实施例涉及数据处理
，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
在大数据时代，数据作为信息的载体蕴含着大量的价值，是最重要的生产资料之一，因此，通过存储数据并挖掘信息的价值就变得越来越重要。目前，传统的Redis(Redis是一个高性能的key-value数据库)或者Hbase(Hbase是一个分布式的、面向列的开源数据库)都是用于存储数据。Redis支持存储的value类型相对更多，且Redis读写一般是读一条写一条；Hbase是一个适合于非结构化数据存储的数据库，可以在Hbase上运行批处理运算。但是，针对Redis，对于数据处理比较耗费服务器资源，并且读写会产生延迟；针对Hbase，对于大批量高频次的数据读写入效率比较低，并且不适合大范围扫描查询，因此，现有技术无法快速有效地处理数据，进而无法有效地为用户提供更好的服务。
技术实现思路
本申请实施例提供一种数据处理方法、装置、设备及存储介质，以克服现有技术无法快速有效地处理数据，进而无法有效地为用户提供更好的服务的问题。第一方面，本申请实施例提供一种数据处理方法，包括：响应于用于指示向用户推送消息的触发指令，获取活动信息，所述活动信息包括活动规则和活动文本内容；从Kafka队列中获取各个省份的实时流数据，所述实时流数据包括至少一个用户的信令数据；针对各个所述省份，根据所述活动规则和所述活动文本内容，通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户；将所述活动文本内容推送至所述目标用户使用的终端。在一种可能的设计中，所述根据所述活动规则和所述活动文本内容，通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户，包括：根据所述活动规则，确定对所述至少一个用户的信令数据进行筛选的筛选方式，所述筛选方式包括动态比对方式、静态比对方式或动态与静态结合的比对方式；根据所述筛选方式，对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户。在一种可能的设计中，所述活动规则包括：驻留时长判断条件和/或用户属性标签判断条件；所述根据所述活动规则，确定对所述至少一个用户的信令数据进行筛选的筛选方式，包括：若所述活动规则中包括驻留时长判断条件，则确定对所述至少一个用户的信令数据进行筛选的筛选方式为动态比对方式；若所述活动规则中包括用户属性标签判断条件，则确定对所述至少一个用户的信令数据进行筛选的筛选方式为静态比对方式；若所述活动规则中包括驻留时长判断条件和用户属性标签判断条件，则确定对所述至少一个用户的信令数据进行筛选的筛选方式为动态与静态结合的比对方式。在一种可能的设计中，若所述筛选方式为动态比对方式，所述通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户，包括：根据所述动态比对方式对应的驻留时长判断条件中的驻留时长，通过Spark框架从所述至少一个用户的信令数据查找大于或等于所述驻留时长的第一信令数据；对所述第一信令数据对应的用户进行免打扰筛选，得到允许推送所述活动文本内容的第一用户；将所述第一用户与所述驻留时长之后预设时间段的信令数据的用户进行比对，通过对重复的用户进行过滤，得到所述驻留时长之后预设时间段对应的待确定允许推送所述活动文本内容的第二用户；对所述第二用户进行免打扰筛选，得到第三用户；将所述第一用户和第三用户作为所述目标用户。在一种可能的设计中，若所述筛选方式为静态比对方式，所述通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户，包括：获取历史信令数据，所述历史信令数据存储在HDFS中；通过Spark框架从所述至少一个用户的信令数据中确定符合所述用户属性标签判断条件的第二信令数据，所述用户属性标签判断条件包括用户年龄、用户使用业务、用户居住地、用户性别中的至少一项；将所述第二信令数据对应的用户与所述历史信令数据对应的用户进行比对，通过对重复的用户进行过滤，得到待确定允许推送所述活动文本内容的第四用户；对所述第四用户进行免打扰筛选，得到所述目标用户。在一种可能的设计中，若所述筛选方式为动态与静态结合的比对方式，所述通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户，包括：根据所述动态比对方式对应的驻留时长判断条件中的驻留时长，通过Spark框架从所述至少一个用户的信令数据查找大于或等于所述驻留时长的第一信令数据；对所述第一信令数据对应的用户进行免打扰筛选，得到待确定允许推送所述活动文本内容的第五用户；获取历史信令数据，所述历史信令数据存储在HDFS中；通过Spark框架从所述第五用户的信令数据中确定符合所述用户属性标签判断条件的第三信令数据，所述用户属性标签判断条件包括用户年龄、用户使用业务、用户居住地、用户性别中的至少一项；将所述第三信令数据对应的用户与所述历史信令数据对应的用户进行比对，通过对重复的用户进行过滤，得到待确定允许推送所述活动文本内容的第六用户；对所述第六用户进行免打扰筛选，得到所述目标用户。在一种可能的设计中，所述活动文本内容为至少一条业务信息；所述将所述活动文本内容推送至所述目标用户使用的终端，包括：根据所述目标用户的属性标签，从所述至少一条业务信息中确定与所述目标用户匹配的目标业务信息；将所述目标业务信息发送至所述目标用户使用的终端。第二方面，本申请实施例提供一种数据处理装置，包括：活动信息获取模块，用于响应于用于指示向用户推送消息的触发指令，获取活动信息，所述活动信息包括活动规则和活动文本内容；实时流数据获取模块，用于从Kafka队列中获取各个省份的实时流数据，所述实时流数据包括至少一个用户的信令数据；数据处理模块，用于针对各个所述省份，根据所述活动规则和所述活动文本内容，通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户；信息发送模块，用于将所述活动文本内容推送至所述目标用户使用的终端。第三方面，本申请实施例提供一种数据处理设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面及第一方面可能的设计所述的数据处理方法。第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n响应于用于指示向用户推送消息的触发指令，获取活动信息，所述活动信息包括活动规则和活动文本内容；/n从Kafka队列中获取各个省份的实时流数据，所述实时流数据包括至少一个用户的信令数据；/n针对各个所述省份，根据所述活动规则和所述活动文本内容，通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户；/n将所述活动文本内容推送至所述目标用户使用的终端。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
响应于用于指示向用户推送消息的触发指令，获取活动信息，所述活动信息包括活动规则和活动文本内容；
从Kafka队列中获取各个省份的实时流数据，所述实时流数据包括至少一个用户的信令数据；
针对各个所述省份，根据所述活动规则和所述活动文本内容，通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户；
将所述活动文本内容推送至所述目标用户使用的终端。


2.根据权利要求1所述的方法，其特征在于，所述根据所述活动规则和所述活动文本内容，通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户，包括：
根据所述活动规则，确定对所述至少一个用户的信令数据进行筛选的筛选方式，所述筛选方式包括动态比对方式、静态比对方式或动态与静态结合的比对方式；
根据所述筛选方式，对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户。


3.根据权利要求2所述的方法，其特征在于，所述活动规则包括：驻留时长判断条件和/或用户属性标签判断条件；所述根据所述活动规则，确定对所述至少一个用户的信令数据进行筛选的筛选方式，包括：
若所述活动规则中包括驻留时长判断条件，则确定对所述至少一个用户的信令数据进行筛选的筛选方式为动态比对方式；
若所述活动规则中包括用户属性标签判断条件，则确定对所述至少一个用户的信令数据进行筛选的筛选方式为静态比对方式；
若所述活动规则中包括驻留时长判断条件和用户属性标签判断条件，则确定对所述至少一个用户的信令数据进行筛选的筛选方式为动态与静态结合的比对方式。


4.根据权利要求3所述的方法，其特征在于，若所述筛选方式为动态比对方式，所述通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户，包括：
根据所述动态比对方式对应的驻留时长判断条件中的驻留时长，通过Spark框架从所述至少一个用户的信令数据查找大于或等于所述驻留时长的第一信令数据；
对所述第一信令数据对应的用户进行免打扰筛选，得到允许推送所述活动文本内容的第一用户；
将所述第一用户与所述驻留时长之后预设时间段的信令数据的用户进行比对，通过对重复的用户进行过滤，得到所述驻留时长之后预设时间段对应的待确定允许推送所述活动文本内容的第二用户；
对所述第二用户进行免打扰筛选，得到第三用户；
将所述第一用户和第三用户作为所述目标用户。


5.根据权利要求3所述的方法，其特征在于，若所述筛选方式为静态比对方式，所述通过Spark框架对所述至少一个用户的信令数据进行筛选，确定允许推送所述活动文本内容的目标信令数据对应的目标用户，包括：
获取历史信令数据，所述历史信令数据存储在HDFS中；
通过Spark框架从所述至少一个用户...

【专利技术属性】
技术研发人员：王志军，翟立柱，王佩佩，戴智，刘鑫，陈执政，李季，
申请(专利权)人：中国联合网络通信集团有限公司，联通系统集成有限公司，联通黑龙江产业互联网有限公司，
类型：发明
国别省市：北京;11