System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、电子设备、存储介质及程序产品技术_技高网

数据处理方法、电子设备、存储介质及程序产品技术

技术编号:40509372 阅读:7 留言:0更新日期:2024-03-01 13:24
本公开提供了一种数据处理方法、电子设备、存储介质及程序产品,涉及计算机技术领域。本公开提供的数据处理方法包括:基于预设方式获取目标数据,以使获取的目标数据具备直接应用、无需编译的属性;对目标数据进行标准化处理;获取目标数据对应的过滤规则,并且监听数据源,基于过滤规则以及监听得到的源数据按照清洗规则对所有目标数据进行清洗,得到清洗后的目标数据。

【技术实现步骤摘要】

本公开涉及计算机,本公开尤其涉及一种数据处理方法、电子设备、存储介质及程序产品


技术介绍

1、随着互联网技术的快速发展,基于多种业务场景可以开发出各种各样的应用程序,通过应用程序可以向用户推送一些用户偏好的数据。例如,通过房源应用程序可以推送用户比较偏好的房源数据。

2、相关技术提供的数据处理方法包括:接收来自多个对象的业务数据,业务数据包括多个信息项;依次对各信息项进行数据清洗,数据清洗包括:判断信息项是否属于预设的基于认定结果进行清洗的类型;若信息项属于预设的基于认定结果进行清洗的对象,则调用信息项对应的认定结果,并以认定结果作为信息项清洗后的数据;若信息项不属于预设的基于认定结果进行清洗的类型,则根据预设的多个数据清洗规则,依次对信息项进行清洗,得到信息项清洗后的数据。

3、但是上述清洗方法无法对海量的来自各个业务的数据进行处理,并且处理效果差,缺乏特定业务的属性,不能满足特定业务需要。


技术实现思路

1、本公开提供了一种数据处理方法、电子设备、存储介质及程序产品。

2、一方面,提供了一种数据处理方法,包括:

3、基于预设方式获取目标数据,以使获取的所述目标数据具备直接应用、无需编译的属性;

4、对所述目标数据进行标准化处理;

5、获取所述目标数据对应的过滤规则,并且监听数据源,基于所述过滤规则以及监听得到的源数据按照清洗规则对目标数据进行清洗,得到清洗后的目标数据。

6、在一种可选地实施例中,所述基于所述过滤规则以及监听得到的源数据按照清洗规则对目标数据进行清洗,得到清洗后的目标数据,包括:

7、获取目标数据对应的目标对象属性特征,基于所述目标对象属性特征得到第一表达式;

8、获取用户基于所述目标对象的用户需求特征,基于所述用户需求特征得到第二表达式;

9、基于所述第一表达式与所述第二表达式对目标数据进行清洗,得到清洗后的目标数据。

10、在一种可选地实施例中,基于所述第一表达式与所述第二表达式对目标数据进行清洗,得到清洗后的目标数据,包括:

11、当所述目标数据满足第一表达式和/或满足第二表达式时,得到清洗后的目标数据。

12、在一种可选地实施例中,基于所述第一表达式与所述第二表达式对目标数据进行清洗,得到清洗后的目标数据,还包括:

13、当所述目标数据不满足第一表达式且不满足第二表达式时,基于所述目标数据对应的目标对象属性特征建立第三表达式,或基于用户对所述目标数据对应的目标对象的需求建立第四表达式;

14、基于所述第三表达式与所述第四表达式对所述目标数据进行清洗,得到清洗后的目标数据。

15、在一种可选地实施例中,所述对所述目标数据进行标准化处理,包括:

16、对所述目标数据按照预设标准化方式进行预处理;

17、将所述预处理的目标数据按照预设规则进行排序,形成具有序列的数据队列。

18、在一种可选地实施例中,所述对所述目标数据按照预设标准化方式进行预处理,包括:

19、所述目标数据包括本时刻目标数据和下一时刻目标数据,将本时刻目标数据和所述下一时刻目标数据按照预设标准化方式进行预处理;

20、将所述本时刻目标数据按照预设规则进行排序,基于下一时刻目标数据的特征值对下一时刻目标数据和本时刻目标数据按照预设规则进行排序。

21、在一种可选地实施例中,所述方法还包括:获取监听数据源的数据队列的延迟信息,基于所述延迟信息根据预设策略配置对数据源预设节点进行扩容处理。

22、本公开还提供了一种电子设备,包括:存储器,存储器存储执行指令;以及处理器或其他硬件模块,处理器或其他硬件模块执行存储器存储的执行指令,使得处理器或其他硬件模块执行上述的方法。

23、本公开还提供了一种可读存储介质,可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现上述的方法。

24、本公开还提供了一种计算机程序产品,包括计算机程序/指令,计算机程序/指令被处理器执行时实现上述的方法。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述过滤规则以及监听得到的源数据按照清洗规则对目标数据进行清洗,得到清洗后的目标数据,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述第一表达式与所述第二表达式对目标数据进行清洗,得到清洗后的目标数据,包括:

4.根据权利要求2所述的方法,其特征在于,基于所述第一表达式与所述第二表达式对目标数据进行清洗,得到清洗后的目标数据,还包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述目标数据进行标准化处理,包括:

6.根据权利要求5所述的方法,其特征在于,所述对所述目标数据按照预设标准化方式进行预处理,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取监听数据源的数据队列的延迟信息,基于所述延迟信息根据预设策略配置对数据源预设节点进行扩容处理。

8.一种电子设备,其特征在于,包括:

9.一种可读存储介质,其特征在于,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现权利要求1至7中任一项所述的数据处理方法。

10.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述的数据处理方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述过滤规则以及监听得到的源数据按照清洗规则对目标数据进行清洗,得到清洗后的目标数据,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述第一表达式与所述第二表达式对目标数据进行清洗,得到清洗后的目标数据,包括:

4.根据权利要求2所述的方法,其特征在于,基于所述第一表达式与所述第二表达式对目标数据进行清洗,得到清洗后的目标数据,还包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述目标数据进行标准化处理,包括:

6.根据权利要求5所述...

【专利技术属性】
技术研发人员:王玉龙
申请(专利权)人:贝壳找房北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1