System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、平台、计算设备及存储介质技术_技高网

数据处理方法、平台、计算设备及存储介质技术

技术编号:41062758 阅读:2 留言:0更新日期:2024-04-24 11:15
本说明书实施例提供数据处理方法、平台、计算设备及存储介质,其中所述数据处理方法应用于数据处理平台,所述数据处理平台部署有至少一个外部系统支持的通信协议,所述方法包括:接收至少一个外部系统基于通信协议发送的数据查询请求,其中,数据查询请求中携带查询信息;根据查询信息从数据池中获取对应的待处理数据,其中,数据池中存储有从至少两个数据源抽取到的数据;根据待处理数据的属性信息,对各个待处理数据进行至少一次聚类处理,获得聚类后的目标数据,并基于通信协议将目标数据反馈给对应的外部系统。实现根据用户需求对数据进行随意组合,通过兼容至少一种通信协议,实现与多种外部系统对接,提高用户查询数据的灵活性和查询效率。

【技术实现步骤摘要】

本说明书实施例涉及计算机,特别涉及一种数据处理方法、平台、计算设备及存储介质


技术介绍

1、随着社会发展,大数据在多个领域中发挥重要作用,包括商业、政府、医疗和教育等方面。通过大数据分析,企业能更精准地了解市场需求和消费者行为,政府能优化公共服务,合理配置资源。医疗中,大数据有助于更准确诊断和制定治疗方案。教育上,大数据分析学生行为和兴趣,提供个性化教育服务,大数据处理的应用意义重大。

2、现有技术中的大数据是通过hadoop集群架构处理,但是这种方式后期无法根据用户需求对数据进行随意组合,并且无法对接多种不同系统,导致数据查询效率低。

3、因此,亟需提供一种方案来解决上述技术问题。


技术实现思路

1、有鉴于此,本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理平台,一种计算设备以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面,提供了一种数据处理方法,包括:接收至少一个外部系统基于通信协议发送的数据查询请求,其中,所述数据查询请求中携带查询信息;

3、根据所述查询信息从数据池中获取对应的待处理数据,其中,所述数据池中存储有从至少两个数据源抽取到的数据;

4、根据所述待处理数据的属性信息,对各个待处理数据进行至少一次聚类处理,获得聚类后的目标数据,并基于通信协议将所述目标数据反馈给对应的外部系统。

5、在本说明书的一个实施例中,所述接收至少一个外部系统基于通信协议发送的数据查询请求之前,还包括:

6、根据数据源特征为所述至少两种数据源配置对应的预设数据同步方式,通过预设数据同步方式从所述至少两个数据源中获取更新数据;

7、对所述更新数据进行数据标准化处理获得所述待处理数据。

8、在本说明书的一个实施例中,所述根据数据源特征为所述至少两种数据源配置对应的预设数据同步方式,包括:

9、获取所述数据源对应的数据源特征,其中,所述数据源特征用于表征所述数据源是否能够监测自身更新数据;

10、在所述数据源能够监测自身更新数据的情况下,为所述数据源配置被动同步方式;

11、在所述数据源不能监测自身更新数据的情况下,为所述数据源配置主动同步方式。

12、在本说明书的一个实施例中,所述对所述更新数据进行数据标准化处理获得所述待处理数据,包括:

13、根据预设过滤条件,对所述更新数据进行过滤处理,得到过滤数据;

14、将所述过滤数据进行格式转换为所述聚类处理需求的格式,得到所述待处理数据并将所述待处理数据存储于所述数据池中。

15、在本说明书的一个实施例中,所述查询信息包括至少一种组合规则;所述根据所述待处理数据的属性信息,对各个待处理数据进行至少一次聚类处理,获得聚类后的目标数据,包括:

16、根据所述组合规则和所述待处理数据的属性信息,将所述待处理数据按照所述组合规则进行至少一次组合,得到所述目标数据。

17、在本说明书的一个实施例中,所述至少一个属性信息包括第一属性信息和第二属性信息,所述根据所述组合规则和所述待处理数据的属性信息,将所述待处理数据按照所述组合规则进行至少一次组合,得到所述目标数据,包括:

18、根据第一组合规则,将与所述第一属性信息相关联的待处理数据进行组合得到中间数据;

19、根据第二组合规则,将与所述第二属性信息相关联的中间数据进行组合得到所述目标数据。

20、在本说明书的一个实施例中,所述根据第一组合规则,将与所述第一属性信息相关联的待处理数据进行组合得到中间数据,包括:

21、将属性信息相关联的待处理数据进行组合,得到第一中间数据;

22、将属性信息相同的第一中间数据进行组合,得到所述中间数据。

23、根据本说明书实施例的第二方面,提供了一种数据处理平台,包括:

24、请求接收模块,被配置为接收至少一个外部系统基于通信协议发送的数据查询请求,其中,所述数据查询请求中携带查询信息;

25、数据查询模块,被配置为根据所述查询信息从数据池中获取对应的待处理数据,其中,所述数据池中存储有从至少两个数据源抽取到的数据;

26、数据聚类模块,被配置为根据所述待处理数据的属性信息,对各个待处理数据进行至少一次聚类处理,获得聚类后的目标数据,并基于通信协议将所述目标数据反馈给对应的外部系统。

27、根据本说明书实施例的第三方面,提供了一种计算设备,包括:

28、存储器和处理器;

29、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现所述数据处理方法的步骤。

30、根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现所述数据处理方法的步骤。

31、本说明书一个实施例通过接收至少一个外部系统的数据查询请求,并根据数据查询请求从数据池中获取对应的待处理数据,根据待处理数据的属性信息对待处理数据进行聚类,以实现根据用户的需求对数据进行随意组合,满足用户多种查询需求。同时,由于数据处理平台中部署有至少一个外部系统支持的通信协议,外部系统基于通信协议发送数据查询请求,并且数据处理平台基于通信协议将目标数据反馈给对应的外部系统,使数据处理平台能够轻松对接多种外部系统,提供用户查询数据的灵活性和查询效率。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于数据处理平台,所述数据处理平台部署有至少一个外部系统支持的通信协议,所述方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述接收至少一个外部系统基于通信协议发送的数据查询请求之前,还包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述根据数据源特征为所述至少两种数据源配置对应的预设数据同步方式,包括:

4.根据权利要求2所述的数据处理方法,其特征在于,所述对所述更新数据进行数据标准化处理获得所述待处理数据,包括:

5.根据权利要求1所述的数据处理方法,其特征在于,所述查询信息包括至少一种组合规则;所述根据所述待处理数据的属性信息,对各个待处理数据进行至少一次聚类处理,获得聚类后的目标数据,包括:

6.根据权利要求5所述的数据处理方法,其特征在于,所述至少一个属性信息包括第一属性信息和第二属性信息,所述根据所述组合规则和所述待处理数据的属性信息,将所述待处理数据按照所述组合规则进行至少一次组合,得到所述目标数据,包括:

7.根据权利要求6所述的数据处理方法,其特征在于,所述根据第一组合规则,将与所述第一属性信息相关联的待处理数据进行组合得到中间数据,包括:

8.一种数据处理平台,其特征在于,包括:

9.一种计算设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述数据处理方法的步骤。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于数据处理平台,所述数据处理平台部署有至少一个外部系统支持的通信协议,所述方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述接收至少一个外部系统基于通信协议发送的数据查询请求之前,还包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述根据数据源特征为所述至少两种数据源配置对应的预设数据同步方式,包括:

4.根据权利要求2所述的数据处理方法,其特征在于,所述对所述更新数据进行数据标准化处理获得所述待处理数据,包括:

5.根据权利要求1所述的数据处理方法,其特征在于,所述查询信息包括至少一种组合规则;所述根据所述待处理数据的属性信息,对各个待处理数据进行至少一次聚类处理,...

【专利技术属性】
技术研发人员:王宇明杜畅胡少慧武凯
申请(专利权)人:内蒙古伊泰信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1