数据清洗方法、装置、相关设备及存储介质制造方法及图纸

技术编号:43889729 阅读:14 留言:0更新日期:2025-01-03 13:05
本申请公开了一种数据清洗方法、装置、云平台、客户端及存储介质,涉及数据清洗技术领域。其中,方法包括:云平台获取客户端的数据清洗请求,并获取所述数据清洗请求对应的待清洗数据,所述客户端对应服务器所在的网络与所述云平台对应服务器所在的网络不同;对所述待清洗数据进行数据清洗,并对进行数据清洗的过程进行监听;其中,在第一时长内监听到数据清洗结果,且所述数据清洗结果满足第一条件的情况下,向所述客户端发送所述数据清洗结果;在第一时长内未监听到数据清洗结果的情况下,或者,在第一时长内监听到数据清洗结果,且所述数据清洗结果不满足第一条件的情况下,向所述客户端发送通知信息,所述通知信息表征数据清洗失败。

【技术实现步骤摘要】

本申请涉及数据清洗,尤其涉及一种数据清洗方法、装置、相关设备及存储介质


技术介绍

1、目前,互联网产品数据验证逻辑已经逐渐成熟,数据验证的模型也开始逐渐丰富和多样化,不同的数据类型可以使用不同的数据验证模型来进行归纳和处理,部分企业也开始了着手从平台即服务(paas,platform-as-a-service)到软件即服务(saas,software-as-a-service)的服务模式转变,但通过saas的方式来实现数据清洗一直停留在概念设计阶段。

2、相关技术中,数据清洗需求方通常在公司内部使用内网服务来进行数据清洗,而对于如何使用外网进行全量数据过滤,即如何通过外网实现数据清洗,相关技术尚未有有效解决方案。


技术实现思路

1、为解决相关技术问题,本申请实施例提供一种数据清洗方法、装置、相关设备及存储介质。

2、本申请实施例的技术方案是这样实现的:

3、本申请实施例提供一种数据清洗方法,应用于云平台,包括:

4、获取客户端的数据清洗请求,并获取所述数据清洗本文档来自技高网...

【技术保护点】

1.一种数据清洗方法,其特征在于,应用于云平台,包括:

2.根据权利要求1所述的方法,其特征在于,所述云平台获取的待清洗数据是所述客户端采用第一方式进行了加密的数据,所述对所述待清洗数据进行数据清洗,包括:

3.根据权利要求1所述的方法,其特征在于,所述对所述待清洗数据进行数据清洗,包括:

4.根据权利要求3所述的方法,其特征在于,所述对所述多个子任务进行分布式的并行处理,包括:

5.根据权利要求3所述的方法,其特征在于,所述对进行数据清洗的过程进行监听,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

...

【技术特征摘要】

1.一种数据清洗方法,其特征在于,应用于云平台,包括:

2.根据权利要求1所述的方法,其特征在于,所述云平台获取的待清洗数据是所述客户端采用第一方式进行了加密的数据,所述对所述待清洗数据进行数据清洗,包括:

3.根据权利要求1所述的方法,其特征在于,所述对所述待清洗数据进行数据清洗,包括:

4.根据权利要求3所述的方法,其特征在于,所述对所述多个子任务进行分布式的并行处理,包括:

5.根据权利要求3所述的方法,其特征在于,所述对进行数据清洗的过程进行监听,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.一种数据清洗方法,其特征在于,应用于客户端,包括:

【专利技术属性】
技术研发人员:李志军
申请(专利权)人:北京京东乾石科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1