一种数据探查方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据探查方法、装置、电子设备和存储介质，该数据探查方法包括：获取与数据源对应的数据抽取规则、分割规则和探查需求，基于所述数据抽取规则和所述数据源，确定待处理数据，基于所述分割规则对所述待处理数据进行分割，得到分割数据，基于所述探查需求对所述分割数据进行探查，得到探查结果，能够对不同数据源的数据分别通过对应的分割规则进行分割，之后根据分割结果进行探查，解决了仅根据数据源数据的默认字段进行探查而无法获取有用的数据信息的问题，提高了数据的利用效率。

【技术实现步骤摘要】
一种数据探查方法、装置、电子设备和存储介质
本专利技术实施例涉及大数据处理领域，尤其涉及一种数据探查方法、装置、电子设备和存储介质。
技术介绍
随着万物互联的发展，我们已经进入了大数据时代，数据的存储结构也日新月异。数量庞大、增长迅猛、种类多样的数据已经成为企业在大数据时代发展不得不面临的现实境况，能够快速地，准确地掌握各种来源数据的数据结构信息，可以大量降低在数据分析上的投入成本，快速挖掘出数据的价值。数据探查是未来大数据处理领域的一大趋势。现有的数据探查方法，通常是通过获取不同数据源的待处理数据，利用待处理数据的字段来进行数据探查。现有技术中至少存在以下缺点：现有技术只能根据数据本身默认的字段进行探查，对于有些数据源对默认的字段进行探查并不能获得有用的数据信息，降低了数据的利用效率。
技术实现思路
本专利技术实施例提供了一种数据探查方法、装置、电子设备和存储介质，以实现对不同数据源的数据进行探查，提高数据利用效率。第一方面，本专利技术实施例提供了一种数据探查方法，包括：获取与数据源对应的数据抽取规本文档来自技高网...

【技术保护点】
1.一种数据探查方法，其特征在于，包括：/n获取与数据源对应的数据抽取规则、分割规则和探查需求；/n基于所述数据抽取规则和所述数据源，确定待处理数据；/n基于所述分割规则对所述待处理数据进行分割，得到分割数据；/n基于所述探查需求对所述分割数据进行探查，得到探查结果。/n

【技术特征摘要】
1.一种数据探查方法，其特征在于，包括：
获取与数据源对应的数据抽取规则、分割规则和探查需求；
基于所述数据抽取规则和所述数据源，确定待处理数据；
基于所述分割规则对所述待处理数据进行分割，得到分割数据；
基于所述探查需求对所述分割数据进行探查，得到探查结果。


2.根据权利要求1所述方法，其特征在于，所述分割规则包括行分割规则和列分割规则；
相应的，所述基于所述分割规则对所述待处理数据进行分割，得到分割数据，包括：
基于所述行分割规则，对所述待处理数据进行行分割，得到行分割数据；
基于所述列分割规则，对所述行分割数据进行列分割，得到行列分割数组；
相应的，所述基于所述探查需求对所述分割数据进行探查，得到探查结果，包括：
基于所述探查需求对所述行列分割数组进行行探查，得到行探查结果；
基于所述探查需求对所述行列分割数组进行列探查，得到列探查结果。


3.根据权利要求2所述方法，其特征在于，还包括：
对所述行列分割数组进行下述至少一项行探查：异常数据筛选、数据排序、数据重复率以及统计数据记录数；
对所述行列分割数组进行下述至少一项列探查：格式、类型、长度、数值、空值率、最大值、最小值、平均值以及值域分布。


4.根据权利要求1所述的方法，其特征在于，所述获取与数据源对应的数据抽取规则，包括：
根据所述数据源的类型确定所述数据抽取规则。


5.根据权利要求1所述方法，其特征在于，所述基于所述探查需求对所述分割数据进行探查，得到探查结果之后，还包括：
统计所述探查结果，得到统计结果，基于所述探查需求和所述统计结果，输出探查报告。<...

【专利技术属性】
技术研发人员：王如意，谢永恒，万月亮，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京;11