一种大数据清洗方法技术

本申请提供的一种大数据清洗方法，涉及数据处理技术领域。在本申请中，首先，获得待处理的原始业务数据，其中，原始业务数据为基于对目标业务对象进行数据采集得到的数据量大于预设量的业务数据；其次，对原始业务数据进行清洗处理，以筛除原始业务数据中的无效数据，得到目标业务数据，其中，无效数据为原始业务数据中重要程度低于预设程度的业务数据，目标业务数据为原始业务数据中的部分或全部数据。基于上述方法，可以改善现有技术中数据清洗的效果较差的问题。

【技术实现步骤摘要】
一种大数据清洗方法
本申请涉及数据处理
，具体而言，涉及一种大数据清洗方法。
技术介绍
在大数据
中，需要处理的数据是海量的，并且，在海量的数据中并不是全部数据都可以被利用，因而，需要对获取的数据进行清洗处理。但是，经专利技术人研究发现，在现有的数据清洗处理技术中，存在着数据清洗的效果较差的问题。
技术实现思路
有鉴于此，本申请的目的在于提供一种大数据清洗方法，以改善现有技术中数据清洗的效果较差的问题。为实现上述目的，本申请实施例采用如下技术方案：一种大数据清洗方法，应用于大数据清洗设备，所述大数据清洗方法包括：获得待处理的原始业务数据，其中，所述原始业务数据为基于对目标业务对象进行数据采集得到的数据量大于预设量的业务数据；对所述原始业务数据进行清洗处理，以筛除所述原始业务数据中的无效数据，得到目标业务数据，其中，所述无效数据为所述原始业务数据中重要程度低于预设程度的业务数据，所述目标业务数据为所述原始业务数据中的部分或全部数据。在一种可能的实施例中，在上述大数据清洗方法中本文档来自技高网...

【技术保护点】
1.一种大数据清洗方法，其特征在于，应用于大数据清洗设备，所述大数据清洗方法包括：/n获得待处理的原始业务数据，其中，所述原始业务数据为基于对目标业务对象进行数据采集得到的数据量大于预设量的业务数据；/n对所述原始业务数据进行清洗处理，以筛除所述原始业务数据中的无效数据，得到目标业务数据，其中，所述无效数据为所述原始业务数据中重要程度低于预设程度的业务数据，所述目标业务数据为所述原始业务数据中的部分或全部数据。/n

【技术特征摘要】
1.一种大数据清洗方法，其特征在于，应用于大数据清洗设备，所述大数据清洗方法包括：
获得待处理的原始业务数据，其中，所述原始业务数据为基于对目标业务对象进行数据采集得到的数据量大于预设量的业务数据；
对所述原始业务数据进行清洗处理，以筛除所述原始业务数据中的无效数据，得到目标业务数据，其中，所述无效数据为所述原始业务数据中重要程度低于预设程度的业务数据，所述目标业务数据为所述原始业务数据中的部分或全部数据。


2.根据权利要求1所述的大数据清洗方法，其特征在于，所述对所述原始业务数据进行清洗处理，以筛除所述原始业务数据中的无效数据，得到目标业务数据的步骤，包括：
对所述原始业务数据进行去噪处理，以筛除所述原始业务数据中的失真数据，得到第一业务数据，其中，所述失真数据为所述原始业务数据中的错误数据，所述第一业务数据为所述原始业务数据中的部分或全部数据；
对所述第一业务数据进行清洗处理，以筛除所述第一业务数据中的无效数据，得到目标业务数据，其中，所述无效数据为所述第一业务数据中重要程度低于预设程度的业务数据，所述目标业务数据为所述原始业务数据中的部分或全部数据。


3.根据权利要求2所述的大数据清洗方法，其特征在于，所述对所述第一业务数据进行清洗处理，以筛除所述第一业务数据中的无效数据，得到目标业务数据的步骤，包括：
对所述第一业务数据进行内容识别处理，得到对应的内容识别结果；
基于所述内容识别结果对所述第一业务数据的各个数据部分进行重要程度确定处理，得到每一个所述数据部分对应的重要程度信息；
基于每一个所述数据部分对应的重要程度信息，确定每一个所述数据部分是否属于无效数据；
将不属于无效数据的所述数据部分确定为目标业务数据。


4.根据权利要求3所述的大数据清洗方法，其特征在于，所述基于所述内容识别结果对所述第一业务数据的各个数据部分进行重要程度确定处理，得到每一个所述数据部分对应的重要程度信息的步骤，包括：
获得预先构建的内容-重要程度对应关系，其中，所述内容-重要程度对应关系基于所述大数据清洗设备响应用户进行的第一配置操作生成；
基于所述内容识别结果和所述内容-重要程度对应关系，确定所述第一业务数据的各个数据部分的重要程度信息。


5.根据权利要求3所述的大数据清洗方法，其特征在于，所述基于所述内容识别结果对所述第一业务数据的各个数据部分进行重要程度确定处理，得到每一个所述数据部分对应的重要程度信息的步骤，包括：
针对所述第一业务数据中的每一个数据部分，判断该数据部分是否存在预设标记信息，其中，所述预设标记信息基于响应用户操作生成；
将存在所述预设标记信息的每一个数据部分的重要程度信息确定为具有第一重要程度信息，并将不存在所述预设标记信息的每一个数据部分的重要程度信息确定为具有第二重要程度信息，其中，所述第一重要程度信息用于表征对应的数据部分不属于无效数据，所述第二重要程度信息用于表征对应的数据部分属于无效数据。


6.根据权利要求3所述的大数据清洗方法，其特征在于，所述基于每一个所述数据部分对应的重要程度信息，确定每一个所述数据部分是否属于无效数据的步骤，包括：<...

【专利技术属性】
技术研发人员：黄柱挺，申海平，沈陕威，苏军武，
申请(专利权)人：黄柱挺，
类型：发明
国别省市：广东;44