一种基于电商平台的数据清洗验证方法技术

本发明专利技术公开了一种基于电商平台的数据清洗验证方法，其具体实现过程为：首先是对采集数据进行初步验证，发现问题及时反馈；然后根据电商平台常见的异常，设定具体的步骤处理这些异常，处理过程中及时检验数据处理是否正确；最后再根据业务逻辑对数据进一步特殊处理，使数据符合分析需求；验证数据，完成处理过程。该基于电商平台的数据清洗验证方法与现有技术相比，涵盖电商数据的基本的异常情形，可以实现预处理，然后再根据特殊性来对数据进行特殊处理，能减少前期大部分的冗余时间，提高效率，实用性强。

【技术实现步骤摘要】

本专利技术涉及数据通信
，具体地说是一种实用性强、基于电商平台的数据清洗验证方法。
技术介绍
近年来，随着信息技术和互联网的不断迅速发展，互联网信息在社会和生活中的地位越来越显著。随着大数据时代的到来，数据的价值得到了更好的体现，特别是互联网数据。在大数据时代，数据就是价值，拥有数据就是拥有价值。互联网作为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。数据清洗和验证可以对采集到的数据进行异常处理和标准化处理，可以使数据有杂乱无章，噪声大异常情况多的数据，快速变为可分析的有意义的数据。这一点，数据分析和验证所起到的作用至关重要，如何高速有效的清洗和验证是摆在目前的最关键的课题。在电商数据采集过程中总会不可避免的存在数据异常和噪声，而这些异常的数据数据量比较大，很多是因为人为的原因，如不规范的店铺名等，如何快速有效的处理这些异常数据，提高数据质量成为数据分析过程中的首要目标。众所周知，数据分析的步骤一般为数据采集，数据清洗整理，最后是根据业务逻辑分析数据。然而，数据清洗和整理通常在整个流程中占据非常大比例的时间，甚至有七分清洗，三分分析的说法。目前清洗处理电商数本文档来自技高网...

【技术保护点】
一种基于电商平台的数据清洗验证方法，其特征在于，其具体实现过程为：首先是对采集数据进行初步验证，发现问题及时反馈；然后根据电商平台常见的异常，设定具体的步骤处理这些异常，处理过程中及时检验数据处理是否正确；最后再根据业务逻辑对数据进一步特殊处理，使数据符合分析需求；验证数据，完成处理过程。

【技术特征摘要】
1.一种基于电商平台的数据清洗验证方法，其特征在于，其具体实现过程为：首先是对采集数据进行初步验证，发现问题及时反馈；然后根据电商平台常见的异常，设定具体的步骤处理这些异常，处理过程中及时检验数据处理是否正确；最后再根据业务逻辑对数据进一步特殊处理，使数据符合分析需求；验证数据，完成处理过程。2.根据权利要求1所述的一种基于电商平台的数据清洗验证方法，其特征在于，对采集数据进行验证的过程为：首先对采集总数和以往历史采集总数进行对比，这里的采集总数包括记录总条数、销售额；如果两者相差较大的数据异常，且没有特殊解释，则判定采集有问题，及时向采集部分反馈，其中相差较大的差值为自定义内容，特殊解释则是指相应的电商解释。3.根据权利要求1所述的一种基于电商平台的数据清洗验证方法，其特征在于，设定异常处理步骤的过程为：在初步验证无误后，对数据异常进行初步常规处理，即首先确定目标字段，对分析至关重要的字段，明确目标形式，这里的重要字段包括...

【专利技术属性】
技术研发人员：司贯鲁，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东;37