一种原始数据处理方法技术

本发明专利技术涉及一种原始数据处理方法，该方法应用于原始数据处理系统中，该系统包括多个原始数据源，多个数据收集单元，集群存储器，原始数据处理平台，数据管理器，客户端；该原始数据处理方法能够对原始数据进行去重复，去矛盾，去不合理处理，基于数据记录相似度进行数据记录的去重复处理，基于置信度选择数据记录作删除处理，提高了数据去重复的准确度和效率，减少了人为参与的工作量，提高了自动化程度，从而提高了客户端用户的用户体验。

【技术实现步骤摘要】
一种原始数据处理方法
本专利技术属于数据处理领域，尤其涉及一种原始数据处理方法。
技术介绍
自互联网出现以来，互联网上的互联网页面的数量就飞速增长着，也恰是由于其这种增长速度，形成了世界上最大的信息资源库。互联网信息整合技术就是对这一个信息资源库进行有效处理，整合相关信息，为数据挖掘提供数据方面的支撑，以便更好地应用于专业领域中的信息服务。在当前飞速发展的网络时代，信息资源日益丰富，互联网信息整合已成为信息时代的重要内容，在多个领域中都有互联网信息整合的应用。但是在存储过程中，未对数据进行去重处理，从而导致数据冗余。并且，随着数据量增加，数据冗余加剧，造成存储空间浪费。因此，急需一种数据处理方法，在数据存储的同时实现数据去重处理，避免数据冗余和存储空间的浪费。现有技术中的原始数据处理方法都比较简单，在数据去重复时仅仅是对完全相同的两条记录进行去重复处理，而对于实质上相同的两条数据无法进行辨识，从而无法有效的进行自动化的去重复；基于上述诸多问题，现在亟需一种新的原始数据处理方法，能够对原始数据进行去重复，去矛盾，去不合理处理，基于数据记录相似度进行数据记录的去重复处理，基于置信度选择数据记录作删除处理，提高了数据去重复的准确度和效率，减少了人为参与的工作量，提高了自动化程度，从而提高了客户端用户的用户体验。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出了一种原始数据处理方法,其特征在于，该方法包括如下步骤：步骤1：原始数据处理平台对数据集合中的所有数据进行格式内容的标准化处理；步骤2：原始数据处理平台去除数据记录中存在的明显不合理字段值和一条数据记录中存在明显矛盾的字段值；步骤3：原始数据处理平台对数据集合进行缺失补全；步骤4：原始数据处理平台找出相似重复的数据以便去重。进一步的，原始数据处理平台计算两条数据记录之间的相似度，如果相似度小于第一相似度阈值，则认为该两条数据记录是重复数据；。进一步的，根据该两条数据记录的置信度选择一条数据记录进行删除。进一步的，原始数据处理平台还包括登录模块，客户端用户可以通过该登陆模块对该原始数据处理平台进行远程登录。进一步的，登录模块包括一图形用户界面，用户通过该图形用户界面进行登录。进一步的，客户端通过用户帐号和密码进行登录。进一步的，登录模块中关联保存所有用户帐号及其对应的密码和权限。进一步的，不同的用户可以通过不同的客户端登录，登陆后的用户可以访问权限范围内的数据。进一步的，不同的用户具有不同的权限。本专利技术的有益效果包括：能够对原始数据进行去重复，去矛盾，去不合理处理，基于数据记录相似度进行数据记录的去重复处理，基于置信度选择数据记录作删除处理，提高了数据去重复的准确度和效率，减少了人为参与的工作量，提高了自动化程度，从而提高了客户端用户的用户体验。【附图说明】此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中：图1是本专利技术所应用的原始数据处理系统结构图。图2是本专利技术原始数据处理方法步骤图。【具体实施方式】下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定。参见附图1，是本专利技术所应用的一种原始数据处理系统，该系统包括多个原始数据源，多个数据收集单元，集群存储器，原始数据处理平台，数据管理器，客户端；参见附图2，其示出了本专利技术原始数据处理方法的基本步骤：步骤1：原始数据处理平台对数据集合中的所有数据进行格式内容的标准化处理；步骤2：原始数据处理平台去除数据记录中存在的明显不合理字段值和一条数据记录中存在明显矛盾的字段值；步骤3：原始数据处理平台对数据集合进行缺失补全；步骤4：原始数据处理平台找出相似重复的数据以便去重；基于上述原始数据处理系统，下面对本专利技术的一种原始数据处理方法进行详细说明。(1)数据收集单元基于针对原始数据源的采集策略通过互联网进行数据获取，为收集到的数据设置来源属性和时间戳，将数据集合关联于本次收集的序列编号保存到集群存储器中相应的位置，然后发送收集完成指令给原始数据处理平台，收集完成指令中携带有本次收集的序列编号；由于不同的原始数据源其数据的产生都有一定的规律性，其产生的数据都有一定的特点；同一个数据收集单元并行负责多个原始数据源的数据收集，不能对多个原始数据源进行并行的实时收集，这样收集集效率会很低，原始数据处理平台进行数据获取和处理的效率也会很低，需要结合不同原始数据源的数据产生规律来更新针对该原始数据源的数据采集策略；针对不同的原始数据源其采集策略是不同的；针对原始数据源的采集策略可以设置为：为不同的原始数据源设置不同的数据采集周期；还可设置为，通过监控获取针对原始数据源的数据产生高峰时间段，在高峰时间段过去后进行数据采集；还可设置为：原始数据源在满足预设条件后，进行主动的数据推送，预设条件是：在数据量达到预设值后，或预设的时间周期达到后等；(2)集群存储器保存来自不同原始数据源的数据，并基于原始数据处理平台的请求将特定数据收集单元收集的匹配所请求序列编号的数据集合发送给原始数据处理平台；集群存储器中为每个数据收集单元分配独立的存储区域，同一数据收集单元采集的数据集合按照采集序列编号的顺序保存在同一存储区域中；在数据收集单元对其对应存储区域进行存储时，如果该存储区域用尽，则判断位于存储区域头部的数据集合对应的序列编码是否已经无效，如果是，则直接从该头部区域开始存储，覆盖该无效序列编码对应的数据集合，如果否，则向集群存储器申请临时存储区域进行存储，在申请临时存储区域失败的情况下，暂停针对当次序列编号的数据集合的存储；优选的：当序列编码对应的数据集合过了保留时间期限后则标记为无效；优选的：序列编号随着采集次数的增加而增加；优选的：该临时存储区域在物理上邻接该存储区域；(3)原始数据处理平台接收来自于集群存储器的数据集合并将该数据集合存放到本地缓存中；在本地缓存中数据为空的时候，原始数据处理平台向集群存储器发送数据获取请求；请求时携带所请求数据集合的序列编号，该请求的序列编号大于已处理的数据集合对应的序列编号；优选的：原始数据处理平台中包含多个并行处理设备，多个并行处理设备可以并行的对多个采集单元采集的数据集合进行处理，也可以同时处理同一数据收集单元收集的数据集合；原始数据处理平台可以一次性获取多个序列编号的数据集合，并同时对该多个序列编号的数据集合进行处理；(4)原始数据处理平台获取当前待处理的数据集合的数据签名Sig，将该数据签名Sig和历史数据签名表作对比，如果该数据签名已经保存于历史数据签名表中，则表示该数据集合已经被处理过，丢弃该数据集合，继续下一数据集合的处理；当数据集合处理完毕后，将该数据集合的数据签名保存到历史数据签名表中；数据签名基于该数据集合的数据值获取，可以采用常见的签名算法，此处不再详述；(5)原始数据处理平台对数据集合中的所有数据进行格式内容的标准化处理；由于不同的客户端可能有不同的格式要求，需要针对不同的客户端基于不同的标准化规则进行数据的标准化；如果标准化过程中发现字段值错误，则判断是不是发生字段值错位，如果是，则将字段值存放到正确的字段中；数据格式内容的不一致和输入本文档来自技高网...

【技术保护点】
一种原始数据处理方法，其特征在于，该方法包括如下步骤：步骤1：原始数据处理平台对数据集合中的所有数据进行格式内容的标准化处理；步骤2：原始数据处理平台去除数据记录中存在的明显不合理字段值和一条数据记录中存在明显矛盾的字段值；步骤3：原始数据处理平台对数据集合进行缺失补全；步骤4：原始数据处理平台找出相似重复的数据以便去重。

【技术特征摘要】
1.一种原始数据处理方法，其特征在于，该方法包括如下步骤：步骤1：原始数据处理平台对数据集合中的所有数据进行格式内容的标准化处理；步骤2：原始数据处理平台去除数据记录中存在的明显不合理字段值和一条数据记录中存在明显矛盾的字段值；步骤3：原始数据处理平台对数据集合进行缺失补全；步骤4：原始数据处理平台找出相似重复的数据以便去重。2.根据权利要求1所述的原始数据处理方法，其特征在于，原始数据处理平台计算两条数据记录之间的相似度，如果相似度小于第一相似度阈值，则认为该两条数据记录是重复数据；。3.根据权利要求2所述的原始数据处理方法，其特征在于，根据该两条数据记录的置信度选择一条数据记录进行删除。4.根据权利要求1‐3任意一项所述的原...

【专利技术属性】
技术研发人员：安西民，林殷，徐凤桐，
申请(专利权)人：航天星图科技北京有限公司，
类型：发明
国别省市：北京,11