【技术实现步骤摘要】
基于数据指纹的数据对账方法、系统及数据系统
本专利技术涉及信息处理
，并且更具体地涉及基于数据指纹的数据对账方法、系统及数据系统。
技术介绍
随着社会进入大数据时代，服务不同业务的系统层出不穷，系统产生的数据以几何层增长且数据结构复杂多样，如何快速准确地接入各种海量数据，并自动及时提供接入数据的对账结果，成为提高大数据利用价值的核心点。基于数据指纹的数据对账方法就是为解决实战需求，通过数据特征动态自适应调整算法精准快速地获取数据记录中的关键业务属性，并根据这些关键属性生成数据记录的数据指纹，提高数据对账的准确性；通过传输节点溯源算法，将数据最终对账有异常的结果，及时推送给数据提供方和数据接入方，提高修正异常数据的能力和重新传输正确数据的效率，提升大数据的数据汇聚质量和价值利用能力。由于各业务系统接入的数据量大、结构复杂多样等特点，目前市场上现有的数据对账方法，主要通过手工配置模板的方式进行数据对账工作，这些技术存在以下不足：(1)数据对账的方式，只能通过单一的手工配置模板进行数据的核对，当数据源...
【技术保护点】
1.基于数据指纹的数据对账方法，其特征在于，所述数据对账方法包括如下步骤：/n步骤一：数据提供方提供不同业务场景下的数据流，为所述数据流自动匹配数据指纹计算引擎；/n步骤二：结合数据特征动态自适应调整算法，动态获取接入数据流中的关键属性及其变化，并根据所述关键属性生成数据流的数据指纹；/n步骤三：根据数据指纹，通过传输节点溯源算法遍历数据提供方和数据接入方的中间节点，将异常对账结果提供给数据提供方和数据接入方。/n
【技术特征摘要】
1.基于数据指纹的数据对账方法，其特征在于，所述数据对账方法包括如下步骤：
步骤一：数据提供方提供不同业务场景下的数据流，为所述数据流自动匹配数据指纹计算引擎；
步骤二：结合数据特征动态自适应调整算法，动态获取接入数据流中的关键属性及其变化，并根据所述关键属性生成数据流的数据指纹；
步骤三：根据数据指纹，通过传输节点溯源算法遍历数据提供方和数据接入方的中间节点，将异常对账结果提供给数据提供方和数据接入方。
2.根据权利要求1所述的基于数据指纹的数据对账方法，其特征在于，在步骤二中，关键属性的变化包括：关键属性变更，根据关键属性的类型标签，定期分析数据源的数据项定义说明，当存在对账关键属性的类型标签有变化时，自动根据配置参数进行对账关键属性的调整。
3.根据权利要求2所述的基于数据指纹的数据对账方法，其特征在于，在步骤二中，关键属性的变化进一步包括：
关键业务属性异常，根据业务属性异常判断算法的原理获取特定时间内数项空值、重复等异常的比例，当所述比例与整个传输周期异常比例相比，出现的概率达到设置阀值，则自动触发异常调整。
4.根据权利要求3所述的基于数据指纹的数据对账方法，其特征在于，在步骤二中，在关键属性发生变化时，自动更新准确的关键属性信息，再自动匹配加密引擎，生成特定的数据指纹。
5.根据权利要求1所述的基于数据指纹的数据对账方法，其特征在于，在步骤三中，利用传输节点溯源算法遍历数据提供方和数据接入方的流程为：
数据发送方的每条传输数据由系统自动将所述数据、数据提供方、数据接入方和传输时间，计算出MD5值，作为所述数据传输路径的指纹，数据传输的每个节点都自...
【专利技术属性】
技术研发人员：林文楷，吴文，王国威，王海滨，鄢小征，王兵，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：福建;35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。