一种数据检测方法、装置、设备及存储介质制造方法及图纸

本申请提供一种数据检测方法、装置、设备及存储介质，其中，方法包括：对分布式应用服务器节点的数据进行查询，并将查询到的数据进行格式化处理，得到符合预定义数据模型的数据模型对象；将数据模型对象分流到对应的通道中进行聚合，得到聚合数据序列对，并将聚合数据序列对关联的各个数据模型对象汇集到数据流中；基于各个数据模型对象进入数据流的起始时间，和各个数据模型对象在数据流中的末端时间，设置动态数据窗口范围；基于设置的动态数据窗口范围，对数据流中的聚合数据序列对进行处理，生成针对查询到的数据的检测结果；其中，检测结果包括查询到的数据与预期数据之间是否一致。致。致。

【技术实现步骤摘要】
一种数据检测方法、装置、设备及存储介质


[0001]本申请实施例涉及金融科技(Fintech)的数据处理
，涉及但不限于一种数据检测方法、装置、设备及存储介质。

技术介绍

[0002]随着计算机计算的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。
[0003]金融科技领域下，目前项目多在分布式架构下部署，应用和数据库实例分布在多节点区域中，节点间相互通过相应的服务进行通讯。当前的数据一致性检测方案，应用于关系型数据库管理系统例如Mysql主从架构设计中，依赖Mysql开启文件(例如二进制格式的文件Binlog)同步，在主库执行生成数据块的校验和(checksum)方式，通过Binlog同步日志传递到从库执行后，在从库计算相同的数据块checksum。这种数据一致性检测方案依赖于Mysql数据库的主从架构的Binlog同步实现。当分布式跨域场景下，同时并存多个数据库类型时，例如分布式架构设计下存在如下多个不同类型的数据库关系系统：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据检测方法，其特征在于，所述方法包括：对分布式应用服务器节点的数据进行查询，并将查询到的数据进行格式化处理，得到符合预定义数据模型的数据模型对象；将所述数据模型对象分流到对应的通道中进行聚合，得到聚合数据序列对，并将所述聚合数据序列对关联的各个数据模型对象汇集到数据流中；基于所述各个数据模型对象进入所述数据流的起始时间，和所述各个数据模型对象在所述数据流中的末端时间，设置动态数据窗口范围；基于设置的动态数据窗口范围，对所述数据流中的聚合数据序列对进行处理，生成针对所述查询到的数据的检测结果；其中，所述检测结果包括所述查询到的数据与预期数据之间是否一致。2.根据权利要求1中所述的方法，其特征在于，所述将所述数据模型对象分流到对应的通道中进行聚合，得到聚合数据序列对，包括：获得所述数据模型对象的数据序列对；其中，所述数据序列对包括数据实体特征序列和数据信息特征序列；确定所述数据实体特征序列包含的特征值对应的队列；以确定的至少一个队列，将所述数据模型对象分流到对应的通道中进行聚合，得到所述聚合数据序列对。3.根据权利要求2所述的方法，其特征在于，所述获得所述数据模型对象的数据序列对，包括：获得所述数据模型对象的数据长度、乘积系数、取模系数、所述数据模型对象包含的字符串映射的编码标准值；基于所述乘积系数、所述取模系数、所述数据长度和所述字符串映射的编码标准值，确定所述字符串的特征值，并将所述数据模型对象包含的所有字符串的特征值，作为所述数据模型对象的所述数据实体特征序列；获得所述数据模型对象的源数据库区域、数据源数据表、数据查询时间，并将所述源数据库区域、所述数据源数据表、所述数据查询时间，作为所述数据模型对象的所述数据信息特征序列；基于所述数据实体特征序列和所述数据信息特征序列，组成所述数据模型对象的数据序列对。4.根据权利要求2所述的方法，其特征在于，同一特征值对应一个队列，所述以确定的至少一个队列，将所述数据模型对象分流到对应的通道中进行聚合，得到所述聚合数据序列对，包括：为相同的数据实体特征序列创建一个新的临时度量区块，并且为所述临时度量区块标记聚合时间序列和相同的区块颜色；从所述数据模型对象的数据实体特征序列中，提取查询时间序列、源数据库区域、数据源数据表；基于所述特征值、所述源数据库区域、所述数据源数据表、所述查询时间序列、所述区块颜色和所述聚合时间序列，得到所述聚合数据序列对。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述起始时间为所述各个数
据模...

【专利技术属性】
技术研发人员：钟志明，张浩，韩森，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：