本发明专利技术公开一种基于Thrift的数据检测方法,涉及数据检测技术领域；配置Thrift所在管理平台的产品线及产品线数据的检测方案，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测，可以对各产品线多类数据库中的数据进行质量检测并反馈检测结果，实现对数据生产过程中的质量控制，通过设置相关配置规则以及阈值条件，可以及时将超出预警值的数据生成的检测报告提供给质量控制人员，并分析误差的原因，最终提高数据质量提升客户的满意度。
A data detection method based on thrift
【技术实现步骤摘要】
一种基于Thrift的数据检测方法
本专利技术公开一种基于Thrift的数据检测方法,涉及数据检测
技术介绍
随着互联网、传感器等数字化终端设备的普及，各种各样的数据呈现出爆炸式的指数级增长，对数据的收集和处理也成了数字化时代需要的重点。由于互联网数据杂乱无章，加大了运维人员数据处理的难度和复杂度，无法及时对得到的数据进行有效的数据挖掘，从而获得有价值的内容，失去了大批量数据产生的意义。因此在数据处理挖掘之前对数据的完整性、一致性进行检测十分重要。与此同时梳理出数据的各类指标并定义一个可以接受的误差范围，即预警值。本专利技术提供一种基于Thrift的数据检测方法,配置Thrift所在管理平台的产品线及产品线数据的检测方案，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测，可以对各产品线多类数据库中的数据进行质量检测并反馈检测结果，实现对数据生产过程中的质量控制，通过设置相关配置规则以及阈值条件，可以及时将超出预警值的数据生成的检测报告提供给质量控制人员，并分析误差的原因，最终提高数据质量提升客户的满意度。
技术实现思路
本专利技术针对现有技术的问题，提供一种基于Thrift的数据检测方法，利用Thrift通信实现对各产品线多类数据库中的数据进行的完整性和一致性的质量检测并反馈检测结果，用于数据生产过程中的质量控制，同时质量控制人员对超出预警值的数据给出分析报告，并分析误差的原因，最终提高数据质量提升客户的满意度。本专利技术提出的具体方案是：一种基于Thrift的数据检测方法，配置Thrift所在管理平台的产品线及产品线数据的检测方案，同时配置Thrift调用接口，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测。所述的一种基于Thrift的数据检测方法中配置产品线数据的完整性和一致性检测方案，并分别配置完整性和一致性检测方案的相应检测规则。所述的一种基于Thrift的数据检测方法中通过配置表记录完整性和一致性检测方案的相应检测规则。所述的一种基于Thrift的数据检测方法中一致性检测方案中，利用配置表簇表示同一类配置表。所述的一种基于Thrift的数据检测方法中根据产品线数据的检测方案启动Spark服务检测任务，通过Thrift调用接口调用Spark对应接口，生成Spark任务在Yarn-Cluster模式下进行数据检测；或者根据产品线数据的检测方案启动SQL服务检测任务，通过Thrift调用接口调用SQL服务对应接口，SQL服务进行数据检测。一种基于Thrift的数据检测系统，包括Thrift所在的管理平台，并且配置Thrift所在管理平台的产品线及产品线数据的检测方案，同时配置Thrift调用接口，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测。所述的一种基于Thrift的数据检测系统中管理平台配置产品线数据的完整性和一致性检测方案，并分别配置完整性和一致性检测方案的相应检测规则。所述的一种基于Thrift的数据检测系统中管理平台通过配置表记录完整性和一致性检测方案的相应检测规则。所述的一种基于Thrift的数据检测系统中管理平台通过配置表记录完整性和一致性检测方案的相应检测规则。所述的一种基于Thrift的数据检测系统中管理平台根据产品线数据的检测方案启动Spark服务检测任务，通过Thrift调用接口调用Spark对应接口，生成Spark任务在Yarn-Cluster模式下进行数据检测；或者管理平台根据产品线数据的检测方案启动SQL服务检测任务，通过Thrift调用接口调用SQL服务对应接口，SQL服务进行数据检测。本专利技术的有益之处是：本专利技术提供一种基于Thrift的数据检测方法，配置Thrift所在管理平台的产品线及产品线数据的检测方案，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测，可以对各产品线多类数据库中的数据进行质量检测并反馈检测结果，实现对数据生产过程中的质量控制，通过设置相关配置规则以及阈值条件，可以及时将超出预警值的数据生成的检测报告提供给质量控制人员，并分析误差的原因，最终提高数据质量提升客户的满意度。附图说明图1是本专利技术系统运行流程示意图；图2是Spark服务的Yarn-Cluster模式运行示意图；图3是本专利技术检测模式示意图；图4本专利技术中Thrift所在的管理平台远程调用框架原理示意图。具体实施方式本专利技术提供一种基于Thrift的数据检测方法，配置Thrift所在管理平台的产品线及产品线数据的检测方案，同时配置Thrift调用接口，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测。同时本专利技术还提供与上述方法相应的一种基于Thrift的数据检测系统，包括Thrift所在的管理平台，并且配置Thrift所在管理平台的产品线及产品线数据的检测方案，同时配置Thrift调用接口，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测。下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。利用本专利技术方法，在Thrift所在管理平台可新建并配置产品线，填写相关基本信息以及选择或新增数据库资源，并且选择小组成员和负责人，根据不同的权限，除了可以配置操作新建的产品线，也可在管理平台中管理配置参与的其他产品线，同时新建配置产品线数据的检测方案，配置数据库以及检测规则，为满足多样化的用户需求，本专利技术既对完整性检测又对一致性检测，并分别配置完整性和一致性检测方案的相应检测规则，在新建完检测方案后，可启动检测任务，根据产品线数据的检测方案新建检测任务，设定检测周期、运行方式等参数，检测任务可有五个状态，分别是：未启动，待执行，执行中，已停止，已完成，采用配置检测方案和设置任务运行周期分开管理的模式，有助于用户后期对任务的优化等操作，设置上述五种运行状态，方便用户及时了解该任务运行状态并且方便进行下一步操作；启动检测任务后，状态由未启动变为待执行，后端将该任务放入待检测容器中，定时遍历该容器，根据配置通过Thrift配置的接口调用SQL服务或者Spark服务对应的实现类进行检测报告计算，生成检测报告。根据任务类型的不同，区分一次性任务以及周期性任务的报告，周期性任务即使状态仍为执行中，但在该任务生成第一周期的检测报告后即可查看相关报告结果。本专利技术中显示检测报告结果，不限于只能查看已完成的检测任务，提高了工作效率。在上述过程中，通过配置表记录完整性和一致性检测方案的相应检测规则，新建完整性检测方案前，先在检测规则中配置所需要的字段检测规则，完整性检测方案提供用户配置表内字段是否可空，是否可重复等规则；一致性检测方案提供用户配置同一类配置表不同时间段数据是否一致的相关规则，在配置过程中，提供针本文档来自技高网...
【技术保护点】
1.一种基于Thrift的数据检测方法，其特征是配置Thrift所在管理平台的产品线及产品线数据的检测方案，同时配置Thrift调用接口，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测。/n
【技术特征摘要】
1.一种基于Thrift的数据检测方法，其特征是配置Thrift所在管理平台的产品线及产品线数据的检测方案，同时配置Thrift调用接口，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测。
2.根据权利要求1所述的一种基于Thrift的数据检测方法，其特征是配置产品线数据的完整性和一致性检测方案，并分别配置完整性和一致性检测方案的相应检测规则。
3.根据权利要求2所述的一种基于Thrift的数据检测方法，其特征是通过配置表记录完整性和一致性检测方案的相应检测规则。
4.根据权利要求3所述的一种基于Thrift的数据检测方法，其特征是一致性检测方案中，利用配置表簇表示同一类配置表。
5.根据权利要求1-4任一所述的一种基于Thrift的数据检测方法，其特征是根据产品线数据的检测方案启动Spark服务检测任务，通过Thrift调用接口调用Spark对应接口，生成Spark任务在Yarn-Cluster模式下进行数据检测；
或者根据产品线数据的检测方案启动SQL服务检测任务，通过Thrift调用接口调用SQL服务对应接口，SQL服务进行数据检测。
6.一种基于Thrift的数据检...
【专利技术属性】
技术研发人员：陈隽，毛立花，仇力，符文俊，周誉淼，王家海，
申请(专利权)人：山东爱城市网信息技术有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。