一种在线数据质量监控方法、装置、服务器及存储介质制造方法及图纸

本说明书提供了一种在线数据质量监控方法、装置、服务器及存储介质，通过对数据特征进行业务场景中数据规则以及通用数据规则进行计算，将计算结果与历史结果进行比较，如超过一定的比例则触发告警交由人工排查和处理，从而达到了系统实时监控数据异常并按照异常等级触发不同的告警和提醒。

An Online Data Quality Monitoring Method, Device, Server and Storage Media

This specification provides an on-line data quality monitoring method, device, server and storage medium. By calculating data rules and general data rules in business scenarios based on data characteristics, the calculation results are compared with historical results. If the ratio exceeds a certain level, the alarm will be triggered and handled manually. Thus, the real-time monitoring data anomalies of the system can be achieved. Different alarms and reminders are triggered according to the abnormal level.

【技术实现步骤摘要】
一种在线数据质量监控方法、装置、服务器及存储介质
本说明书实施例涉及互联网
，尤其涉及一种在线数据质量监控方法、装置、服务器及存储介质。
技术介绍
随着电子商务的飞速发展，线上支付逐渐成为支付方式的主流，新兴的线上支付方式虽然便捷，但支付数据的安全问题成为关注交点。
技术实现思路
本说明书实施例提供了一种在线数据质量监控方法、装置、服务器及存储介质。第一方面，本说明书实施例提供了一种在线数据质量监控方法，所述方法包括：获得一预定场景；根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。第二方面，本说明书实施例提供了一种在线数据质量监控装置，所述装置包括：预定场景获得单元，用于获得一预定场景；第一数据特征获得单元，用于根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；第一数据规则获得单元，用于根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；第一预定条件判断单元，用于根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；第一预定场景预警触发单元，用于当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。第三方面，本说明书实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述在线数据质量监控方法的步骤。第四方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述在线数据质量监控方法的步骤。本说明书实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：本说明书实施例通过对数据特征进行业务场景中数据规则以及通用数据规则进行计算，将计算结果与历史结果进行比较，如超过一定的比例则触发告警交由人工排查和处理，从而达到了系统实时监控数据异常并按照异常等级触发不同的告警和提醒，由专门的人员对异常进行跟踪和处置，针对不同类型不同来源的数据，定制不同的数据监控标准，基于历史数据监控结果的分析，对数据的异常进行分类处置，对周期性或者突变性较多的异常通过系统进行容错判断，降低无效的人工成本的技术效果。上述说明仅是本说明书技术方案的概述，为了能够更清楚了解本说明书的技术手段，而可依照说明书的内容予以实施，并且为了让本说明书的上述和其它目的、特征和优点能够更明显易懂，以下特举本说明书的具体实施方式。附图说明图1为本说明书实施例提供的在线数据质量监控应用场景示意图；图2为本说明书实施例中一种在线数据质量监控方法的流程示意图；图3为本说明书实施例中一种在线数据质量监控装置的结构示意图；图4为本说明书实施例中另一种在线数据质量监控服务器的结构示意图。具体实施方式为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。在本说明书实施例的技术方案中，通过对数据特征进行业务场景中数据规则以及通用数据规则进行计算，将计算结果与历史结果进行比较，如超过一定的比例则触发告警交由人工排查和处理，从而达到了系统实时监控数据异常并按照异常等级触发不同的告警和提醒，由专门的人员对异常进行跟踪和处置，针对不同类型不同来源的数据，定制不同的数据监控标准，基于历史数据监控结果的分析，对数据的异常进行分类处置，对周期性或者突变性较多的异常通过系统进行容错判断，降低无效的人工成本的技术效果。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。实施例一图1为本说明书实施例提供的在线数据质量监控应用场景示意图，在数据消费方包括用户端10，在数据生产方包括服务器20，如果服务器20即数据生产方提供的数据发生异常(包括但不限于数据丢失，数据错误，数据格式异常等)，通过在线数据监控，实时发现问题并进行处置，将数据发送至用户端，数据消费方通过用户端10接收到服务器20发送的数据信息。图2为本说明书实施例中一种在线数据质量监控方法的流程示意图。如图1所示，包括：步骤110：获得一预定场景；具体而言，所述预定场景可以理解为业务场景，例如支付宝中的通过扫码支付或者通过二维码付款的方式进行直接性交易的业务场景，再比如通过花呗实现信用支付方式的业务场景。步骤120：根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；具体而言，通过对数据的深度理解，按照业务的维度对数据进行了分类管理，每一个业务场景就是一类数据特征，其中所述第一数据特征为业务场景的数据特征，即哪些数据属于所述预定场景，可以通过数据中的关键字段来进行刻画，从而形成第一数据特征。举例而言，例如扫码直接支付与花呗信用支付分别为两种业务场景，不同的业务场景对应各自的数据内容，各自的数据内容具有各自的数据特征，由于两种场景数据特征不同，则形成了两种不同的业务场景。比如，扫码直接支付的第一数据特征可以包括扫码；花呗信用支付的第一数据特征可以包括信用。换言之，所述第一数据特征决定了所述预定场景的特征。步骤130：根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；所述方法还包括：根据所述预定场景获得所述预定场景的第一数据分类信息，所述第一数据分类信息为所述预定场景按照数据分类规则对预定场景的数据分类后获得的数据分类信息；其中，所述根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景，还包括：根据所述第一数据分类信息获得第一数据特征，所述第一数据特征用来表征所述预定场景；其中，所述根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则，还包括：根据所述第一数据分类信息获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则。具体而言，所述第一数据规则可以理解为预定场景中的数据规则，即当前预定场景特征的数据应该符合所述预定场景的第一数据规则，其中，第一数据规则为所述预定场景所特有的数据规则，例如场景“担保交易-无线APP收银台-淘宝来源-交易支付”的第一数据特征符合其第一数据规则，即同步事件code＝‘0301043’、异步事件code＝‘0301008’、13属性＝‘4000’、11属性＝‘FP’、30属性＝‘SECURITYPAY’。步骤140：根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；在步骤140中第一预定本文档来自技高网...

【技术保护点】
1.一种在线数据质量监控方法，所述方法包括：获得一预定场景；根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。

【技术特征摘要】
1.一种在线数据质量监控方法，所述方法包括：获得一预定场景；根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。2.如权利要求1所述的方法，所述根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，包括：根据所述第一数据规则和所述第一数据特征获得所述预定场景的第一运算结果；判断所述第一运算结果是否满足第二预定条件；如果所述第一运算结果满足所述第二预定条件，确定所述第一数据特征满足第一预定条件。3.如权利要求2所述的方法，所述判断所述第一运算结果是否满足第二预定条件，还包括：获得所述预定场景的历史运算结果；根据所述历史运算结果和所述第一运算结果，获得第一运算结果差值；判断所述第一运算结果是否大于第一预定阈值。4.如权利要求1所述的方法，在所述根据所述预定场景获得所述预定场景的第一数据规则之后，所述方法还包括：获得第二数据规则，所述第二数据规则为通用的数据规则；根据所述第二数据规则判断所述第一数据特征是否满足第三预定条件，获得第二结果；当所述第二结果为不满足所述第三预定条件时，对所述预定场景触发预警机制。5.如权利要求4所述的方法，在所述当所述第二结果为不满足所述第三预定条件时，对所述预定场景触发预警机制之后，所述方法还包括：根据所述第一结果和所述第二结果获得第三结果；根据所述第二数据规则和所述第一数据规则判断所述第三结果是否满足第四预定条件；当所述第三结果为不满足第四预定条件时，对所述预定场景触发预警机制。6.如权利要求1所述的方法，所述方法还包括：根据所述预定场景获得所述预定场景的第一数据分类信息，所述第一数据分类信息为所述预定场景按照数据分类规则对预定场景的数据分类后获得的数据分类信息；其中，所述根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景，还包括：根据所述第一数据分类信息获得第一数据特征，所述第一数据特征用来表征所述预定场景；其中，所述根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则，还包括：根据所述第一数据分类信息获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则。7.一种在线数据质量监控装置，所述装置包括：预定场景获得单元，用于获得一预定场景；第一数据特征获得单元，用于根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；第一数据规则获得单元，用于根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；第一预定条件判断单元，用于根据所...

【专利技术属性】
技术研发人员：陈成，蒋佩伶，杨毅斐，高士洁，禹航，唐文林，涂旭东，马超，钱淼栋，王亚宏，刘洋，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY