本公开实施例提供了一种数据检测方法、装置、设备及存储介质。获取流数据集；其中，所述流数据集中包括多个流数据，且所述流数据携带有业务链路信息；基于所述业务链路信息对所述流数据集进行分组，获得多个流数据组；确定所述多个流数据组分别对应的检测规则；其中，所述检测规则包括如下至少一项：完整性检测规则、准确性检测规则及时效性检测规则；基于所述检测规则对对应流数据组进行检测，获得检测结果；其中，所述检测结果为检测通过或者检测不通过。本公开实施例提供的数据检测方法，基于对应的检测规则对各流数据组进行检测，可以提高数据检测的效率。提高数据检测的效率。提高数据检测的效率。
【技术实现步骤摘要】
数据检测方法、装置、设备及存储介质
[0001]本公开实施例涉及数据处理
，尤其涉及一种数据检测方法、装置、设备及存储介质。
技术介绍
[0002]随着数据规模和复杂性的不断增加，对实时流数据的检测变得越来越重要。如果问题数据的检测时间较长或者无法发现，很容易导致脏数据或者问题数据污染线上数据，轻则导致数据错误，降低用户满意度，重则会引起舆论或者安全风险。目前常见的实时检测方法，不仅时效性低，且维护成本较高。
技术实现思路
[0003]本公开实施例提供一种数据检测方法、装置、设备及存储介质，可以提高数据检测的效率。
[0004]第一方面，本公开实施例提供了一种数据检测方法，包括：
[0005]获取流数据集；其中，所述流数据集中包括多个流数据，且所述流数据携带有业务链路信息；
[0006]基于所述业务链路信息对所述流数据集进行分组，获得多个流数据组；
[0007]确定所述多个流数据组分别对应的检测规则；其中，所述检测规则包括如下至少一项：完整性检测规则、准确性检测规则及时效性检测规则；
[0008]基于所述检测规则对对应流数据组进行检测，获得检测结果；其中，所述检测结果为检测通过或者检测不通过。
[0009]第二方面，本公开实施例还提供了一种数据检测装置，包括：
[0010]流数据集获取模块，用于获取流数据集；其中，所述流数据集中包括多个流数据，且所述流数据携带有业务链路信息；
[0011]流数据集分组模块，用于基于所述业务链路信息对所述流数据集进行分组，获得多个流数据组；
[0012]检测规则确定模块，用于确定所述多个流数据组分别对应的检测规则；其中，所述检测规则包括如下至少一项：完整性检测规则、准确性检测规则及时效性检测规则；
[0013]数据检测模块，用于基于所述检测规则对对应流数据组进行检测，获得检测结果；其中，所述检测结果为检测通过或者检测不通过。
[0014]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
[0015]一个或多个处理器；
[0016]存储装置，用于存储一个或多个程序，
[0017]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例所述的数据检测方法。
[0018]第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述
计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例所述的数据检测方法。
[0019]本公开实施例公开了一种数据检测方法、装置、设备及存储介质，获取流数据集；其中，流数据集中包括多个流数据，且流数据携带有业务链路信息；基于业务链路信息对流数据集进行分组，获得多个流数据组；确定多个流数据组分别对应的检测规则；其中，检测规则包括如下至少一项：完整性检测规则、准确性检测规则及时效性检测规则；基于检测规则对对应流数据组进行检测，获得检测结果；其中，检测结果为检测通过或者检测不通过。本公开实施例提供的数据检测方法，基于对应的检测规则对各流数据组进行检测，可以提高数据检测的效率。
附图说明
[0020]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0021]图1是本公开实施例所提供的一种数据检测方法的流程示意图；
[0022]图2是本公开实施例所提供的一种数据检测装置的结构示意图；
[0023]图3是本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
[0024]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0025]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0026]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0027]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0028]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0029]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0030]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0031]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
[0032]作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
[0033]可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
[0034]可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
[0035]目前对实时流数据的检测方案主要分为如下两种：
[0036]1、离线检测方案。用户将生成的流数据转存至离线存储中，之后通过离线平台的方式对离线数据进行检测。该方式具有如下缺点：离线数据需要用户转存，占用人力和存储空间；离线检测的最小时效一般为小时级，时效无法满足；维护成本高。2、用户针对不同业务链路数据通过硬编码的方式编写对应的数据检测任务。该方式的缺点是：维护成本高；不同格式的流数据需要建立单独的任务和计算规则处理，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据检测方法，其特征在于，包括：获取流数据集；其中，所述流数据集中包括多个流数据，且所述流数据携带有业务链路信息；基于所述业务链路信息对所述流数据集进行分组，获得多个流数据组；确定所述多个流数据组分别对应的检测规则；其中，所述检测规则包括如下至少一项：完整性检测规则、准确性检测规则及时效性检测规则；基于所述检测规则对对应流数据组进行检测，获得检测结果；其中，所述检测结果为检测通过或者检测不通过。2.根据权利要求1所述的方法，其特征在于，在获取流数据集之后，还包括：对所述流数据进行格式转换，获得设定格式的流数据集。3.根据权利要求1所述的方法，其特征在于，基于所述业务链路信息对所述流数据集进行分组，获得多个流数据组，包括：将所述业务链路信息相同的流数据划分为一组，获得多个流数据组。4.根据权利要求1所述的方法，其特征在于，所述流数据包括至少一个关键字段，基于所述检测规则对对应流数据组进行检测，获得检测结果，包括：基于所述完整性检测规则和/或准确性检测规则对对应流数据组中的至少一个关键字段进行检测，获得所述至少一个关键字段分别对应的检测结果。5.根据权利要求4所述的方法，其特征在于，基于所述完整性检测规则对对应流数据组中的至少一个关键字段进行检测，获得所述至少一个关键字段分别对应的检测结果，包括：对于每个关键字段，获取所述完整性检测规则对应流数据组包含的流数据总数量、关键字段满足设定条件的第一流数据数量；其中，所述设定条件为所述关键字段不存在或者所述关键字段对应的实体内容为空；根据所述流数据总数量和所述第一流数据数量确定所述关键字段的完整性检测结果。6.根据权利要求5所述的方法，其特征在于，根据所述流数据总数量和所述第一流数据数量确定所述关键字段对应的完整性检测结果，包括：根据所述流数据总数量和所述第一流数据数量确定完整性评估值；若所述完整性评估值小于第一设定值，则所述关键字段的完整性检测结果为检测不通过；若所述完整性评估值大于或等于第一设定值，则所述关键字段的完整性检测结果为检测通过。7.根据权利要求4所述的方法，其特征在于，基于所述准确性检测规则对对应流数据组中的至少一个关键字段进行检测，获得所述至少一个关键字段分别对应的检测结果，包括：对于每个关键字段，获取所述准确性检测规则对应流数据组中所述关键字段存在的第二流数据数量以及所述关键字段对应的实体内容不准确的第三流数据数量；根据所述第二流数据数量和所述第三流数据数量确定所述关键字段的...
【专利技术属性】
技术研发人员：赵旭，冯鹏超，黄维，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。