一种实时数据任务的验证的代理方法及装置制造方法及图纸

本申请公开了一种实时数据任务的验证方法及装置，该方法包括：生成测试数据，记录测试数据的预期结果集，实时数据任务处理所述测试数据，并输出测试结果集，将具有相同维度的所述预期结果集中的所述预期结果和所述测试结果集中的所述测试结果进行比对以验证所述实时处理任务。通过上述方法，可以确定设计出来的实时数据任务是否符合实时数据任务设计的需求，并且，该实时数据任务可以充分提高实时数据处理任务的测试覆盖率以及测试质量，同时提高结果数据的完整性与准确性，并能够生成测试报告以便实时数据处理任务的设计人员进行阅读，在必要的情况下，对实时数据处理任务进行改进，以提高实时数据任务的处理能力。

【技术实现步骤摘要】

本申请涉及计算机
，尤其涉及一种实时数据任务的验证方法及装置。
技术介绍
随着互联网技术的发展，为了对用户的行为进行分析并满足用户不断增多的需求，对互联网数据进行分析是互联网公司必须进行的工作之一。目前互联网数据分析主要基于实时数据处理系统，对于实时数据而言，实时数据处理系统可以根据已经预置的规则输出实时数据供互联网公司使用，但是其提供的实时数据的完整性和准确性可能无法满足互联网公司的需求，使得目前实时数据处理系统需要针对实时数据入库及计算进行全覆盖测试。目前，由于互联网数据类型越来越多，数据量巨大，现有的进行全覆盖的测试技术以及测试方法没有针对多类型实时数据的处理逻辑，不能很好的满足测试实时数据的完整性和准确性的测试需求，从而有必要通过实时数据任务来完成实时数据的处理，但是在实时数据任务在正式上线之前，需要对其进行测试，以便确定其是否符合实时数据任务设计的需求。
技术实现思路
本申请实施例提供一种实时数据任务的验证方法及装置，用以解决实时数据任务进行测试，使得实时数据任务能够符合设计的需要。本申请实施例提供的一种实时数据任务的验证方法，包括：生成测试数据；记录测试数据的预期结果集，其中，所述预期结果集中的各个预期结果各自具有相应的维度；实时数据任务处理所述测试数据，并输出测试结果集，其中，所述测试结果集中的各个测试结果各自具有相应的维度；将具有相同维度的所述预期结果集中的所述预期结果和所述测试结果集中的所述测试结果进行比对以验证所述实时处理任务。本申请实施例提供的一种实时数据任务的验证装置，装置包括：生成模块，用于生成测试数据；记录模块，用于记录测试数据的预期结果集，其中，所述预期结果集中的各个预期结果各自具有相应的维度；处理模块，用于实时数据任务处理所述测试数据，并输出测试结果集，其中，所述测试结果集中的各个测试结果各自具有相应的维度；验证模块，用于将具有相同维度的所述预期结果集中的所述预期结果和所述测试结果集中的所述测试结果进行比对以验证所述实时处理任务。本申请实施例提供一种实时数据任务的验证方法及装置，该方法生成测试数据，记录测试数据的预期结果集，其中，所述预期结果集中的各个预期结果各自具有相应的维度，实时数据任务处理所述测试数据，并输出测试结果集，其中，所述测试结果集中的各个测试结果各自具有相应的维度，将具有相同维度的所述预期结果集中的所述预期结果和所述测试结果集中的所述测试结果进行比对以验证所述实时处理任务。通过上述方法，可以确定设计出来的实时数据任务是否符合实时数据任务设计的需求，并且，该实时数据任务可以充分提高实时数据处理任务的测试覆盖率以及测试质量，同时提高结果数据的完整性与准确性，并能够生成测试报告以便实时数据处理任务的设计人员进行阅读，在必要的情况下，对实时数据处理任务进行改进，以提高实时数据任务的处理能力。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例提供的实时数据任务的验证过程；图2为本申请实施例提供的一种实时数据任务的验证装置结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为本申请实施例提供的实时数据任务的验证过程，具体包括以下步骤：S101：生成测试数据。为了确定实时数据任务是否符合实时数据任务设计的需求，也就是说，确保其能够按照设计需求进行正常工作，因此，在实时数据任务在正式上线之前，需要对其进行充分测试。本申请在整个测试过程中，首先需要生成测试数据，其中，测试数据可以为视频或页面广告的请求、曝光、点击、播放完成等等的日志记录，根据不同类型日志的格式与标准，生成的日志数据作为原始的测试数据；根据不同的广告投放形式所需记录信息的标准，模拟生成相关的测试数据；或者根据不同的产品业务系统(广告投放系统)所需记录信息的标准，模拟生成相关的测试数据。进一步的，为了能够生成测试数据，需要预先知道在实时数据任务上线之后，被其处理的数据记录的数据标准。其中，数据记录可以为系统产生的业务日志、数据；日志可以是用户在产品系统中的行为动作的记录、数据可以是用户在产品系统中的行为所产生的数值。生成测试数据时，本领域技术人员需要了解被入库数据(如：广告请求、播放等等日志)的规则，例如被入库数据的规则可以包括：一条记录需要哪些数据字段、每个数据字段需要记录哪些信息、以及记录信息的格式(如：数值、字符串等等)。日志(Log)是指系统所指定对象的某些操作和其操作结果按时间有序的集合。每个日志文件由日志记录组成，每条日志记录描述了一次单独的系统事件。通常情况下，系统日志是用户可以直接阅读的文本文件，其中包含了一个时间戳和一个信息或者子系统所特有的其他信息。日志文件为服务器、工作站、防火墙和应用软件等IT资源相关活动记录必要的、有价值的信息，这对系统监控、查询、报表和安全审计是十分重要的。日志文件中的记录可提供以下用途：监控系统资源；审计用户行为；对可疑行为进行告警；确定入侵行为的范围；为恢复系统提供帮助；生成调查报告；为打击计算机犯罪提供证据来源。例如可以通过计算机随机生成符合上述要求的测试数据，或者可以根据已经存储的实际的数据生成符合上述要求的测试数据。S102：记录测试数据的预期结果集。在本申请中，在生成测试数据后，需要生成测试数据的预期结果集，其中，其中，该预期结果集中的各个预期结果各自具有相应的维度，用于后续给测试结果提供一个比对标准，也就是说，后续将生成的测试结果与预期结果集进行比对，来确定测试结果是否是正确的。进一步的，由于数据的统计逻辑方法以及统计维度规则是生成数据预期结果的基准，因此，为了能够生成测试数据的预期结果集，还需要预先知道实时数据任务的逻辑方法，该逻辑方法可以帮助用户明白实时数据任务的处理流程，从而可以知道将测试数据输入实时数据任务之后，可以期望得到的测试结果，以便和实时数据任务实际的输出的测试结果进行比较，从而可以完成对实时数据任务的测试。本领域技术人员了解任务处理的逻辑方法，例如：针对日志数据格式校验(字段数、字段值记录的正确性、非法的数据校验过程、数据处理后的数据格式、存储位置等，是为更好的设计测试方法、测试用例。再者，还需要预先知道实时数据任务的统计维度规则，根据该统计维度规则，用户可以预先知道期望的数据维度，针对不同的数据可以具有不同的维度，而实时数据任务也按照相同的统计维度规则进行处理，从而可以将具有相同维度的预期结果和测试结果进行比对，从而可以对实时数据任务进行验证。维度统计规则致力于建立一个基于多方位统计(时间、地域、访问者)、全方位分析网站流量的统计标准，形成原始数据→数据视觉化→数据行为化→数据深入挖掘的数据分析模式。维度统计规则可以将数据分为三种类型：基础的统计数据、人口统计学数据和用户模型数据。如上所述，预期结果可以用来与实时数据任务输出的本文档来自技高网...

【技术保护点】
一种实时数据任务的验证方法，其特征在于，包括：生成测试数据；记录测试数据的预期结果集，其中，所述预期结果集中的各个预期结果各自具有相应的维度；实时数据任务处理所述测试数据，并输出测试结果集，其中，所述测试结果集中的各个测试结果各自具有相应的维度；将具有相同维度的所述预期结果集中的所述预期结果和所述测试结果集中的所述测试结果进行比对以验证所述实时处理任务。

【技术特征摘要】
1.一种实时数据任务的验证方法，其特征在于，包括：生成测试数据；记录测试数据的预期结果集，其中，所述预期结果集中的各个预期结果各自具有相应的维度；实时数据任务处理所述测试数据，并输出测试结果集，其中，所述测试结果集中的各个测试结果各自具有相应的维度；将具有相同维度的所述预期结果集中的所述预期结果和所述测试结果集中的所述测试结果进行比对以验证所述实时处理任务。2.如权利要求1所述的方法，其特征在于，生成测试数据，具体包括：根据待测试的数据记录的数据标准生成所述测试数据。3.如权利要求1所述的方法，其特征在于，记录测试数据的预期结果集，具体包括：根据实时数据任务处理的逻辑方法以及实时数据任务的统计维度规则，记录预期结果集。4.如权利要求1所述的方法，其特征在于，在记录测试数据的预期结果集步骤与实时数据任务处理所述测试数据步骤之间还包括：根据所述测试数据的类型，将所述测试数据推送给消息订阅系统中对应的消息通道，使实时数据处理系统从所述消息通道中获取所述测试数据，其中，所述实时处理任务在所述实时大数据处理系统上运行。5.如权利要求1所述的方法，其特征在于，实时数据任务处理所述测试数据，具体包括：实时数据任务读取所述测试数据；根据实时数据任务的逻辑方法以及实时数据任务的统计维度规则生成测试结果集。6.如权利要求1所述的方法，其特征在于，所述方法还包括：根据比对结果生成测试报告。7.一种实时数据任务的验证装置，其特征在于，包括...

【专利技术属性】
技术研发人员：李凌云，李红年，柳亚政，周盛，董亚卫，潘柏宇，王冀，
申请(专利权)人：合一网络技术北京有限公司，
类型：发明
国别省市：北京;11