一种离线数据任务的验证方法及系统技术方案

本发明专利技术涉及软件测试技术领域，具体涉及一种离线数据任务的验证方法及系统，包括数据生成子系统、记录子系统、数据处理子系统、验证子系统和报告生成子系统，数据生成子系统生成测试数据；记录子系统，用于基于测试数据的预期结果集；数据处理子系统按照离线数据任务的逻辑方法以及离线数据任务的统计维度规则处理测试数据，得到测试结果集；验证子系统将具有相同维度的预期结果集中的预期结果和测试结果集中的测试结果进行比对，验证离线数据任务，得到对比结果；报告生成子系统基于对比结果生成测试报告，解决了通过手动对大数据平台提供的离线数据进行处理，效率较低的问题。效率较低的问题。效率较低的问题。

【技术实现步骤摘要】
一种离线数据任务的验证方法及系统


[0001]本专利技术涉及软件测试
，尤其涉及一种离线数据任务的验证方法及系统。

技术介绍

[0002]涉及机密单位内部网络与互联网络之间是物理隔离的，传统的方式只能采用光盘刻录手工操作的方式来拷贝数据。光盘刻录方式操作速度慢，对于运行中的业务系统需先停止运行才能备份其数据库，对于需要实时交换的数据库数据则无法通过光盘刻录的方式来实现。
[0003]通过一种技术，即不需要通过网络连接又可以保证大数据实时、准确的在物理隔离的网络中进行传输，保证数据传输的安全可靠，防止数据被非法窃取。
[0004]低密网向高密网进行实时数据传输，高密网不能向低密网进行数据任何数据方式的通讯，所有的数据传输必须满足物理隔离单向数据传输。
[0005]目前互联网数据分析主要基于大数据平台，对于离线数据而言，大数据平台可以根据已经预置的规则输出离线数据供互联网公司使用，但是其提供的离线数据的维度可能无法满足互联网公司的需求，并且大数据平台输出的离线数据维度无法进行控制，使得目前大数据平台输出的离线数据维度覆盖度不高。
[0006]目前，主要是通过手动对大数据平台提供的离线数据进行处理，以满足互联网公司的需求，但手动处理的效率较低，由于互联网数据量及其增长速度，使得手动处理离线数据已经无法满足互联网业务发展的速度。

技术实现思路

[0007]本专利技术的目的在于提供一种离线数据任务的验证方法及系统，旨在解决通过手动对大数据平台提供的离线数据进行处理，效率较低的问题。
[0008]为实现上述目的，第一方面，本专利技术提供了一种离线数据任务的验证系统，包括数据生成子系统、记录子系统、数据处理子系统、验证子系统和报告生成子系统，所述数据生成子系统、所述数据处理子系统、所述验证子系统和所述报告生成子系统依次连接，所述记录子系统与所述验证子系统连接；
[0009]所述数据生成子系统，用于生成测试数据；
[0010]所述记录子系统，用于基于所述测试数据的预期结果集；
[0011]所述数据处理子系统，用于按照离线数据任务的逻辑方法以及离线数据任务的统计维度规则处理所述测试数据，得到测试结果集；
[0012]所述验证子系统，用于将具有相同维度的所述预期结果集中的预期结果和所述测试结果集中的测试结果进行比对，验证离线数据任务，得到对比结果；
[0013]所述报告生成子系统，基于所述对比结果生成测试报告。
[0014]其中，所述离线数据任务的验证系统还包括显示子系统，所述显示子系统与所述报告生成子系统连接；
[0015]所述显示子系统，用于显示所述测试报告。
[0016]其中，所述显示子系统包括测光模块、亮度调整模块和显示屏，所述测光模块、所述亮度调整模块和所述显示屏依次连接；
[0017]所述测光模块，用于测量当前光照强度；
[0018]所述亮度调整模块，基于所述当前光照强度和所述显示屏的当前显示亮度对所述显示屏进行显示亮度调整；
[0019]所述显示屏，用于显示所述测试报告。
[0020]其中，所述显示子系统还包括拍摄模块、特征提取模块、中心确定模块和角度调整模块，所述拍摄模块、所述特征提取模块、所述中心确定模块和所述角度调整模块依次连接；
[0021]所述拍摄模块，用于拍摄所述显示屏显示范围的场景图片；
[0022]所述特征提取模块，用于对所述场景图片进行特征提取，得到人像特征；
[0023]所述中心确定模块，用于从所述人像特征中确定中心点；
[0024]所述角度调整模块，基于所述中心点对所述显示屏的显示角度进行调整。
[0025]其中，所述特征提取模块包括构建子模块、训练子模块和提取子模块，所述构建子模块、所述训练子模块和所述提取子模块依次连接；
[0026]所述构建子模块，用于构建神经网络模型；
[0027]所述训练子模块，用于对所述神经网络模型进行训练，得到特征提取模型；
[0028]所述提取子模块，用于将所述场景图片输入所述特征提取模型中进行训练，得到人像特征。
[0029]其中，所述训练子模块包括获取单元、预处理单元、训练单元和验证单元，所述获取单元、所述预处理单元、所述训练单元和所述验证单元依次连接；
[0030]所述获取单元，用于获取训练数据集；
[0031]所述预处理单元，用于对所述训练数据集进行预处理，得到训练集和验证集；
[0032]所述训练单元，用于使用所述训练集对所述神经网络模型进行训练，得到预训练模型；
[0033]所述验证单元，用于使用所述验证集对所述预训练模型进行验证寻优，得到特征提取模型。
[0034]第二方面，本专利技术提供了一种离线数据任务的验证方法，包括以下步骤：
[0035]数据生成子系统生成测试数据；
[0036]记录子系统基于所述测试数据的预期结果集；
[0037]数据处理子系统按照离线数据任务的逻辑方法以及离线数据任务的统计维度规则处理所述测试数据，得到测试结果集；
[0038]验证子系统将具有相同维度的所述预期结果集中的预期结果和所述测试结果集中的测试结果进行比对，验证离线数据任务，得到对比结果；
[0039]报告生成子系统基于所述对比结果生成测试报告。
[0040]本专利技术的一种离线数据任务的验证系统，首先，所述数据生成子系统生成测试数据；同时，所述记录子系统，用于基于所述测试数据的预期结果集；然后，所述数据处理子系统按照离线数据任务的逻辑方法以及离线数据任务的统计维度规则处理所述测试数据，得
到测试结果集；接着，所述验证子系统将具有相同维度的所述预期结果集中的预期结果和所述测试结果集中的测试结果进行比对，验证离线数据任务，得到对比结果；最后，所述报告生成子系统基于所述对比结果生成测试报告，实现对离线数据的自动处理，解决了通过手动对大数据平台提供的离线数据进行处理，效率较低的问题。
附图说明
[0041]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是本专利技术提供的一种离线数据任务的验证系统的结构示意图。
[0043]图2是显示子系统的结构示意图。
[0044]图3是特征提取模块的结构示意图。
[0045]图4是训练子模块的结构示意图。
[0046]图5是预处理单元的结构示意图。
[0047]图6是提取子模块的结构示意图。
[0048]图7是本专利技术提供的一种离线数据任务的验证方法的流程图。
[0049]1‑
数据生成子系统、2
‑
记录子系统、3
‑
数据处理子系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种离线数据任务的验证系统，其特征在于，包括数据生成子系统、记录子系统、数据处理子系统、验证子系统和报告生成子系统，所述数据生成子系统、所述数据处理子系统、所述验证子系统和所述报告生成子系统依次连接，所述记录子系统与所述验证子系统连接；所述数据生成子系统，用于生成测试数据；所述记录子系统，用于基于所述测试数据的预期结果集；所述数据处理子系统，用于按照离线数据任务的逻辑方法以及离线数据任务的统计维度规则处理所述测试数据，得到测试结果集；所述验证子系统，用于将具有相同维度的所述预期结果集中的预期结果和所述测试结果集中的测试结果进行比对，验证离线数据任务，得到对比结果；所述报告生成子系统，基于所述对比结果生成测试报告。2.如权利要求1所述的离线数据任务的验证系统，其特征在于，所述离线数据任务的验证系统还包括显示子系统，所述显示子系统与所述报告生成子系统连接；所述显示子系统，用于显示所述测试报告。3.如权利要求2所述的离线数据任务的验证系统，其特征在于，所述显示子系统包括测光模块、亮度调整模块和显示屏，所述测光模块、所述亮度调整模块和所述显示屏依次连接；所述测光模块，用于测量当前光照强度；所述亮度调整模块，基于所述当前光照强度和所述显示屏的当前显示亮度对所述显示屏进行显示亮度调整；所述显示屏，用于显示所述测试报告。4.如权利要求3所述的离线数据任务的验证系统，其特征在于，所述显示子系统还包括拍摄模块、特征提取模块、中心确定模块和角度调整模块，所述拍摄模块、所述特征提取模块、所述中心确定模块和所述角度调整模块依次连接；所述拍摄模块，用于拍摄所述显示屏显示范围的场景图片；所述特征提取模块，用于对所述...

【专利技术属性】
技术研发人员：刘烨，
申请(专利权)人：上海觉新信息科技有限公司，
类型：发明
国别省市：