基于计算公式复杂性的大数据测试方法、装置、电子设备制造方法及图纸

本申请实施例提出了基于计算公式复杂性的大数据测试方法、装置、电子设备，包括：从数据源处采集对应计算公式的测试数据，对测试数据进行清洗；基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效；当计算公式有效时，将对应参数值的因素参数进行赋值，计算赋值后的复杂判定值；基于复杂判定值与判定阈值的大小关系，判定建立针对计算公式的测试脚本完成大数据覆盖测试，或补充针对计算公式的测试数据场景完成大数据覆盖测试。通过对计算公式复杂性进行判断，能够选取更为适合当前计算公式的测试方式，解决大数据测试场景下因计算公式复杂性不同导致测试时长和准确性无法统一的缺陷。

Big data test method, device and electronic equipment based on complexity of calculation formula

【技术实现步骤摘要】
基于计算公式复杂性的大数据测试方法、装置、电子设备
本专利技术属于数据处理领域，尤其涉及计算公式复杂性验证方法、装置、电子设备。
技术介绍
近年来，随着互联网，数据仓库、数据挖掘、云计算等互联网技术的不断发展，大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透，与之对应的大数据商业应用系统也在不断涌现。随着大数据技术的广泛应用，针对大数据技术具体应用的计算公式也变得更加复杂。考虑到计算公式的准确性会对大数据应用起到关键影响，因此对计算公式的快速验证已成为亟待解决的问题。
技术实现思路
为了解决现有技术中存在的缺点和不足，本专利技术提出了基于计算公式复杂性的大数据测试方法、装置、电子设备，能够对当前大数据测试所使用的计算公式进行复杂性判断，并根据具体的判断结果确定是对测试数据进行修改或是建立针对性的测试脚本，以便缩短测试时间的同时确保测试准确性。为了达到上述技术目的，根据本公开实施例的第一方面，本实施例提供了一种基于计算公式复杂性的大数据测试方法，所述大数据测试方法包括：从数据源处采集对应计算公式的测试数据，对测试数据进行清洗；基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效；当计算公式有效时，将对应参数值的因素参数进行赋值，计算赋值后的复杂判定值；基于复杂判定值与判定阈值的大小关系，判定建立针对计算公式的测试脚本完成大数据覆盖测试，或补充针对计算公式的测试数据场景完成大数据覆盖测试。可选的，所述从数据源处采集对应计算公式的测试数据，对测试数据进行清洗，包括：针对每个数据源数据存储方式不同，采取对应的访问方式从每个数据源处获取对应计算公式的测试数据；删除存在格式错误的测试数据。可选的，所述基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效，包括：将测试数据划分为训练数据集和预测数据集；确定对应计算公式的激活函数，将训练数据集中的数据导入激活函数中，计算得到计算公式的参数值，确定计算公式的完整表达式；计算完整表达式相对于预测数据集的正确率，根据正确率判定计算公式是否有效。可选的，所述确定对应计算公式的激活函数，将训练数据集中的数据导入激活函数中，计算得到计算公式的参数值，确定计算公式的完整表达式，包括：将分类数学模型逻辑算法中的log函数作为计算公式的激活函数，如公式一所示；将训练数据集中的测试数据按对应关系不同划分为至少两组测试数据，每组测试数据包括自变量、因变量两种类型，将自变量数据代入公式一中的X，将同组的因变量数据代入公式一中的P；经过数据代入求解得到对应每个自变量X的权重值β，以及对应该组测试数据的截距值b，根据得到权重值β以及截距值b的确定计算公式的完整表达式。可选的，所述计算完整表达式相对于预测数据集的正确率，根据正确率判定计算公式是否有效，包括：将预测数据集中的数据导入完整表达式中计算得到理论输出值，结合预测数据集中的标准输出值计算理论输出值的正确率，当正确率高于预设阈值时判定计算公式有效。可选的，所述当计算公式有效时，将对应参数值的因素参数进行赋值，计算赋值后的复杂判定值，包括：在判定计算公式有效后，选取对应每个参数值的因素参数；在对应计算公式的激活函数中，结合实际测试环境对每个因素参数进行赋值；计算赋值后激活函数输出的复杂判定值。可选的，所述基于复杂判定值与判定阈值的大小关系，判定建立针对计算公式的测试脚本完成大数据覆盖测试，或补充针对计算公式的测试数据场景完成大数据覆盖测试，包括：如果复杂判定值大于等于判定阈值，表明计算公式为复杂公式，需建立针对计算公式的测试脚本完成大数据覆盖测试；如果复杂判定值小于等于判定阈值，表明计算公式为非复杂公式，需补充针对计算公式的测试数据场景完成大数据覆盖测试。根据本公开实施例的第二方面，基于计算公式复杂性的大数据测试装置，所述大数据测试装置包括：数据处理模块，用于从数据源处采集对应计算公式的测试数据，对测试数据进行清洗；有效性判定模块，用于基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效；判定值计算模块，用于当计算公式有效时，将对应参数值的因素参数进行赋值，计算赋值后的复杂判定值；测试处理模块，用于基于复杂判定值与判定阈值的大小关系，判定建立针对计算公式的测试脚本完成大数据覆盖测试，或补充针对计算公式的测试数据场景完成大数据覆盖测试。可选的，所述数据处理模块包括：数据获取单元，用于针对每个数据源数据存储方式不同，采取对应的访问方式从每个数据源处获取对应计算公式的测试数据；数据剔除单元，用于删除存在格式错误的测试数据。可选的，所述有效性判定模块包括：数据划分单元，用于将测试数据划分为训练数据集和预测数据集；表达式确定单元，用于确定对应计算公式的激活函数，将训练数据集中的数据导入激活函数中，计算得到计算公式的参数值，确定计算公式的完整表达式；公式有效性判定单元，用于计算完整表达式相对于预测数据集的正确率，根据正确率判定计算公式是否有效。可选的，所述表达式确定单元包括：激活函数确定单元，用于将分类数学模型逻辑算法中的log函数作为计算公式的激活函数，如公式一所示；参数代入单元，用于将训练数据集中的测试数据按对应关系不同划分为至少两组测试数据，每组测试数据包括自变量、因变量两种类型，将自变量数据代入公式一中的X，将同组的因变量数据代入公式一中的P；公式构建单元，用于经过数据代入求解得到对应每个自变量X的权重值β，以及对应该组测试数据的截距值b，根据得到权重值β以及截距值b的确定计算公式的完整表达式。可选的，所述公式有效性判定单元具体用于：将预测数据集中的数据导入完整表达式中计算得到理论输出值，结合预测数据集中的标准输出值计算理论输出值的正确率，当正确率高于预设阈值时判定计算公式有效。可选的，所述判定值计算模块包括：参数选取单元，用于在判定计算公式有效后，选取对应每个参数值的因素参数；赋值单元，用于在对应计算公式的激活函数中，结合实际测试环境对每个因素参数进行赋值；复杂判定值计算单元，用于计算赋值后激活函数输出的复杂判定值。可选的，所述测试处理模块包括：第一测试处理单元，用于如果复杂判定值大于等于判定阈值，表明计算公式为复杂公式，需建立针对计算公式的测试脚本完成大数据覆盖测试；第二测试处理单元，用于如果复杂判定值小于等于判定阈值，表明计算公式为非复杂公式，需补充针对计算公式的测试数据场景完成大数据覆盖测试。根据本公开实施例的第三方面，本实施例提供了一种电子设备，包括：处理器；以及...

【技术保护点】
1.基于计算公式复杂性的大数据测试方法，其特征在于，所述大数据测试方法包括：/n从数据源处采集对应计算公式的测试数据，对测试数据进行清洗；/n基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效；/n当计算公式有效时，将对应参数值的因素参数进行赋值，计算赋值后的复杂判定值；/n基于复杂判定值与判定阈值的大小关系，判定建立针对计算公式的测试脚本完成大数据覆盖测试，或补充针对计算公式的测试数据场景完成大数据覆盖测试。/n

【技术特征摘要】
1.基于计算公式复杂性的大数据测试方法，其特征在于，所述大数据测试方法包括：
从数据源处采集对应计算公式的测试数据，对测试数据进行清洗；
基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效；
当计算公式有效时，将对应参数值的因素参数进行赋值，计算赋值后的复杂判定值；
基于复杂判定值与判定阈值的大小关系，判定建立针对计算公式的测试脚本完成大数据覆盖测试，或补充针对计算公式的测试数据场景完成大数据覆盖测试。


2.根据权利要求1所述的基于计算公式复杂性的大数据测试方法，其特征在于，所述从数据源处采集对应计算公式的测试数据，对测试数据进行清洗，包括：
针对每个数据源数据存储方式不同，采取对应的访问方式从每个数据源处获取对应计算公式的测试数据；
删除存在格式错误的测试数据。


3.根据权利要求1所述的基于计算公式复杂性的大数据测试方法，其特征在于，所述基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效，包括：
将测试数据划分为训练数据集和预测数据集；
确定对应计算公式的激活函数，将训练数据集中的数据导入激活函数中，计算得到计算公式的参数值，确定计算公式的完整表达式；
计算完整表达式相对于预测数据集的正确率，根据正确率判定计算公式是否有效。


4.根据权利要求3所述的基于计算公式复杂性的大数据测试方法，其特征在于，所述确定对应计算公式的激活函数，将训练数据集中的数据导入激活函数中，计算得到计算公式的参数值，确定计算公式的完整表达式，包括：
将分类数学模型逻辑算法中的log函数作为计算公式的激活函数，如公式一所示；



将训练数据集中的测试数据按对应关系不同划分为至少两组测试数据，每组测试数据包括自变量、因变量两种类型，将自变量数据代入公式一中的X，将同组的因变量数据代入公式一中的P；
经过数据代入求解得到对应每个自变量X的权重值β，以及对应该组测试数据的截距值b，根据得到权重值β以及截距值b的确定计算公式的完整表达式。


5.根据权利要求3所述的基于计算公式复杂性的大数据测试方法，其特征在于，所述计算完整表达式相对于预测数据集的正确率，根据正确...

【专利技术属性】
技术研发人员：郭碧仙，
申请(专利权)人：恒生电子股份有限公司，
类型：发明
国别省市：浙江;33