数据检测系统技术方案

本发明专利技术提供了一种数据检测系统，包括存储模块、整合模块、处理模块和采样模块，所述处理模块包括分类模块、设置模块、训练模块、校验模块、修改模块和测试模块，所述存储模块存储有历史信息；所述整合模块对所述历史信息进行整合清洗，生成目标历史信息；所述处理模块对将所述目标历史信息进行分类、设置、训练、校验和修改得到修正训练模型；所述采样模块获取待检测物的检测信息，将所述检测信息输入到所述修正训练模型中，得到判断结果。所述整合模块对历史信息进行处理有利于后续工作的进行，提高了效率，结合所述处理模块对目标历史信息进行一系列处理得到修正训练模型，进一步提高了目标属性的检出率。

Data Detection System

【技术实现步骤摘要】
数据检测系统
本专利技术涉及数据处理
，尤其涉及一种数据检测系统。
技术介绍
随着国际贸易自由化进程的加快，各国之间的贸易交流日益增长，农林有害生物随木质包装在世界范围内广泛传播和扩散的危险性也日益增加，需要对木包装和非木包装进行分类处理。现有技术中，利用机器对木包装进行预测分类，其数据模型中的数据通常是根据人工经验通过划分属性和设置阈值来确定的，使得木包装检出率只有1％左右，具有很大的偶然性，不利于木包装和非木包的分类。公开号为CN106447163A的中国专利技术专利申请公开了一种基于精细化逻辑分类技术的数据质量自动检测系统，包括数据采集模块、数据分类模块、数据评估模块、数据存储模块、数据修正模块、数据传输模块、数据处理模块、数据库模块、异常警示模块、数据显示模块，用于将采集的原始数据依次进行分类、评估、修正和处理，实现对数据质量的自动检测及控制，并进行储存、显示、输出，有效提高信息的数据质量。然而上述专利没有对数据的具体分类和评估方法做出说明。
技术实现思路
本专利技术的目的在于提供一种数据检测系统，以提高检出率和准确性。为实现上述目的，本专利技术的所述数据检测系统，包括存储模块、整合模块、处理模块和采样模块，所述处理模块包括分类模块、设置模块、训练模块、校验模块、修改模块和测试模块；所述存储模块存储历史信息、原始模型、原始超参数、召回率阈值和修正召回率；所述整合模块对所述历史信息进行整合清洗，生成目标历史信息；所述分类模块对所述目标历史信息进行分类处理，以生成训练集和测试集，以及将所述训练集分为子训练集和评估集；所述设置模块对所述原始超参数进行设置；所述训练模块调用所述原始模型和设置所述原始超参数，以及参考所述评估集对所述子训练集进行训练处理，以生成初始训练模型以及原始召回率；所述校验模块所述参考原始召回率与所述召回率阈值以向所述修改模块发送修改信息，以及参考所述修正召回率和所述召回率阈值以向所述测试模块发送所述修正训练模型；所述修改模块根据所述修改信息对所述原始超参数进行修改处理，以生成所述修正召回率和所述修正训练模型；所述测试模块将所述测试集的信息输入到所述修正训练模型中，得到所述参考召回率。所述采样模块获取待检测物的检测信息，以及将所述检测信息输入到所述修正训练模型中，以得到判断结果。本专利技术的有益效果在于：所述整合模块对所述历史信息进行整合清洗得到所述目标历史信息，预先对所述历史信息进行处理有利于后续工作的进行，减少时间消耗，提高效率；所述处理模块包括所述分类模块、所述设置模块、所述训练模块、所述校验模块、所述修改模块和所述测试模块，所述处理模块经过对所述目标历史信息进行分类、设置、训练、校验和修改等一系列处理得到所述修正训练模型，提高检测结果的准确性，提高目标属性的检出率，同时通过设置和修改所述超参数，提升训练效率和提高所述修正训练模型的召回率。进一步地，所述校验模块判断所述原始召回率小于所述召回率阈值后，向所述修改模块发送所述修改信息。其有益效果在于：使召回率符合业务要求。进一步地，所述校验模块判断所述修正召回率大于等于所述召回率阈值后，向所述测试模块发送所述修正训练模型。其有益效果在于：使召回率符合业务要求。进一步地，所述修改模块用K-折交叉验证法对所述原始超参数进行修改处理，以生成所述修正召回率和修正训练模型。进一步地，所述分类模块包括读取模块、转化模块和分割模块，所述读取模块对所述目标历史信息进行读取，所述转化模块对读取的所述目标历史信息进行转化，形成目标历史数据集，所述分割模块对所述目标历史数据集进行分割形成训练集和测试集，然后将所述训练集分为子训练集和评估集。进一步地，所述读取模块用Pandas软件对所述目标历史信息进行读取，所述转化模块将所述目标历史信息转化成DateFrame结构的所述数据集，所述分割模块用梯度提升决策树开源实现软件将所述训练集分为所述子训练集和所述评估集。进一步地，所述召回率阈值大于0.8，所述召回率阈值为衡量模型性能的指标，业务上要求召回率大于0.8。进一步地，所述存储模块还存储有权重，所述训练模块通过调用所述原始模型、所述原始超参数和所述权重，并参考所述评估集对所述子训练集进行训练处理，生成初始训练模型以及原始召回率。其有益效果在于：所述权重可以提高召回率。进一步地，所述整合模块包括关联模块和清洗模块，所述关联模块对所述历史信息进行关联，所述清洗模块对所述历史信息进行清洗，得到所述目标历史信息。其有益效果在于：得到训练模型需要的特征数据项。进一步地，所述历史信息包括总运单数据库表、分运单数据库表和属性记录表。进一步地，所述关联模块用于对所述分运单数据库表和所述总运单数据库表进行外键关联，以及对所述分运单数据库表和所述属性记录表进行所述外键关联。进一步地，所述的属性记录表为含木包装记录表。进一步地，所述清洗模块对所述总运单数据库表和所述分运单数据库表进行清洗得到包含木包装的所有总运单记录和分运单记录。进一步地，所述检测信息为总运单货物重量、总运单货物件数、分运单货物重量、分运单货物件数、分运单货物价值、提单数和货币类型中的一种或几种。其有益效果在于：通过不同的检测信息提高判断结果的准确性。附图说明图1为本专利技术的数据检测系统的结构框图；图2为本专利技术的整合模块的结构框图；图3为本专利技术的分类模块的结构框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本专利技术所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。针对现有技术存在的问题，本专利技术的一些实施例提供了一种数据检测系统，具有存储模块、整合模块、处理模块和采样模块。本专利技术的一些实施例中，所述数据检测系统设置在电脑上。图1为本专利技术的一种数据检测系统的结构框图。参照图1，数据检测系统1具有存储模块11、整合模块12、处理模块13和采样模块14，所述处理模块13具有分类模块131、设置模块132、训练模块133、校验模块134、修改模块135和测试模块136。所述存储模块11存储有历史信息、原始模型、原始超参数、召回率阈值、参考召回率、权重和汇率表。所述整合模块12对所述历史信息进行整合清洗处理，生成目标历史信息；所述处理模块13对所述目标历史信息进行修正处理，得到修正训练模型；所述采样模块14用于获取待检测物的检测信息，以及将所述检测信息输入到所述修正训练模型中，以得到判断结果。本专利技术一些具体的实施例中，所述历史信息为总运单数据库表、分运单数据库表和属性记录表，所述属性记录表中的属性分成目标属性和特征属性，所述目标属性为木包装，所述特征属性为总运单货物重量、总运单货物件数、分运单货物重量、分运单货物件数、分运单货物价值、提单数和汇率。本专利技术一些具体实施例中，所述检测信息为分运单货物重本文档来自技高网...

【技术保护点】
1.一种数据检测系统，其特征在于，包括存储模块、整合模块、处理模块和采样模块，所述处理模块包括分类模块、设置模块、训练模块、校验模块、修改模块和测试模块；所述存储模块存储历史信息、原始模型、原始超参数、召回率阈值和修正召回率；所述整合模块对所述历史信息进行整合清洗处理，生成目标历史信息；所述分类模块对所述目标历史信息进行分类处理，以生成训练集和测试集，以及将所述训练集分为子训练集和评估集；所述设置模块对所述原始超参数进行设置；所述训练模块调用所述原始模型和设置所述原始超参数，以及参考所述评估集对所述子训练集进行训练处理，以生成初始训练模型以及原始召回率；所述校验模块参考所述原始召回率与所述召回率阈值以向所述修改模块发送修改信息，以及参考所述修正召回率和所述召回率阈值以向所述测试模块发送修正训练模型；所述修改模块根据所述修改信息对所述原始超参数进行修改处理，以生成所述修正召回率和所述修正训练模型；所述测试模块将所述测试集的信息输入到所述修正训练模型中，得到所述参考召回率；所述采样模块获取待检测物的检测信息，以及将所述检测信息输入到所述修正训练模型中，以得到判断结果。

【技术特征摘要】
2018.11.27 CN 20182196201411.一种数据检测系统，其特征在于，包括存储模块、整合模块、处理模块和采样模块，所述处理模块包括分类模块、设置模块、训练模块、校验模块、修改模块和测试模块；所述存储模块存储历史信息、原始模型、原始超参数、召回率阈值和修正召回率；所述整合模块对所述历史信息进行整合清洗处理，生成目标历史信息；所述分类模块对所述目标历史信息进行分类处理，以生成训练集和测试集，以及将所述训练集分为子训练集和评估集；所述设置模块对所述原始超参数进行设置；所述训练模块调用所述原始模型和设置所述原始超参数，以及参考所述评估集对所述子训练集进行训练处理，以生成初始训练模型以及原始召回率；所述校验模块参考所述原始召回率与所述召回率阈值以向所述修改模块发送修改信息，以及参考所述修正召回率和所述召回率阈值以向所述测试模块发送修正训练模型；所述修改模块根据所述修改信息对所述原始超参数进行修改处理，以生成所述修正召回率和所述修正训练模型；所述测试模块将所述测试集的信息输入到所述修正训练模型中，得到所述参考召回率；所述采样模块获取待检测物的检测信息，以及将所述检测信息输入到所述修正训练模型中，以得到判断结果。2.根据权利要求1所述的数据检测系统，其特征在于，所述校验模块判断所述原始召回率小于所述召回率阈值后，向所述修改模块发送所述修改信息。3.根据权利要求1所述的数据检测系统，其特征在于，所述校验模块判断所述修正召回率大于等于所述召回率阈值后，向所述测试模块发送所述修正训练模型。4.根据权利要求1所述的数据检测系统，其特征在于，所述修改模块用K-折交叉验证法对所述原始超参数进行修改处理，以生成所述修正召回率和修正训练模型。5.根据权利要求1所述所述的数据检测系统，其特征在于，所述分类模块包括读取模块、转化模块和分割模块，所述读取模块对所述目标...

【专利技术属性】
技术研发人员：刘红，陈亮，王朝清，
申请(专利权)人：上海亿通国际股份有限公司，
类型：发明
国别省市：上海,31