一种数据处理方法及系统技术方案

本发明专利技术属于数据处理技术领域，提出了一种数据处理方法及系统，包括获得原始数据，原始数据包括一一对应的第一编码、原始属性和原始属性值；建立标准数据字典，标准数据字典包括标准属性和转换对照表；根据原始数据和标准数据字典，建立配置数据字典，配置数据字典包括一一对应的第二编码、配置属性和配置属性值；保存配置数据字典。通过上述技术方案，解决了现有技术中原始数据有冗余性和不确定性，导致数据分析结果不准确的问题。

A data processing method and system

【技术实现步骤摘要】
一种数据处理方法及系统
本专利技术属于数据处理
，涉及一种数据处理方法及系统。
技术介绍
在工业生产过程中，要进行原材料的采购，原材料价格会不断变化，需要对原材料采购的历史数据进行统计，分析出影响价格的各个因素，以便能够采购到价格合理的原材料。对钢铁行业来说，影响价格的因素有多种，包括品种名称、规格、材质、地区、厂家等，传统的统计方法采集的原始数据有冗余性和不确定性，不能进行有效的筛查，没有标准性和统一性，各个数据字段没有关联和紧密性，无法进行系统的统计和对比，导致不能得到准确的数据分析结果。
技术实现思路
本专利技术提出一种数据处理方法及系统，解决了现有技术中数据分析结果不准确的问题。本专利技术的技术方案是这样实现的：一种数据处理方法，包括获得原始数据，原始数据包括一一对应的第一编码、原始属性和原始属性值；建立标准数据字典，标准数据字典包括标准属性和转换对照表；根据原始数据和标准数据字典，建立配置数据字典，配置数据字典包括一一对应的第二编码、配置属性和配置属性值，所述第二编码用于标识所述标准数据，所述配置属性从所述标准属性中选择，所述配置属性值从原始属性值得到；保存所述标准数据。进一步，所述原始属性包括产品代称字段、原始规格字段、原始材质字段、原始单位字段、原始市场字段、原始产地字段、原始企业字段和原始价格形式字段；所述标准属性包括产品统称字段、标准规格字段、标准材质字段、标准单位字段、标准市场字段、标准产地字段、标准企业字段和标准价格形式字段，转换对照表包括产品统称对照表、规格对照表、材质对照表、单位对照表、市场对照表、产地对照表、企业对照表和价格形式对照表，所述产品统称对照表用于查询产品统称字段与产品代称字段的一一对应关系，所述规格对照表用于查询标准规格字段与原始规格字段的一一对应关系，所述材质对照表用于查询标准材质字段与原始材质字段的一一对应关系，所述单位对照表用于查询标准单位字段与原始单位字段的一一对应关系，所述市场对照表用于查询标准市场字段与原始市场字段的一一对应关系，所述产地对照表用于查询标准产地字段与原始产地字段的一一对应关系，所述企业对照表用于查询标准企业字段与原始企业字段的一一对应关系，所述价格形式对照表用于查询标准价格形式字段与原始价格形式字段的一一对应关系。进一步，在一天之内，进行多次原始数据的获取，获取原始数据，并按照固定的排序放入到Python语言的set集合里，存入本地数据库。一种数据处理系统，包括第一获得单元，用于获取原始数据；第一处理单元，用于建立标准数据字典；第二处理单元，用于根据原始数据和标准数据字典，建立配置数据字典；第一存储单元，用于保存所述标准数据。进一步，还包括第一查表单元，用于根据产品统称对照表，确定产品代称对应的产品统称，根据产品统称和规格对照表，确定原始规格字段对应的标准规格字段，根据产品统称和材质对照表，确定原始材质字段对应的标准材质字段，根据产品统称和单位对照表，确定原始单位字段对应的标准单位字段，根据产品统称和市场对照表，确定原始市场字段对应的标准市场字段，根据产品统称和产地对照表，确定原始产地字段对应的标准产地字段，根据产品统称和企业对照表，确定原始企业字段对应的标准企业字段，根据产品统称和价格形式对照表，确定原始价格形式字段对应的标准价格形式字段。进一步，还包括第二存储单元，用于将获得的原始数据存储到本地数据库中。一种数据处理系统，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序实现如权利要求1-3任一项所述的追溯码关联方法的步骤。本专利技术的工作原理及有益效果为：1、本专利技术首先按照第一编号和原始属性设定的顺序对原始数据进行采集，把原始数据有序的存入，然后建立标准数据字典，标准数据字典涵盖了数据处理所需的所有标准属性，以及标准属性和原始属性的转换对照表。如图2所示，原始数据为数据表格的形式，表格的每一行对应一条原始数据信息，根据每一条原始数据信息的性质、从标准数据字典中选择合适的字段，作为配置数据字典的配置属性，把原始数据中的原始属性值赋给对应的标准属性，形成配置数据字典的每一条标准数据。如图3所示，配置字典数据也是数据表格的形式，配置数据字典的每一行对应一条标准数据，每一条标准数据均分配有一个第二编码，第二编码用于标识对应的标准数据。标准数据可以应用于各平台进行数据展示及可视化处理，不同日期、具有相同第二编码的标准数据之间可以进行纵向对比，进行钢铁行业价格的分析；也可以对同一日期、不同第二编码的标准数据之间进行横向对比，得到更精确的分析结果。本专利技术通过将原始数据的表格形式转换为配置数据字典的表格形式，实现数据的标准化和统一化，有利于总结发展趋势和走形趋势，提高预判结果的准确性。2、对钢铁行业来说，市场上对产品代称、规格、材质、单位、市场、产地、企业、价格形式等的习惯叫法不一样，需要按照国统局产品分类标准将习惯叫法统一为通用叫法，便于进行数据分析和处理。如图4所示，为产品代称的标准化处理示意图，产品代称为“高线”，通过产品统称对照表将其转换为产品统称“线材(盘条)”；如图5-图6所示，为原始规格的标准化处理过程，如图5所示，产品统称为“线材(盘条)”，则对应的标准规格字段为“直径”，如图6所示，产品统称为“热轧板卷”，则对应的标准规格字段为“长、宽、厚”。3、在钢铁行业，每天的原始数据会有不定时的新增和修改，这样原始数据的获取就需要分频率获取，把原始数据按照固定的排序放入到Python语言的set集合里，存入本地数据库，set作为Python语言里的一个数据类型，能够与本地数据库中已有数据进行对比，自动进行数据的新增、修改和删除操作，避免原始数据的重复存入，解决了原始数据冗余性的问题。4、本专利技术还提出了一种数据分析系统，其中，第一获得单元用于获取原始数据；第一处理单元用于建立标准数据字典；第二处理单元用于根据原始数据和标准数据字典，建立配置数据字典，从而实现原始数据到标准数据的转换，转换后的标准数据可应用于各平台进行数据展示及可视化处理。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1为本专利技术方法流程图；图2为本专利技术中原始数据表格示意图；图3为本专利技术中标准数据表格示意图；图4为本专利技术中产品代称标准化过程示意图；图5为本专利技术中原始规格标准化过程示意图一；图6为本专利技术中原始规格标准化过程示意图二；图7为本专利技术中实施例二结构示意图；图8为本专利技术实施例三结构示意图；图中：21-第一获得单元，22-第一处理单元，23-第二处理单元，24-第一存储单元，300-总线，301-接收器，302-处理器，30本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于：包括/n获得原始数据，原始数据包括一一对应的第一编码、原始属性和原始属性值；/n建立标准数据字典，标准数据字典包括标准属性和转换对照表；/n根据原始数据和标准数据字典，建立配置数据字典，得到标准数据，配置数据字典包括一一对应的第二编码、配置属性和配置属性值，/n所述第二编码用于标识所述标准数据，所述配置属性从所述标准属性中选择，所述配置属性值从原始属性值得到；/n保存所述标准数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于：包括
获得原始数据，原始数据包括一一对应的第一编码、原始属性和原始属性值；
建立标准数据字典，标准数据字典包括标准属性和转换对照表；
根据原始数据和标准数据字典，建立配置数据字典，得到标准数据，配置数据字典包括一一对应的第二编码、配置属性和配置属性值，
所述第二编码用于标识所述标准数据，所述配置属性从所述标准属性中选择，所述配置属性值从原始属性值得到；
保存所述标准数据。


2.根据权利要求1所述的一种数据处理方法，其特征在于：所述原始属性包括产品代称字段、原始规格字段、原始材质字段、原始单位字段、原始市场字段、原始产地字段、原始企业字段和原始价格形式字段；
所述标准属性包括产品统称字段、标准规格字段、标准材质字段、标准单位字段、标准市场字段、标准产地字段、标准企业字段和标准价格形式字段，
转换对照表包括产品统称对照表、规格对照表、材质对照表、单位对照表、市场对照表、产地对照表、企业对照表和价格形式对照表，
所述产品统称对照表用于查询产品统称字段与产品代称字段的一一对应关系，
所述规格对照表用于查询标准规格字段与原始规格字段的一一对应关系，
所述材质对照表用于查询标准材质字段与原始材质字段的一一对应关系，
所述单位对照表用于查询标准单位字段与原始单位字段的一一对应关系，
所述市场对照表用于查询标准市场字段与原始市场字段的一一对应关系，
所述产地对照表用于查询标准产地字段与原始产地字段的一一对应关系，
所述企业对照表用于查询标准企业字段与原始企业字段的一一对应关系，
所述价格形式对照表用于查询标准价格形式字段与原始价...

【专利技术属性】
技术研发人员：宋雷，
申请(专利权)人：河北唐宋大数据产业股份有限公司，
类型：发明
国别省市：河北;13