一种数据处理方法及系统技术方案

本发明专利技术公开了一种数据处理方法及系统，该方法包括：将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中；基于预设的物理模型，对所述数据仓库中的数据进行处理，并确定企业报表中的数据信息，其中，所述数据信息包括行项目、列指标、模板和数据公式；根据所述数据信息，生成企业报表。本发明专利技术实现了能够基于物理模型完成对数据的分发和报表生成。进而实现了数据的集中和统一管理，便于用户对数据的应用，提高了体验效果。

【技术实现步骤摘要】
一种数据处理方法及系统
本专利技术涉及计算机
，特别是涉及一种数据处理方法及系统。
技术介绍
在企业进行生产过程中，企业生产数据库服务器存储大规模的生产数据，这些生产数据如何为企业做生产库存分析、半成品与原料优化，产品销售优化等时间提供的重要过程。在该过程中这些数据通常会有以下特点：生产数据物理范围分布广泛，过程数据分布企业的很多部分，如炼油企业的罐区、码头、地泵、槽车；化工企业的料仓、自动化仓库；生产制造企业的自动化车间、机器人、包装台等；生产数据涉及专业领域较多，例如，涉及到企业实时数据库、原料采购、半成品加工、成品销售、工艺数据、安全环保数据、设备润滑与折旧数据等等；数据存储没有规律，例如，实时数据库的数据采集频率与设备工艺平稳率数据要达到秒级，材料采购要日或月级，设备折旧要月或者年级。所以，对这些存储数据的分析是一件复杂的工作。现有技术中对这些数据的处理系统需要不断地与企业数据库打开连接与开放资源，在用户连接点断开或服务停用时又要不停地关闭数据库连接与释放占用的资源，如果企业应用点数量过多，就会造成线路堵塞与资源过度的开放，给用户带来的体验效果较差。
技术实现思路
针对于上述问题，本专利技术提供一种数据处理方法及系统，实现了数据的集中和统一管理，便于用户对数据的应用，提高了体验效果。为了实现上述目的，本专利技术提供了如下技术方案：一种数据处理方法，该方法包括：将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中；基于预设的物理模型，对所述数据仓库中的数据进行处理，并确定企业报表中的数据信息，其中，所述数据信息包括行项目、列指标、模板和数据公式；根据所述数据信息，生成企业报表。可选地，在所述将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中之前，该方法包括：创建作业队列，将数据任务加载到所述作业队列中；依据所述作业队列中的队列执行顺序，响应所述数据任务并获取到企业业务数据。可选地，所述将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中，包括：将获取到的企业业务数据按照预设数据清洗规则进行数据清洗，获得清洗后的数据；按照企业数据的门类，对所述清洗后的数据进行数据分类，并依据分类后的数据建立数据仓库；将所述分类后的数据存储至所述数据仓库中。可选地，所述基于预设的物理模型，对所述数据仓库中的数据进行处理，并确定企业报表中的数据信息，包括：基于预设的物理模型，确定企业报表的行项目、列指标和模板；基于预设的物理模型，确定基础参数和非基础参数；根据所述基础参数和非基础参数定义生成数据公式。可选地，该方法还包括：对企业报表进行备份，使得备份后的企业报表被企业利用和分析。一种数据处理系统，该系统包括：存储单元，用于将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中；处理单元，用于基于预设的物理模型，对所述数据仓库中的数据进行处理，并确定企业报表中的数据信息，其中，所述数据信息包括行项目、列指标、模板和数据公式；生成单元，用于根据所述数据信息，生成企业报表。可选地，该系统还包括：创建单元，用于创建作业队列，将数据任务加载到所述作业队列中；响应单元，用于依据所述作业队列中的队列执行顺序，响应所述数据任务并获取到企业业务数据。可选地，所述存储单元包括：清洗子单元，用于将获取到的企业业务数据按照预设数据清洗规则进行数据清洗，获得清洗后的数据；分类子单元，用于按照企业数据的门类，对所述清洗后的数据进行数据分类，并依据分类后的数据建立数据仓库；存储子单元，用于将所述分类后的数据存储至所述数据仓库中。可选地，所述处理单元包括：第一确定子单元，用于基于预设的物理模型，确定企业报表的行项目、列指标和模板；第二确定子单元，用于基于预设的物理模型，确定基础参数和非基础参数；公式生成子单元，用于根据所述基础参数和非基础参数定义生成数据公式。可选地，该系统还包括：备份单元，用于对企业报表进行备份，使得备份后的企业报表被企业利用和分析。相较于现有技术，本专利技术提供了一种数据处理方法及系统，将获取到的企业业务数据进行预处理后，并分类存储至数据仓库中，实现了将分散的业务数据进行整合和处理，便于后续的统计和分析，并且基于预设的物理模型进行处理，确定待生成的企业报表中的各个数据信息，实现了能够基于物理模型完成对数据的分发和报表生成。综上所述，实现了数据的集中和统一管理，便于用户对数据的应用，提高了体验效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种数据处理方法的流程示意图；图2为本专利技术实施例提供的一种数据处理系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。为了对本专利技术实施例中的方法进行解释说明，参见表1为本专利技术实施例中用到的相关术语。表1在本专利技术实施例中提供了一种数据处理方法，参见图1，该方法包括：S101、将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中。在本专利技术实施例通过一个统一的数据接口，即一个与用户企业数据的连接通道，完成对企业业务数据库的访问。当用户有数据任务时，将任务添加到预先创建的作业队列中，确定好执行时间，将数据进行获取。由于根据执行时间进行数据导入，可以在用户活动相对不活跃的时段，完成对企业生产业务数据的载入。在本专利技术的另一实施例中还提供了一种对业务数据进行处理和分类的方法，包括以下步骤：将获取到的企业业务数据按照预设数据清洗规则进行数据清洗，获得清洗后的数据；按照企业数据的门类，对所述清洗后的数据进行数据分类，并依据分类后的数据建立数据仓库；将所述分类后的数据存储至所述数据仓库中。具体的，在完成对企业业务数据库的访问，建立业务数据的数据仓库，利用数据预处理即数据清洗数据，例如，将企业的生产数据、能耗数据、设备润滑数据、环保数据、企业工艺过程数据、化验数据去等分门别列的存放在数据仓库中。S102、基于预设的物理模型，对所述数据仓库中的数据进行处理，并确定企业报表中的数据信息，其中，所述数据信息包括行项目、列指标、模板和数据公式；在本专利技术中使用物理模型，即行项目、列指标、报表模板与规范化的业务公式，完成对数据的分发。物理模型比如系统需要提取电脑的温度属性，系统就要建立标准化公式ZZDTEMP(NAME，TIME)，通过这个标准公式的定义，在本系统中任何场景中用到该参数模型，就可以提取到某个电脑在本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，该方法包括：将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中；基于预设的物理模型，对所述数据仓库中的数据进行处理，并确定企业报表中的数据信息，其中，所述数据信息包括行项目、列指标、模板和数据公式；根据所述数据信息，生成企业报表。

【技术特征摘要】
1.一种数据处理方法，其特征在于，该方法包括：将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中；基于预设的物理模型，对所述数据仓库中的数据进行处理，并确定企业报表中的数据信息，其中，所述数据信息包括行项目、列指标、模板和数据公式；根据所述数据信息，生成企业报表。2.根据权利要求1所述的方法，其特征在于，在所述将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中之前，该方法包括：创建作业队列，将数据任务加载到所述作业队列中；依据所述作业队列中的队列执行顺序，响应所述数据任务并获取到企业业务数据。3.根据权利要求2所述的方法，其特征在于，所述将获取到的企业业务数据进行预处理，并分类存储到建立的数据仓库中，包括：将获取到的企业业务数据按照预设数据清洗规则进行数据清洗，获得清洗后的数据；按照企业数据的门类，对所述清洗后的数据进行数据分类，并依据分类后的数据建立数据仓库；将所述分类后的数据存储至所述数据仓库中。4.根据权利要求3所述的方法，其特征在于，所述基于预设的物理模型，对所述数据仓库中的数据进行处理，并确定企业报表中的数据信息，包括：基于预设的物理模型，确定企业报表的行项目、列指标和模板；基于预设的物理模型，确定基础参数和非基础参数；根据所述基础参数和非基础参数定义生成数据公式。5.根据权利要求4所述的方法，其特征在于，该方法还包括：对企业报表进行备份，使得备份后的企业报表被企业利用和分...

【专利技术属性】
技术研发人员：苏宏业，张中理，李志强，
申请(专利权)人：浙江中智达科技有限公司，
类型：发明
国别省市：浙江,33