一种云数据整理方法技术

本发明专利技术公开了一种云数据整理方法，它包括从数据源到服务器，再从服务器展现到数据库的过程。其中，从数据源到服务器的过程可根据数据源的不同分为从数据库到服务器以及从文本到服务器两类；从服务器展现到数据库的具体过程为：把入库的数据在服务器上进行展现，然后通过主子表的方式修改数据，修改完成后提交至数据库。本发明专利技术能有效的对原始数据进行系统化、规律化的整理，并且可以实现不同类型数据源的整理，具有适应范围广的优点。此外，本发明专利技术提供了直观的查看和修改方式，可以在原始数据不丢失的情况下保障数据的准确性，避免数据出现缺失或错误，为接下来的业务分析提供安全保障。

A cloud data sorting method

The invention discloses a cloud data collation method, which includes the process from data source to server, and from server to database. Among them, the process from the data source to the server can be divided into two categories, from the database to the server and from the text to the server; the specific process from the server to the database is to display the data on the server, and then modify the data through the main sub table, and the modification is completed. Submit to the database. The invention can effectively systematize and regularized the original data, and can realize the arrangement of different types of data sources, and has the advantages of wide adaptation. In addition, the invention provides an intuitive view and modification method to ensure the accuracy of the data without the loss of the original data, to avoid the absence or error of the data, and to provide security for the next business analysis.

【技术实现步骤摘要】
一种云数据整理方法
本专利技术涉及一种整理方法，尤其涉及一种云数据整理方法。
技术介绍
随着数据的重要性日益突出，数据整理统计系统或方法对公司有着实质的帮助。每个公司对现有的数据以及历史数据可能有不同的承载方式，例如最常见的数据库(又可以分为多个不同的数据库)或文件，文件又包含了excel、txt、xml、svg等，因此处理起来在往往比较麻烦。以拿文件为例，解析文件需要借助代码去解决问题，可在很大可能上业务人员对代码并不熟悉，并且学习起来投入成本大、周期长，不能很好的解决实际问题。而直接从数据源整理的数据往往是有缺失的、错误的，因此使用直接拿取的数据源数据对接下来的业务分析会有致命的影响。
技术实现思路
为了解决上述技术所存在的不足之处，本专利技术提供了一种云数据整理方法。为了解决以上技术问题，本专利技术采用的技术方案是：一种云数据整理方法，包括从数据源到服务器，再从服务器展现到数据库的过程。从数据源到服务器的过程分为以下两类：a、从数据库到服务器：在DPS数据处理系统中配置数据源以及对应的函数，直接获取到对应的数据；然后根据业务需要进行数据筛选生成序表，再次通过函数把序表数据插入到目的数据库中；b、从文本到服务器：通过CRD报表制作工具制作的上传文件界面，把文件通过网页上传到服务器中；再通过DPS数据处理系统读取服务器中的文件并对文件进行解析，根据条件筛选生成序表，再次通过函数把序表数据插入到目的数据库中。文本包括excel、svg、txt、xml等格式的文本。从服务器展现到数据库的具体过程为：把入库的数据在服务器上进行展现，然后通过主子表的方式修改数据，修改完成后提交至数据库。本专利技术能有效的对原始数据进行系统化、规律化的整理，并且可以实现不同类型数据源的整理，具有适应范围广的优点。此外，本专利技术提供了直观的查看和修改方式，可以在原始数据不丢失的情况下保障数据的准确性，避免数据出现缺失或错误，为接下来的业务分析提供安全保障。附图说明图1为本专利技术的整体流程示意图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1所示的一种云数据整理方法，包括从数据源到服务器，再从服务器展现到数据库的过程，其具体步骤为：(1)数据源的处理：针对不同类型的数据源，将处理过程分为以下两类：A、数据库处理：根据不同数据库类型以及不同的数据库，在云平台下建立不同驱动或者不同库名的数据连接，通过DPS数据处理系统抽取数据源；b文件处理：通过CRD报表制作工具制作上传文件的界面，把文件上传到服务器中；然后通过DPS数据处理系统在服务器中获取文件并解析。(2)在服务器中对取到的数据进行处理：根据业务需要对步骤(1)获取到的数据进行处理，筛选出其中对业务有用的数据并整理生成序表。(3)对整理出的序表入库处理：通过调取DPS数据处理系统中简单的函数，将步骤(2)整理生成的符合业务需要的序表插入至数据库中；也可以选择自己手动创建序表，然后调用函数进行插入操作。(4)在服务器中呈现筛选出的数据：利用CRD报表制作工具制作的展现界面去数据库拉取数据，并展现在服务器中，该展现界面同时也是人工审查的界面。(5)修改原始数据：在服务器的展现界面中，采用主子表的结构对数据进行维护或修改，来保障元数据的准确性；修改完成后再提交至数据库中。以excel文件为例，本专利技术的具体实施方法为：1、在某个项目或是某个类别中通常excel结构是具有一定规律性的，所以在拿到excel文件时首先简单地对其类别进行划分；2、利用CRD报表制作工具制作excel文件上传界面，展现到服务器上；3、在网页端把excel上传到服务器，上传地址为数据库或者是指定的磁盘目录；上传后文件库中都会生成文件ID，上传控件选择是否上传到磁盘，默认为上传到数据库；4、文件上传后，调用DPS数据处理系统制作一个处理excel的触发按钮，此处通过文件ID拿到excel文件，然后通过importxls()就可以直接将excel文件解析成序表；5、在解析完之后可能有些数据是多余的，通过操作序表对数据进行删选，生成新的序表；6、在服务器上建立一个数据源连接(指定数据存放的数据库)，在DPS数据处理系统中通过connect()函数连接数据源；然后手动建立数据库(根据序表的格式即业务需要建库)，再通过插入sql函数将序表插入进数据库中；7、利用CRD报表制作工具制作的展现界面去数据库拉取数据，并展现在服务器中；展现界面可以满足业务人员对数据进行人工审核；8、在展现界面上有多条记录，通过点击一条记录弹出该条记录详情，根据需要对该记录进行修改，删除等操作，提交后再次保存到数据库中，从而保障数据的准确性。本专利技术能使数据源即原始数据系统化、规律化，并从中抽取符合业务的数据；同时为了避免原始数据的错误以及缺失，本专利技术提供了直观的查看和修改方式，可以在原始数据不丢失的情况下保障数据的准确性。此外，本专利技术可以实现不同类型数据源的整理，具有适应范围广的优点。上述实施方式并非是对本专利技术的限制，本专利技术业并不仅限于上述举例，本
的技术人员在本专利技术的技术方案范围内所做出的变化、改型、添加或替换，也均属于本专利技术的保护范围。本文档来自技高网...

【技术保护点】
一种云数据整理方法，其特征在于：所述方法包括从数据源到服务器，再从服务器展现到数据库的过程。

【技术特征摘要】
1.一种云数据整理方法，其特征在于：所述方法包括从数据源到服务器，再从服务器展现到数据库的过程。2.根据权利要求1所述的云数据整理方法，其特征在于：从数据源到服务器的过程分为以下两类：a、从数据库到服务器：在DPS数据处理系统中配置数据源以及对应的函数，直接获取到对应的数据；然后根据业务需要进行数据筛选生成序表，再次通过函数把序表数据插入到目的数据库中；b、从文本到服务器：通过CRD报表制作工具制作的上传文件界面，把文件通...

【专利技术属性】
技术研发人员：刘小兵，廖雅萍，王宇，
申请(专利权)人：广州迈安信息科技有限公司，
类型：发明
国别省市：广东,44