数据处理方法及装置制造方法及图纸

本发明专利技术实施例提供一种数据处理方法及装置，所述方法包括：获取输入数据，所述数据包括结构化数据、半结构化数据或者非结构化数据；若输入数据为结构化数据或半结构化数据，采用HDFS分布式文件系统进行存储并进行数据建模；若输入数据为非结构化数据，则采用mooseFS分布式文件系统进行存储。所述方法解决了在Hadoop中的HDFS无法很有效的处理大量的小文件和Hadoop的MapReduce处理小文件会产生极大的资源浪费问题。

【技术实现步骤摘要】

本专利技术涉及计算机应用领域，具体而言，涉及一种数据处理方法及装置。
技术介绍
一直以来，在企业领域中，信息化的应用越来越广泛，但在企业后勤管理中，信息化发挥的作用并不显著。但是随着云计算、大数据等信息技术的应用越来越广泛，在企业后勤管理中，信息化能够起到超乎我们想象的作用。如通过企业后勤大数据平台分析人物储备，公司组织架构健全性，公司文化建设，员工心理测评、企业舆情分析、企业内部资源整合分析等。企业后勤数据中心大多使用Hadoop中的HDFS进行分布式文件存储，并使用Hadoop的MapReduce处理小文件，但是企业后勤数据中心中包括很多非结构化文件，而这些文件中会产生小于64兆的小文件，但是，在Hadoop中的HDFS无法很有效的处理大量的小文件和Hadoop的MapReduce处理小文件会产生极大的资源浪费问题。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种数据处理方法及装置，以解决上述问题。第一方面，本专利技术实施例提供一种数据处理方法，所述方法包括：获取输入数据，所述数据包括结构化数据、半结构化数据或者非结构化数据；若输入数据为结构化数据或半结构化数据，采用HDFS分布式文件系统进行存储并进行数据建模；若输入数据为非结构化数据，则采用mooseFS分布式文件系统进行存储。第二方面，本专利技术实施例提供一种数据处理装置，所述装置包括：获取模块，用于获取输入数据，所述数据包括结构化数据、半结构化数据或者非结构化数据；第一处理模块，用于若输入数据为结构化数据或半结构化数据，采用HDFS分布式文件系统进行存储并进行数据建模；第二处理模块，用于若输入数据为非结构化数据，则采用mooseFS分布式文件系统进行存储。与现有技术相比，本专利技术实施例提供的一种数据处理方法及装置，服务器通过判断输入数据的类型，对不同类型的数据采用不同的分布式文件系统进行存储和处理，若为结构化数据或半结构化数据，则采用HDFS分布式文件系统进行存储并进行数据建模，若为非结构化数据，则采用mooseFS分布式文件系统进行存储。这种方式对结构化数据、半结构化数据和非结构化数据进行双线处理，使得非结构化文件中产生的小文件能够被mooseFS分布式文件系统存储和处理，解决了在Hadoop中的HDFS无法很有效的处理大量的小文件和Hadoop的MapReduce处理小文件会产生极大的资源浪费问题。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1是本专利技术实施例提供的一种服务器与用户终端交互的示意图。图2是本专利技术实施例提供的服务器的方框示意图。图3是本专利技术实施例提供的一种数据处理方法的流程图。图4是本专利技术实施例提供的服务器预先搭建的分布式架构示意图。图5是本专利技术实施例提供的一种数据处理方法中步骤S320的详细流程图。图6是本专利技术实施例提供的一种一种数据处理方法的部分流程图。图7是本专利技术实施例提供的一种数据处理装置的功能模块示意图。图8是本专利技术实施例提供的一种数据处理装置中第一处理模块的功能模块示意图。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性或时间先后。如图1所示，是本专利技术实施例提供的服务器200分别与用户终端100进行交互的示意图。所述服务器200通过网络300与一个或多个用户终端100进行数据通信，以进行数据通信或交互。所述服务器200可以是分布式文件存储服务器、网络服务端、数据库服务端等。所述用户终端100可以是个人电脑(personalcomputer，PC)、平板电脑、智能手机等。于本专利技术实施例中，所述服务器200的功能可以由一个或多个子服务器共同实现。例如，所述服务器200可以分为第一子服务器和第二子服务器。第一子服务器中运行HDFS分布式文件系统，对获取的输入数据进行存储和建模，第二子服务器中运行mooseFS分布式文件系统，对获取的输入数据进行存储。如图2所示，是所述服务器200的方框示意图。所述服务器200包括数据处理装置210、存储器220、存储控制器230、处理器240。所述存储器220、存储控制器230、处理器240各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据处理装置210包括至少一个可以软件或固件(firmware)的形式存储于所述存储器中或固化在所述服务端200的操作系统(operatingsystem，OS)中的软件功能模块。所述处理器240用于执行存储器220中存储的可执行模块，例如所述数据处理装置210包括的软件功能模块或计算机程序。其中，存储器220可以是，但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead－OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead－OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead－OnlyMemory，EEPROM)等。其中，存储器220用于存储程序，所述处理器240在接收到执行指令后，执行所述程序，前述本专利技术实施例任一实施例揭示的流过程定义的服务端所执行的方法可以应用于处理器中，或者由处理器实现。处理器240可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本专利技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图2所示的结构仅为示意，服务器200还可包括比图2中所示更多或者更少的组件，或者具有与图本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，所述方法包括：获取输入数据，所述数据包括结构化数据、半结构化数据或者非结构化数据；若输入数据为结构化数据或半结构化数据，采用HDFS分布式文件系统进行存储并进行数据建模；若输入数据为非结构化数据，则采用mooseFS分布式文件系统进行存储。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取输入数据，所述数据包括结构化数据、半结构化数据或者非结构化数据；若输入数据为结构化数据或半结构化数据，采用HDFS分布式文件系统进行存储并进行数据建模；若输入数据为非结构化数据，则采用mooseFS分布式文件系统进行存储。2.根据权利要求1所述的方法，其特征在于，所述若输入数据为结构化数据或半结构化数据，采用HDFS分布式文件系统进行存储并进行数据建模，包括：将所述输入数据存储在所述HDFS分布式文件系统的不同存储区域；对不同存储区域的数据，采用不同的挖掘算法进行建模；将建立的模型进行存储。3.根据权利要求2所述的方法，其特征在于，对不同存储区域的数据，采用不同的挖掘算法进行挖掘，包括：对第一存储区域的数据，选取SPARK库中挖掘算法进行建模；对第二存储区域的数据，进行多维建模。4.根据权利要求1所述的方法，其特征在于，在所述若输入数据为非结构化数据，则采用mooseFS分布式文件系统进行存储之后，所述方法还包括：接收用户终端发送的搜索请求；根据所述搜索请求，从所述mooseFS分布式文件系统中查找对应的数据；将所述数据进行解析并将解析后的数据返回给用户终端。5.根据权利要求4所述的方法，其特征在于，所述将所述数据进行解析并将解析后的数据返回给用户终端，包括：采用kafka系统将所述数据进行异步解析，并将解析后的数据返回给用户终端。...

【专利技术属性】
技术研发人员：李存昌，蒋松，
申请(专利权)人：成都九鼎瑞信科技股份有限公司，
类型：发明
国别省市：四川;51