数据存储、检索方法、装置、服务器和存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据存储、检索方法、装置、服务器和存储介质。该数据存储方法包括：对待存储数据进行预处理；根据所述待存储数据的数据类型将预处理后的待存储数据存入对应的数据库。通过上述技术方案，可以实现对不同类型数据的同时全面的存储，可以降低成本。

Data storage, retrieval methods, devices, servers and storage media

The embodiment of the present invention discloses a data storage, retrieval method, device, server and storage medium. The data storage method includes: pretreatment of the stored data; storage of the pre-processed data into the corresponding database according to the data type of the data to be stored. Through the above technical scheme, we can realize the comprehensive storage of different types of data at the same time, which can reduce the cost.

【技术实现步骤摘要】
数据存储、检索方法、装置、服务器和存储介质
本专利技术实施例涉及大数据处理
，尤其涉及一种数据存储、检索方法、装置、服务器和存储介质。
技术介绍
随着大数据存储技术的飞速发展和企业信息化的快速普及，各企业拥有越来越多的、各式各样的电子文件和数据信息，面临着“信息爆炸”的挑战，并且不同的数据信息之间存在一定的关联性。对于企业员工而言，想要找到企业内部的数据信息，需要搜索多种资料，包括数据库中存储的结构化数据，以及邮件、网页、文档中的非结构化数据等，并且需要对数据信息进行关联和综合分析，才能针对不同的业务需求给出完善的搜索结果。目前关于大数据存储的方案大多是基于HadoopHbase或Cassandra等KV库的大规模解决方案，这种方案虽然能够存储超大规模的数据，但由于是基于KV库所以对OLAP(OnlineAnalyticalProcessing，联机分析处理)的支持并不完善，虽然也有SQL-on-Hadoop的解决方案，但其核心原理还是MapReduce等离线运算技术，实时性很差。例如NoSQLDatabase，在面向分析型应用时，需要基于大范围的数据做计算，甚至全表扫描，速度较慢，并且由于是通过key-value的方式对数据进行查询，一个Key查询一个Value，因此其存储方式不利于进行复杂条件的查询。又如搜索引擎(SearchEngine)，其没有SQL支持，难以对接企业的数据应用和BI(BusinessIntelligence，商业智能)工具，无法存储和整合全面的业务信息。又如SQL-on-Hadoop，由于没有索引支持，不利于对有过滤条件的复杂数据进行查询。又如并行数据库(ParallelDatabase)，其不支持全文数据的检索，无法满足对不同类型的数据进行全面的存储和检索的需求。总体来说，数据库中需要存储的数据具有不同的类型，并且不同类型的数据性质差异较大，现有的存储方法不能针对各种类型的数据进行全面的存储，缺乏对业务系统完善的功能支持，并且通常对于不同类型的数据需要不同的硬件设备进行管理,从而增加了数据存储的成本。
技术实现思路
本专利技术实施例提供一种数据存储、检索方法、装置、服务器和存储介质，以实现对不同类型数据的统一存储，可以降低成本。第一方面，本专利技术实施例提供一种数据存储方法，包括：对待存储数据进行预处理；根据所述待存储数据的数据类型将预处理后的待存储数据存入对应的数据库。进一步的，在对所述待存储数据进行预处理之前，还包括：获取原始数据；根据设定标准对所述原始数据进行标准化处理；对标准化处理后的原始数据进行质量监测，获得所述待存储数据。进一步的，所述对待存储数据进行预处理，包括：对所述待存储数据进行清洗处理和/或关联处理和/或去重处理和/或预警处理。进一步的，对所述待存储数据进行预警处理，包括：从缓存数据库中读取预警信息；将所述预警信息与所述待存储数据进行比对；根据比对结果对所述待存储数据进行预警处理。进一步的，所述数据类型包括结构化数据、非结构化数据和全文数据。进一步的，若所述待存储数据为结构化数据，则根据所述数据类型将所述待存储数据存入对应的数据库，包括：将所述结构化数据保存至本地磁盘指定文件目录中；将所述结构化数据由所述本地磁盘指定文件目录中转移至设定加载工具进行加载；根据设定配置文件将加载后的结构化数据写入结构化数据库。进一步的，若所述待存储数据为非结构化数据或全文数据，则根据所述数据类型将所述待存储数据存入对应的数据库，包括：将所述非结构化数据存入非结构化数据库，或者将所述全文数据存入全文数据库。进一步的，在将所述非结构化数据存入非结构化数据库之后，还包括：获取所述非结构化数据的存储地址；将所述存储地址写入结构化数据中。第二方面，本专利技术实施例提供一种数据检索方法，包括：调用检索接口，并通过所述检索接口传入检索参数；根据所述检索参数的类型检索对应的数据。进一步的，所述根据所述检索参数的类型检索对应的数据，包括：若所述检索参数为结构化数据检索参数，则根据所述结构化数据检索参数调用结构化数据库中的API函数；根据所述API函数检索目标结构化数据；若所述检索参数为非结构化数据检索参数，则根据所述非结构化数据检索参数检索目标非结构化数据；若所述检索参数为全文参数，则根据全文参数检索目标全文数据。第三方面，本专利技术实施例提供一种数据存储装置，包括：预处理模块，用于对数据进行预处理；入库模块，用于根据所述待存储数据的数据类型将预处理后的待存储数据存入对应的数据库。第四方面，本专利技术实施例提供一种数据检索装置，包括：检索参数传入模块，用于调用检索接口，并通过所述检索接口传入检索参数；检索模块，用于根据所述检索参数的类型检索对应的数据。第五方面，本专利技术实施例提供一种服务器，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的数据存储方法或者如第二方面所述的数据检索方法。第六方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面所述的数据存储方法或者如第二方面所述的数据检索方法。本专利技术实施例通过对待存储数据进行预处理；根据所述待存储数据的数据类型将预处理后的待存储数据存入对应的数据库，解决了现有技术不能针对各种类型的数据进行全面的存储，缺乏完善的功能支持，并且数据存储成本较高的问题，实现对不同类型数据的同时全面的存储，并且可以降低成本。附图说明图1为本专利技术实施例一提供的一种数据存储方法的流程图；图2为本专利技术实施例一提供的一种数据存储方法的另一流程图；图3为本专利技术实施例三中的提供的一种数据检索方法的流程图；图4为本专利技术实施例四提供的一种数据存储、检索方法的实现流程的示意图；图5为本专利技术实施例五提供的一种数据存储装置的结构示意图；。图6为本专利技术实施例六提供的一种数据检索装置的结构示意图；图7为本专利技术实施例七提供的一种服务器的硬件结构示意图；图8为本专利技术实施例八提供的一种数据存储系统的结构示意图；具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种数据存储方法的流程图。本实施例可适用于对不同类型的数据进行存储的情况。具体的，该数据存储方法可以由数据存储装置执行，该数据存储装置可以通过软件和/或硬件的方式实现，并集成在服务器中。进一步的，服务器包括但不限定于：网络服务器、系统后台服务器以及云端服务器。参照图1，该方法具体包括如下步骤：S110、对待存储数据进行预处理。具体的，在将待存储数据存储至数据库之前，首先要对待存储数据进行预处理。通常情况下待存储数据是面向某一业务主题的数据的集合，规模庞大，这些数据从多个业务系统中抽取而来，并且也包含了历史数据，可能存在多种问题，例如，由于技术的限制或人为的失误，原始数据在采集、记录、编码和传输的过程中都可能产生错误的信息，造成数据采集不完整、包含较多的噪声、多个数据之间不一致等问题。通过对待存储数据进本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：对待存储数据进行预处理；根据所述待存储数据的数据类型将预处理后的待存储数据存入对应的数据库。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：对待存储数据进行预处理；根据所述待存储数据的数据类型将预处理后的待存储数据存入对应的数据库。2.根据权利要求1所述的方法，其特征在于，在对所述待存储数据进行预处理之前，还包括：获取原始数据；根据设定标准对所述原始数据进行标准化处理；对标准化处理后的原始数据进行质量监测，获得所述待存储数据。3.根据权利要求1所述的方法，其特征在于，所述对待存储数据进行预处理，包括：对所述待存储数据进行清洗处理和/或关联处理和/或去重处理和/或预警处理。4.根据权利要求3所述的方法，其特征在于，对所述待存储数据进行预警处理，包括：从缓存数据库中读取预警信息；将所述预警信息与所述待存储数据进行比对；根据比对结果对所述待存储数据进行预警处理。5.根据权利要求1所述的方法，其特征在于，所述数据类型包括结构化数据、非结构化数据和全文数据。6.根据权利要求5所述的方法，其特征在于，若所述待存储数据为结构化数据，则根据所述数据类型将所述待存储数据存入对应的数据库，包括：将所述结构化数据保存至本地磁盘指定文件目录中；将所述结构化数据由所述本地磁盘指定文件目录中转移至设定加载工具进行加载；根据设定配置文件将加载后的结构化数据写入结构化数据库。7.根据权利要求5所述的方法，其特征在于，若所述待存储数据为非结构化数据或全文数据，则根据所述数据类型将所述待存储数据存入对应的数据库，包括：将所述非结构化数据存入非结构化数据库，或者将所述全文数据存入全文数据库。8.根据权利要求7所述的方法，其特征在于，在将所述非结构化数据...

【专利技术属性】
技术研发人员：谢永恒，刘涛，谭罗乐，万月亮，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京,11