一种存储大数据的方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种存储大数据的方法，包括根据数据采集请求采集数据，将采集到的数据按照预设的存储规则存储至文件数据集中，然后分别为数据设置标识信息，将标识信息存储于数据库中，再建立数据和数据库中的标识信息的链接关系。通过数据和数据库中的标识信息的链接关系，在需要查询和提取数据时，能够通过标识信息查找到存储于文件数据集中的对应的数据，使得数据库中只需要存储数据的标识信息，减小了数据库的压力，提高了系统的稳定性。本申请还公开了一种存储大数据的装置、设备及计算机可读存储介质，均具有上述有益效果。

A method, device, device and storage medium for storing large data

The application discloses a method for storing large data, which includes collecting data according to data acquisition request, storing the collected data into a file data set according to preset storage rules, setting up identification information for data, storing identification information in a database, and establishing identification information between data and a database. The link of interest. Through the link relationship between the data and the identification information in the database, the corresponding data stored in the file data set can be found through the identification information when the data needs to be queried and extracted, which makes the database only need to store the identification information of the data, reduces the pressure of the database and improves the stability of the system. The application also discloses a device for storing large data, a device and a computer readable storage medium, all of which have the above beneficial effects.

【技术实现步骤摘要】
一种存储大数据的方法、装置、设备及存储介质
本专利技术涉及数据处理领域，特别涉及一种存储大数据的方法、装置、设备及计算机可读存储介质。
技术介绍
近年来，随着工业技术的迅猛发展，在工业生产、测试以及使用过程中产生的数据也越来越多，为了充分利用数据中的有价值信息，通过大数据技术对数据进行有效分析，使得基于大数据分析结果可以优化工业生产，提高工业生产效率及质量，提高数据的工业价值。但是，在对数据进行分析之前，需要先将采集到的数据进行存储，现有技术是将采集到的数据统一存储于数据库中，由于数据量庞大，存储过程需要消耗时间等待，并且大量的数据给数据库带来存储的压力也比较大，在后续需要查询和提取数据时将由于数据库存储内容量大而导致查询过程比较慢。因此，如何提供一种高效的存储大数据的方法是本领域技术人员目前需要解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种存储大数据的方法，能够高效的存储数据，减小数据库的压力；本专利技术的另一目的是提供一种存储大数据的装置、设备及计算机可读存储介质，均具有上述有益效果。为解决上述技术问题，本专利技术提供一种存储大数据的方法，包括：根据数据采集请求采集数据；将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息；将所述标识信息存储于数据库中；建立所述数据和所述数据库中的所述标识信息的链接关系。优选地，在所述将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息之后，进一步包括：提取所述数据的关键词信息；对应的，所述将所述标识信息存储于数据库中；建立所述数据和所述数据库中的所述标识信息的链接关系具体为：将所述标识信息和对应数据的关键词信息存储于数据库中；建立所述数据和所述数据库中的所述标识信息与所述关键词信息的链接关系。优选地，在所述根据数据采集请求采集数据之后，进一步包括：根据实际要求对所述数据进行校验，并删除不符合所述实际要求的数据离群点。优选地，在所述根据数据采集请求采集数据之后，进一步包括：按照预设格式对所述数据进行格式转换。优选地，在所述将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息之前，进一步包括：对所述数据进行数据组合和/或数据清洗和/或数据校验。优选地，所述数据采集请求具体为根据实际数据采集对象、实际数据分析需求、实际数据存储需要和实际数据产生规模分析得出。优选地，所述数据采集请求具体为根据预先设置的时间周期得出。为解决上述技术问题，本专利技术还提供一种存储大数据的装置，包括：数据采集模块，用于根据数据采集请求采集数据；第一存储模块，用于将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息；第二存储模块，用于将所述标识信息存储于数据库中；建立链接模块，用于建立所述数据和所述数据库中的所述标识信息的链接关系。为解决上述技术问题，本专利技术还提供一种存储大数据的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述任一种存储大数据的方法的步骤。为解决上述技术问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种存储大数据的方法的步骤。本专利技术提供的存储大数据的方法，包括根据数据采集请求采集数据，将采集到的数据按照预设的存储规则存储至文件数据集中，然后分别为数据设置标识信息，将标识信息存储于数据库中，再建立数据和数据库中的标识信息的链接关系。通过数据和数据库中的标识信息的链接关系，在需要查询和提取数据时，能够通过标识信息查找到存储于文件数据集中的对应的数据，使得数据库中只需要存储数据的标识信息，减小了数据库的压力，提高了系统的稳定性。为解决上述技术问题，本专利技术还提供了一种存储大数据的装置、设备及计算机可读存储介质，均具有上述有益效果。附图说明为了更清楚地说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种存储大数据的方法的流程图；图2为本专利技术实施例提供的另一种存储大数据的方法的流程图；图3为本专利技术实施例提供的另一种存储大数据的方法的流程图；图4为本专利技术实施例提供的一种存储大数据的装置的结构图；图5为本专利技术实施例提供的一种存储大数据的设备的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例的核心是提供一种存储大数据的方法，能够高效的存储数据，减小数据库的压力；本专利技术的另一核心是提供一种存储大数据的装置、设备及计算机可读存储介质，均具有上述有益效果。为了使本领域技术人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。请参考图1，图1为本专利技术实施例提供的一种存储大数据的方法的流程图，具体包括：S10：根据数据采集请求采集数据。在具体实施中，首先根据实际需求生成数据采集请求，例如根据顶层应用软件或系统等的实际运行需求分析得出数据采集请求，然后根据数据采集请求采集数据。具体的，按照数据采集请求中的采集要求从数据源采集数据，数据源是提供所需要数据的器件或原始媒体，本实施例对数据源的具体类型不做限定。更具体的，在生成数据采集请求后，首先将数据采集请求暂存并按照预先定义的规则对数据采集请求进行封帧，即将数据采集请求进行压缩打包处理，然后再利用数据采集模块按照预先定义的规则对数据采集请求进行帧解析，在对数据采集请求校验无误后，根据数据采集请求进行采集数据。S20：将数据按照预设的存储规则存储至文件数据集中并分别为数据设置标识信息。具体的，在采集数据之后，按照预设的存储规则将采集到的数据存储至文件数据集中，并且分别为采集到的数据设置标识信息。本实施例对设置标识信息的时间不做限定，也就是说，也可以在采集数据之后，先为采集到的数据设置标识信息，再按照预设的存储规则将设置了标识信息的数据存储至数据库中。可以理解的是，标识信息指的是通过给每个数据确定一个唯一的串号或者编码、号码等信息，使得每个数据都能与其他的数据相区分，以防止数据的混淆和误用，本实施例对标识信息的类型不做限定。需要说明的是，将数据按照预设的存储规则存储至文件数据集中，可以具体为根据数据的类型进行存储，也可以是按照数据的层次进行存储，也可以同时根据数据的类型和层次进行存储，本实施例对此不做限定。S30：将标识信息存储于数据库中。具体的，在为存储于文件数据集中的数据设置标识信息后，将数据的标识信息存储于数据库中，也就是说，对设置的标识信息进行一一记录，本实施例对具体的存储方式不做限定。S40：建立数据和数据库中的标识信息的链接关系。需要说明的是，在将标识信息存储于数据库中之后，建立存储于数据文件集中的数据和存储于数据库中的标识信息的链接关系，使得在需要查询或提取数据时本文档来自技高网...

【技术保护点】
1.一种存储大数据的方法，其特征在于，包括：根据数据采集请求采集数据；将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息；将所述标识信息存储于数据库中；建立所述数据和所述数据库中的所述标识信息的链接关系。

【技术特征摘要】
1.一种存储大数据的方法，其特征在于，包括：根据数据采集请求采集数据；将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息；将所述标识信息存储于数据库中；建立所述数据和所述数据库中的所述标识信息的链接关系。2.根据权利要求1所述的方法，其特征在于，在所述将所述数据按照预设的存储规则存储至文件数据集中并分别为所述数据设置标识信息之后，进一步包括：提取所述数据的关键词信息；对应的，所述将所述标识信息存储于数据库中；建立所述数据和所述数据库中的所述标识信息的链接关系具体为：将所述标识信息和对应数据的关键词信息存储于数据库中；建立所述数据和所述数据库中的所述标识信息与所述关键词信息的链接关系。3.根据权利要求1所述的方法，其特征在于，在所述根据数据采集请求采集数据之后，进一步包括：根据实际要求对所述数据进行校验，并删除不符合所述实际要求的数据离群点。4.根据权利要求1所述的方法，其特征在于，在所述根据数据采集请求采集数据之后，进一步包括：按照预设格式对所述数据进行格式转换。5.根据权利要求1所述的方法，其特征在于，在所述将所述数据按照预设的存储规则存储至文...

【专利技术属性】
技术研发人员：许洪腾，袁瑞康，钟灵，黄永慧，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44