数据存储方法及装置制造方法及图纸

本发明专利技术公开了一种数据存储方法及装置，其中，该数据存储方法中包括：控制单线程逐条读取待存储的文本数据；将读取的文本数据预存储到预设数据库；控制多线程逐条读取预设数据库中的存储数据；将读取的存储数据进行持久化存储，完成文本数据的存储。其将读取到的文本数据预先存储在预设数据库中，再使用多线程的方法读取预设数据库中的存储数据完成数据的持久化，更加高效的完成文本数据的存储，避免了使用多线程读写文本数据时出现冲突，提高数据存储的效率，节约时间。

Data storage method and device

The invention discloses a device and a data storage method which includes the data storage method: single thread control read text data to be stored; the text data stored in the read to the default database; multi thread control read preset in the database of data storage; storage for reading data persistence complete text storage, data storage. The text data will be read into the pre stored in the default database, the method of using multiple threads to read data stored in the database to complete the preset data persistence, more efficient to complete the text data storage, avoid the use of multiple threads to read and write text data conflicts, improve the efficiency of data storage, saving time.

【技术实现步骤摘要】
数据存储方法及装置
本专利技术涉及存储
，尤其涉及一种数据存储方法及装置。
技术介绍
随着互联网和数据解析存储技术的高速发展，大数据时代已经到来，对海量数据，如图片、文档等的处理越来越能为生活中的各个方面带来便利。在这样的环境下，云计算和分布式系统得到大力发展，来了强大的数据存储与处理能力，提供了大的存储空间和强的计算能力。云计算是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，需要配置大量的存储设备。虽然云计算的发展为海量数据的存储和处理提供了技术基础，但是在云环境下对海量数据进行存储和处理仍然存在时效性的问题。
技术实现思路
本专利技术的目的是提供一种数据存储方法及装置，有效解决了现有海量文本数据进行存储时时效性的技术问题。本专利技术提供的技术方案如下：一种数据存储方法，包括：控制单线程逐条读取待存储的文本数据；将读取的文本数据预存储到预设数据库；控制多线程逐条读取预设数据库中的存储数据；将读取的存储数据进行持久化存储，完成文本数据的存储。在本技术方案中，将读取到的文本数据预先存储在预设数据库中，再使用多线程的方法读取预设数据库中的存储数据完成数据的持久化，更加高效的完成文本数据的存储，避免了使用多线程读写文本数据时出现冲突，提高数据存储的效率，节约时间。进一步优选地，在步骤将读取的文本数据预存储到预设数据库之后，还包括：判断预设数据库中存储的数据是否大于预设数据量；若是，跳转至步骤控制多线程逐条读取预设数据库中的存储数据。在本技术方案中，为了充分利用CPU和内存资源，读取到的文本数据达到一定量时，开始控制多线程进行持久化存储。进一步优选地，在步骤使用单线程逐条读取待存储的文本数据之后，还包括：对读取到的文本数据进行解析；根据预设规则对解析后的文本数据进行分类；在步骤将读取的文本数据预存储到预设数据库中，具体为：将分类后的文本数据预存储到预设数据库。在本技术方案中，读取了文本数据之后对其进行解析并分类，便于后续根据分类对其进行持久化存储。进一步优选地，在步骤将读取的存储数据进行持久化存储中，具体为：根据分类将读取的存储数据存储到相应关系型数据库中完成持久化存储。进一步优选地，在步骤将读取的文本数据预存储到预设数据库之后，还包括：判断是否读取到文本末尾；若是，结束文本数据读取的步骤；和/或，在步骤将读取的存储数据进行持久化存储，完成文本数据的存储之后，还包括：判断预设数据库中的存储数据是否读取完毕；若是，结束读取预设数据库中的存储数据的步骤。本专利技术还提供了一种数据存储装置，包括：处理器，用于处理各指令；及存储器，用于存储多条指令，所述指令适用于处理器加载并执行；所述多条指令中包括：控制单线程逐条读取待存储的文本数据；将读取的文本数据预存储到预设数据库；控制多线程逐条读取预设数据库中的存储数据；将读取的存储数据进行持久化存储，完成文本数据的存储。在本技术方案中，将读取到的文本数据预先存储在预设数据库中，再使用多线程的方法读取预设数据库中的存储数据完成数据的持久化，更加高效的完成文本数据的存储，避免了使用多线程读写文本数据时出现冲突，提高数据存储的效率，节约时间。进一步优选地，在指令将读取的文本数据预存储到预设数据库之后，还包括：判断预设数据库中存储的数据是否大于预设数据量；若是，跳转至指令控制多线程逐条读取预设数据库中的存储数据。在本技术方案中，为了充分利用CPU和内存资源，读取到的文本数据达到一定量时，开始控制多线程进行持久化存储。进一步优选地，在指令使用单线程逐条读取待存储的文本数据之后，还包括：对读取到的文本数据进行解析；根据预设规则对解析后的文本数据进行分类；在步骤将读取的文本数据预存储到预设数据库中，具体为：将分类后的文本数据预存储到预设数据库。在本技术方案中，读取了文本数据之后对其进行解析并分类，便于后续根据分类对其进行持久化存储。进一步优选地，在指令将读取的存储数据进行持久化存储中，具体为：根据分类将读取的存储数据存储到相应关系型数据库中完成持久化存储。进一步优选地，在指令将读取的文本数据预存储到预设数据库之后，还包括：判断是否读取到文本末尾；若是，结束文本数据的读取；和/或，在指令将读取的存储数据进行持久化存储，完成文本数据的存储之后，还包括：判断预设数据库中的存储数据是否读取完毕；若是，结束预设数据库中的存储数据的读取。附图说明下面将以明确易懂的方式，结合附图说明优选实施方式，对倒置定量气雾剂阀门的上述特性、技术特征、优点及其实现方式予以进一步说明。图1是本专利技术中数据存储方法一种实施方式流程示意图；图2是本专利技术中数据存储方法另一种实施方式流程示意图；图3是本专利技术中数据存储方法另一种实施方式流程示意图；图4为本专利技术中数据存储装置示意图。附图标号说明：100-数据存储装置，110-处理器，120-存储器。具体实施方式为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对照附图说明本专利技术的具体实施方式。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。为使图面简洁，各图中的只示意性地表示出了与本专利技术相关的部分，它们并不代表其作为产品的实际结构。由于海量数据的存储与处理的时间具备不确定性，且在此过程中CPU及内存资源并不能得到充分地利用，因而，本专利技术提供了一种针对海量数据的存储方法，如图1所示，在该数据存储方法一种实施方式中包括：S10控制单线程逐条读取待存储的文本数据；S20将读取的文本数据预存储到预设数据库；S30控制多线程逐条读取预设数据库中的存储数据；S40将读取的存储数据进行持久化存储，完成文本数据的存储。在本实施方式中，首先控制线程从海量本文数据中逐条读取文本数据并将其存储在预设数据库中，以此循环，直到判断出文本数据读取完毕，结束文本数据的读取步骤。与此同时，采用多线程的方法逐条监听、接收预设数据库中存储数据，并将其存储到关系型数据库中，以此循环，直到预设数据库中所有的文本数据都读取完毕，结束存储数据的读取步骤，完成海量数据的持久化存储。由读取文本数据的单线程和读取预设数据库中存储数据的多线程同时进行，尤其是使用多线程的方法对存储数据进行持久化存储，大大节约了数据存储的时间，解决了使用多线程直接读取文本数据时出现的冲突问题。在一实例中，该预设数据库为Redis数据库(Redis数据库支持主从同步，数据可以从主服务器向任意数量的从服务器同步，从服务器可以是关联其他从服务器的主服务器)，被配置为读取文本数据的线程读取到文本数据之后，随即将其存储到Redis数据库中进行预存储，便于后续多线程对其中的数据进行持久化存储，多线程在读取Redis数据库中的存储数据时，Redis数据库逐条写出存储数据，不仅不会出现冲突，而且大大提高了存储效率。在其他实例中，还可以为HBase数据库等，在此不做限定，为Key-Value型数据库即可。另外，在持久化存储中，将数据存储在关系型数据库中，如MySQL，Oracle等本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，所述数据存储方法中包括：控制单线程逐条读取待存储的文本数据；将读取的文本数据预存储到预设数据库；控制多线程逐条读取预设数据库中的存储数据；将读取的存储数据进行持久化存储，完成文本数据的存储。

【技术特征摘要】
1.一种数据存储方法，其特征在于，所述数据存储方法中包括：控制单线程逐条读取待存储的文本数据；将读取的文本数据预存储到预设数据库；控制多线程逐条读取预设数据库中的存储数据；将读取的存储数据进行持久化存储，完成文本数据的存储。2.如权利要求1所述的数据存储方法，其特征在于，在步骤将读取的文本数据预存储到预设数据库之后，还包括：判断预设数据库中存储的数据是否大于预设数据量；若是，跳转至步骤控制多线程逐条读取预设数据库中的存储数据。3.如权利要求1或2所述的数据存储方法，其特征在于，在步骤使用单线程逐条读取待存储的文本数据之后，还包括：对读取到的文本数据进行解析；根据预设规则对解析后的文本数据进行分类；在步骤将读取的文本数据预存储到预设数据库中，具体为：将分类后的文本数据预存储到预设数据库。4.如权利要求3所述的数据存储方法，其特征在于，在步骤将读取的存储数据进行持久化存储中，具体为：根据分类将读取的存储数据存储到相应关系型数据库中完成持久化存储。5.如权利要求1或2或4所述的数据存储方法，其特征在于，在步骤将读取的文本数据预存储到预设数据库之后，还包括：判断是否读取到文本末尾；若是，结束文本数据读取的步骤；和/或，在步骤将读取的存储数据进行持久化存储，完成文本数据的存储之后，还包括：判断预设数据库中的存储数据是否读取完毕；若是，结束读取预设数据库中的存储数据的步骤。6.一种数据存储装置，其特征在于，所述数据存储装...

【专利技术属性】
技术研发人员：李昊，
申请(专利权)人：上海斐讯数据通信技术有限公司，
类型：发明
国别省市：上海,31