海量数据存储方法及海量数据存储系统技术方案

本发明专利技术公开了一种海量数据存储方法及海量数据存储系统，其中，该方法包括：主MQ集群接收外部发送的待存储数据，并将待存储数据交互给比较模块；比较模块判断缓存集群是否存在待存储数据；若缓存集群中存在待存储数据，则比较模块不处理待存储数据；若缓存集群中不存在待存储数据，则比较模块将待存储数据发送至数据库和缓存集群进行同步存储。本发明专利技术先将外部接收到的数据存储至主MQ集群，因此，通过这种异步方式减轻了数据库的入库压力。此外，比较模块判定当前待存储数据属于新的数据时，才将其存储至数据库，从而提升了数据库的数据有效存储率。进一步，相同的数据不进行处理，则提升了数据的处理速率。

Mass data storage method and massive data storage system

The invention discloses a mass data storage method and a mass data storage system. The method includes: the main MQ cluster receives the stored data sent from the outside, and interacts the stored data to the comparison module; the comparison module determines whether the cache cluster has the data to be stored in the cache; if the cache cluster has the data to be stored in the cluster, The comparison module does not process the data to be stored; if there is no data to be stored in the cache cluster, the comparison module sends the stored data to the database and the cache cluster for synchronous storage. The invention first stores the external received data to the main MQ cluster, thereby reducing the storage pressure of the database through this asynchronous mode. In addition, when the comparison module determines that the current data to be stored is a new data, it is stored to the database, thus improving the data efficient storage rate of the database. Furthermore, if the same data is not processed, the processing speed of data is improved.

【技术实现步骤摘要】
海量数据存储方法及海量数据存储系统
本专利技术涉及数据存储
，尤其涉及一种海量数据存储方法及海量数据存储系统。
技术介绍
目前，随着信息数据处理需求的日益增长以及不同领域的业务种类的日益丰富，海量数据的存储变得越来越重要。现有的海量数据直接通过数据库接口接入数据库，既会造成数据库的入库压力大，也会造成导入数据库的数据的冗余度过高(譬如：相同的数据)，以致降低了数据导入的有效率。
技术实现思路
本专利技术的目的在于提供一种海量数据存储方法及海量数据存储系统，以解决现有数据库的入库压力大，且数据导入有效率低的问题。为了解决上述问题，本专利技术提供了一种海量数据存储方法，其包括如下步骤：主MQ集群接收外部发送的待存储数据，并将待存储数据交互给比较模块；比较模块判断缓存集群是否存在待存储数据；若缓存集群中存在待存储数据，则比较模块不处理待存储数据；若缓存集群中不存在待存储数据，则比较模块将待存储数据发送至数据库和缓存集群进行同步存储。作为本专利技术的进一步改进，其还包括：监测模块监测主MQ集群是否出现故障；若监测到主MQ集群出现故障，则发送故障反馈信息至控制终端。作为本专利技术的进一步改进，发送故障反馈信息至控制终端的步骤之后，还包括：控制终端接收到故障反馈信息后，发送重新获取请求至外部，以重新获取所有待存储数据且发送至备用MQ集群，备用MQ集群作为新的主MQ集群，且发送清空指令至主MQ集群，以清空主MQ集群存储的所有数据，主MQ集群作为新的备用MQ集群。作为本专利技术的进一步改进，监测模块监测主MQ集群是否出现故障的步骤，包括：监测模块实时监测主MQ集群堆积的数据量是否超过预设阈值；若堆积的数据量超过预设阈值，则主MQ集群出现故障。为了解决上述问题，本专利技术还提供了一种海量数据存储系统，其包括：缓存集群，用于记录所有已存储数据，且用于接收并存储比较模块发送的目标存储数据，以形成新的已存储数据，目标存储数据为与所有已存储数据比较不一致的数据；主MQ集群，用于接收外部发送的待存储数据；比较模块，用于接收主MQ集群发送的待存储数据，并将待存储数据与所有已存储数据进行比较；数据库，用于接收并存储比较模块发送的目标存储数据。作为本专利技术的进一步改进，其还包括：监测模块，用于监测主MQ集群是否出现故障，若监测到主MQ集群出现故障，则生成故障反馈信息；控制终端，用于接收监测模块发送的故障反馈信息。作为本专利技术的进一步改进，其还包括：控制终端，还用于接收到故障反馈信息后，发送重新获取请求至外部，以请求重新获取所有待存储数据且发送至备用MQ集群，且发送清空指令至主MQ集群；备用MQ集群，用于接收外部再次发送的待存储数据，且备用MQ集群作为新的主MQ集群；主MQ集群，还用于接收到清空指令时，清空主MQ集群存储的所有数据，主MQ集群作为新的备用MQ集群。作为本专利技术的进一步改进，监控模块包括：堆积量监测单元，用于实时监测主MQ集群堆积的数据量是否超过预设阈值；若堆积的数据量超过预设阈值，则反馈主MQ集群出现故障。与现有技术相比，本专利技术先将外部接收到的数据存储至主MQ集群，因此，通过这种异步方式减轻了数据库的入库压力。此外，比较模块判定当前待存储数据属于新的数据时，才将其存储至数据库，从而提升了数据库的数据有效存储率。进一步，相同的数据不进行处理，则提升了数据的处理速率。附图说明图1为本专利技术海量数据存储方法第一个实施例的流程示意图；图2为本专利技术海量数据存储方法第二个实施例的流程示意图；图3为本专利技术海量数据存储方法第三个实施例的流程示意图；图4为本专利技术海量数据存储系统第一个实施例的框架结构示意图；图5为本专利技术海量数据存储系统第二个实施例的框架结构示意图；图6为本专利技术海量数据存储系统第三个实施例的框架结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用来限定本专利技术。图1展示了本专利技术海量数据存储方法的一个实施例。在本实施例中，该海量数据存储方法包括如下步骤：步骤S1，主MQ集群接收外部发送的待存储数据，并将待存储数据交互给比较模块。步骤S2，比较模块判断缓存集群是否存在待存储数据；若缓存集群中存在待存储数据，则执行步骤S3。若缓存集群中不存在待存储数据，则执行步骤S4。步骤S3，比较模块不处理待存储数据；步骤S4，比较模块将待存储数据发送至数据库和缓存集群进行同步存储。本实施例先将外部接收到的数据存储至主MQ集群，因此，通过这种异步方式减轻了数据库的入库压力。此外，比较模块判定当前待存储数据属于新的数据时，才将其存储至数据库，从而提升了数据库的数据有效存储率。进一步，相同的数据不进行处理，则提升了数据的处理速率。将本专利技术的海量数据存储方法应用于海量数据存储系统的应用过程中，若主MQ集群，需要即时进行获知。因此，上述实施例的基础上，其他实施例中，参见图2，该海量数据存储方法还包括：步骤S10，监测模块监测主MQ集群是否出现故障；若监测到主MQ集群出现故障，则执行步骤S11。需要说明的是，为了更加详细说明本专利技术的技术方案，以根据数据量堆积情况为依据，以判断该主MQ集群是否出现故障。具体地，监测模块实时监测主MQ集群堆积的数据量是否超过预设阈值；若堆积的数据量超过预设阈值，则主MQ集群出现故障。本实施例通过数据量的堆积情况，判断主MQ集群是否出现故障，易于实现，从而降低了处理复杂度。步骤S11，发送故障反馈信息至控制终端。需要说明的是，本实施例中的控制终端可以是管控人员的移动终端，譬如：手机、平板等。因此，管控人员可以不受地理位置的限制，实时可以获知主MQ集群的运行状态。本实施例实时监控主MQ集群的运行状态，若主MQ集群出现故障时，则即时告知控制终端，以便即时进行处理，从而提升了用户使用体验。将本专利技术的海量数据存储方法应用于海量数据存储系统的应用过程中，若主MQ集群出现故障，需要即时作为处理。因此，上述实施例的基础上，其他实施例中，参见图3，步骤S11之后，还包括：步骤S20，控制终端接收到故障反馈信息后，发送重新获取请求至外部，以重新获取所有待存储数据且发送至备用MQ集群，备用MQ集群作为新的主MQ集群，且发送清空指令至主MQ集群，以清空主MQ集群存储的所有数据，主MQ集群作为新的备用MQ集群。本实施例当监测到主MQ集群出现故障时，即时采用备用MQ集群重新获取数据，避免了主MQ集群出现故障时，不即时处理数据，以致存储至数据库中的数据不是即时更新，从而不能满足用户对数据的实时需求。图4展示了本专利技术海量数据存储系统的一个实施例。在本实施例中，该海量数据存储系统包括主MQ集群10、比较模块11、数据库12和缓存集群13。其中，缓存集群13，用于记录所有已存储数据，且用于接收并存储比较模块11发送的目标存储数据，以形成新的已存储数据，目标存储数据为与所有已存储数据比较不一致的数据；主MQ集群10，用于接收外部发送的待存储数据；比较模块11，用于接收主MQ集群10发送的待存储数据，并将待存储数据与所有已存储数据进行比较；数据库12，用于接收并存储比较模块11发送的目标存储数据。在上述实施例的基础上，其他实施例中，参见图5，该海量数据存储系统本文档来自技高网...

【技术保护点】
1.一种海量数据存储方法，其特征在于，其包括如下步骤：主MQ集群接收外部发送的待存储数据，并将所述待存储数据交互给比较模块；所述比较模块判断所述缓存集群是否存在所述待存储数据；若所述缓存集群中存在所述待存储数据，则所述比较模块不处理所述待存储数据；若所述缓存集群中不存在所述待存储数据，则所述比较模块将所述待存储数据发送至数据库和所述缓存集群进行同步存储。

【技术特征摘要】
1.一种海量数据存储方法，其特征在于，其包括如下步骤：主MQ集群接收外部发送的待存储数据，并将所述待存储数据交互给比较模块；所述比较模块判断所述缓存集群是否存在所述待存储数据；若所述缓存集群中存在所述待存储数据，则所述比较模块不处理所述待存储数据；若所述缓存集群中不存在所述待存储数据，则所述比较模块将所述待存储数据发送至数据库和所述缓存集群进行同步存储。2.根据权利要求1所述的海量数据存储方法，其特征在于，其还包括：监测模块监测所述主MQ集群是否出现故障；若监测到所述主MQ集群出现故障，则发送故障反馈信息至控制终端。3.根据权利要求2所述的海量数据存储方法，其特征在于，所述发送故障反馈信息至控制终端的步骤之后，还包括：所述控制终端接收到所述故障反馈信息后，发送重新获取请求至外部，以重新获取所有待存储数据且发送至备用MQ集群，所述备用MQ集群作为新的主MQ集群，且发送清空指令至所述主MQ集群，以清空所述主MQ集群存储的所有数据，所述主MQ集群作为新的备用MQ集群。4.根据权利要求2所述的海量数据存储方法，其特征在于，所述监测模块监测所述主MQ集群是否出现故障的步骤，包括：所述监测模块实时监测所述主MQ集群堆积的数据量是否超过预设阈值；若堆积的数据量超过所述预设阈值，则所述主MQ集群出现故障。5.一种海量数据存储系统，其特征在于，其包括：缓存集群，用于记录所有已存...

【专利技术属性】
技术研发人员：曾勇，许毅文，郑雄威，张红卫，
申请(专利权)人：深圳市天下房仓科技有限公司，
类型：发明
国别省市：广东,44