一种路基压实施工数据高效处理系统技术方案

本发明专利技术提供了一种路基压实施工数据高效处理系统，包括数据拆分单元、数据存储队列单元、存储任务调度线程池单元、原始数据存储单元、数据计算任务队列单元和计算任务执行单元，本发明专利技术以解决大量施工原始数据的高并发快速存储及高并发快速计算处理为目的。通过设计合理的数据分片规则，以及基于线程池的存储任务调度策略，实现实时数据的高并发快速存储。通过数据的分片存储，实现了原始数据的高并发读取、计算和处理。

【技术实现步骤摘要】
一种路基压实施工数据高效处理系统
本专利技术涉及路基压实施工原始数据高并发存储方法；本专利技术涉及路基压实施工数据高并发计算处理方法。
技术介绍
在路基压实施工过程中，施工车辆产生大量的施工数据。如何快速存储大量的实时施工数据，是一个技术难点，如何快速分析计算大量的原始施工数据，是另一个技术难点。如果存储或计算处理延时过长，将导致系统实时性能降低，数据量越大，实时性越低，最终将失去实时监控的意义。
技术实现思路
为了解决上述不足的缺陷，本专利技术提供了一种路基压实施工数据高效处理系统，本专利技术以解决大量施工原始数据的高并发快速存储及高并发快速计算处理为目的。通过设计合理的数据分片规则，以及基于线程池的存储任务调度策略，实现实时数据的高并发快速存储。通过数据的分片存储，实现了原始数据的高并发读取、计算和处理。本专利技术提供了一种路基压实施工数据高效处理系统，包括数据拆分单元、数据存储队列单元、存储任务调度线程池单元、原始数据存储单元、数据计算任务队列单元和计算任务执行单元。上述的系统，其中，所述数据拆分单元根据设计好的数据拆分策略，实现施工原始数据的拆分，属于同一分片的数据被存储在同一数据库文件中。上述的系统，其中，所述数据存储队列单元将原始施工数据被拆分成数据包后，以拆分后的数据包为单位，创建数据存储队列，此队列被数据存储线程池调度管理。上述的系统，其中，所述存储任务调度线程池单元根据存储任务队列情况，以策略调度存储任务。上述的系统，其中，所述原始数据存储单元根据不同的数据包存储在不同的数据库文件中。上述的系统，其中，所述数据计算任务队列单元以分片存储的数据库文件为基础，一个原始数据存储文件创建一个计算任务，计算任务放入队列中，此队列被计算任务调度线程池管理。上述的系统，其中，所述计算任务执行单元根据计算任务调度线程池以策略调度数据计算任务，由于待计算数据处于不同数据文件中，使得计算任务能以较高的并发数并发执行。本专利技术提供了一种路基压实施工数据高效处理系统具有以下有益效果：通过设计合理的数据分片规则，以及基于线程池的存储任务调度策略，实现实时数据的高并发快速存储。通过数据的分片存储，实现了原始数据的高并发读取、计算和处理；建立一种数据拆分策略，实现数据的分块存储，依据拆分的数据，建立了存储任务调度策略，实现了大量实时数据的高并发快速存储。依据拆分的数据，建立了计算任务的调度策略，实现了大量数据的高并发快速计算处理，实现了计算结果的快速存储。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术及其特征、外形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本专利技术的主旨。图1、图2分别为本专利技术提供的施工数据轨迹及网格化处理流程图和施工数据提取及图片生成流程图。具体实施方式在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。为了彻底理解本专利技术，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本专利技术的技术方案。本专利技术的较佳实施例详细描述如下，然而除了这些详细描述外，本专利技术还可以具有其他实施方式。高并发数据存储及高并发数据计算处理，是路基压实施工信息化系统的核心技术功能，是施工实时监控的基础。参照图1、图2所示，本专利技术提供的一种路基压实施工数据高效处理系统，包括数据拆分单元、数据存储队列单元、存储任务调度线程池单元、原始数据存储单元、数据计算任务队列单元和计算任务执行单元。本专利技术中，数据拆分单元根据设计好的数据拆分策略，实现施工原始数据的拆分，属于同一分片的数据被存储在同一数据库文件中。本专利技术一优选而非限制的实施例中，数据存储队列单元将原始施工数据被拆分成数据包后，以拆分后的数据包为单位，创建数据存储队列，此队列被数据存储线程池调度管理。本专利技术一优选而非限制的实施例中，存储任务调度线程池单元根据存储任务队列情况，以一定的策略调度存储任务，使存储任务以尽可能大的并发数进行数据存储，由于原始数据分包存储在不同的数据库文件中，使得存储任务能以较大高的并发数并发执行。本专利技术一优选而非限制的实施例中，原始数据存储单元根据不同的数据包存储在不同的数据库文件中，这是原始数据并发存储的基础，也是数据并发处理的基础。本专利技术一优选而非限制的实施例中，数据计算任务队列单元以分片存储的数据库文件为基础，一个原始数据存储文件创建一个计算任务，计算任务放入队列中，此队列被计算任务调度线程池管理。本专利技术一优选而非限制的实施例中，计算任务执行单元根据计算任务调度线程池以一定策略调度数据计算任务，由于待计算数据处于不同数据文件中，使得计算任务能以较高的并发数并发执行。本专利技术中，本专利技术通过建立一种数据拆分策略，实现数据的分块存储，依据拆分的数据，建立了存储任务调度策略，实现了大量实时数据的高并发快速存储。依据拆分的数据，建立了计算任务的调度策略，实现了大量数据的高并发快速计算处理，实现了计算结果的快速存储。本专利技术中，数据的分块存储是并发存储和并发计算的基础。施工过程中，大量的数据传输到服务端，服务端需要接收并存储实时数据。如存储是以单入口的方式处理，则存储入口会成为存储的瓶颈，数据量越大，则存储延时越高。通过施工数据的工程属性，建立一套数据分块策略，归属于同一分块的数据存储在同一数据库文件中，通过这种方式，实现了存储的多入口，为数据的并发存储提供了数据基础，极大提高了数据存储的实时性。依据分块存储的数据库文件，建立数据存储队列，存储队列放入数据存储线程池中管理。数据存储线程池实按照设定的调度策略对存储任务进行合理调度，实现了数据存储任务的高并发执行。以分块存储的数据库文件为依据，建立数据计算处理任务队列。数据的分块存储为计算的并发执行提供了数据基础，数据计算任务调度线程池按照设定的调度策略对计算任务进行合理调度，实现了数据计算任务的高并发执行。每个分块的计算结果仍然存储在本分块的数据库文件中，在计算任务完成时，执行存库操作，从而实现了计算结果存库操作的并发执行。本专利技术通过设计合理的数据分片规则，以及基于线程池的存储任务调度策略，实现实时数据的高并发快速存储。通过数据的分片存储，实现了原始数据的高并发读取、计算和处理；建立一种数据拆分策略，实现数据的分块存储，依据拆分的数据，建立了存储任务调度策略，实现了大量实时数据的高并发快速存储。依据拆分的数据，建立了计算任务的调度策略，实现了大量数据的高并发快速计算处理，实现了计算结果的快速存储。以上对本专利技术的较佳实施例进行了描述。需要理解的是，本专利技术并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本专利技术技术方案范围情况下，都可利用上述揭示的方法和
技术实现思路
对本专利技术技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本专利技术的实质内容。因此，凡是未脱离本专利技术技术方案的内容，依据本专利技术的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本专利技术技术方案保护的范围本文档来自技高网...

【技术保护点】
1.一种路基压实施工数据高效处理系统，其特征在于，包括数据拆分单元、数据存储队列单元、存储任务调度线程池单元、原始数据存储单元、数据计算任务队列单元和计算任务执行单元。

【技术特征摘要】
1.一种路基压实施工数据高效处理系统，其特征在于，包括数据拆分单元、数据存储队列单元、存储任务调度线程池单元、原始数据存储单元、数据计算任务队列单元和计算任务执行单元。2.如权利要求1所述的一种路基压实施工数据高效处理系统，其特征在于，所述数据拆分单元根据设计好的数据拆分策略，实现施工原始数据的拆分，属于同一分片的数据被存储在同一数据库文件中。3.如权利要求1所述的一种路基压实施工数据高效处理系统，其特征在于，所述数据存储队列单元将原始施工数据被拆分成数据包后，以拆分后的数据包为单位，创建数据存储队列，此队列被数据存储线程池调度管理。4.如权利要求3所述的一种路基压实施工数据高效处理系统，其特征在于，所述...

【专利技术属性】
技术研发人员：沈礼伟，黄诗丰，杨红，刘理想，朱亚林，
申请(专利权)人：南京天辰礼达电子科技有限公司，
类型：发明
国别省市：江苏,32