一种应用于高精度地图的中间层数据安全提交方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及一种应用于高精度地图的中间层数据安全提交方法、装置、设备及存储介质，该方法主要步骤包括：设置数据流服务管理层与控制中间层两部分，约定相关数据和指令格式；控制中间层提交指令，数据流服务管理层提取和解析指令，形成逻辑处理单元；读取缓存数据，实现数据库连接和事务化提交，将结果写入数据库；提交失败时，把执行失败的任务回填，缓存数据保留，继续订阅任务重新执行；提交成功时，则完成数据写入过程，清理缓存数据。该方法使用Redis做数据缓存中间层，通过数据流服务管理与控制中间层和数据库的双向交互，起到安全连接、任务有序排队的防护作用，极大降低了数据提交的故障率，使得数据提交过程更加安全。

A safe submission method, device, device and storage medium of middle layer data applied to high precision map

【技术实现步骤摘要】
一种应用于高精度地图的中间层数据安全提交方法、装置、设备及存储介质
本专利技术涉及高精度地图数据处理
，尤其涉及一种应用于高精度地图的中间层数据安全提交方法、装置、设备及存储介质。
技术介绍
随着通信及互联网领域的迅猛发展，高精度地图已经在人们的生活中得到了越来越多的应用。高精度地图，通俗来讲就是精度更高、数据维度更多的电子地图。与一般电子导航地图面向的是驾驶员，主要起的是辅助驾驶的导航功能不一样的是，高精度地图更多的面向无人驾驶时代的自动行驶汽车，通过高精度多维度数据提供有效的地图数据。传统导航地图只需要存储和处理永久静态数据(更新频率为1个月)和半永久静态数据(频率为1小时)，而高精度地图为了应对各类突发状况，保证自动驾驶安全，还需要存储和处理半动态数据(频率为1分钟)和动态数据(频率为1秒)。因此高精度地图将大量的行车辅助信息存储为结构化数据的过程中，数据处理量更大，对数据的实时性，可靠性要求也更高。在现有技术中，为了提高数据的可靠性，对数据进行本地缓存是常用的防护机制。中间层数据缓存可以用来保护数据的完整性，在提交失败的时候可以使用缓存数据重新提交，增加一层安全机制。原始数据通过业务逻辑解算后得到最终结果，进行安全提交。但大量生产数据同时并发提交结果时，由于每个任务进程都需要连接数据库并写入数据，若干个作业员同时提交数据的现象在所难免。可以通过消息队列指令(MQ指令)使数据提交过程有序排队，可以减小据提交过程中的数据库并发连接量。但服务器上的数据库最大连接数总有上限，网络带宽也有上限，遇到大量数据同时提交的情况引起异常还是不能避免，如数据写入过程出错，数据丢失等。
技术实现思路
本专利技术针对在高精度地图应用领域中存在的大量并发作业环境下数据往往无法安全提交的问题，提供一种应用于高精度地图的中间层数据安全提交方法、装置、设备及存储介质，使用Redis做数据缓存中间层，通过数据流服务管理与控制中间层和数据库的双向交互，起到安全连接、任务有序排队的防护作用，达到解决问题的目的。本专利技术解决上述技术问题的技术方案如下：第一方面，本专利技术提供一种应用于高精度地图的中间层数据安全提交方法，主要包含以下步骤：步骤1，在Redis中，设置数据流服务管理层与控制中间层两部分，控制中间层包含数据缓存和指令缓存两部分；步骤2，在Redis中约定待缓存数据的格式；其中，缓存数据包括相关数据的字段、结构和类型等，数据格式包括JSON、文本等。使用HashSet保存缓存结果数据，HashSet是Redis里的一种数据结构，也被称为集合或容器，该容器中只能存储不重复的对象。步骤3，在Redis中约定数据提交指令格式；其中，相关指令包括数据库连接信息、提交类型等，以保证数据的正确提取。步骤4，在有数据提交任务时，控制中间层提交指令，供数据流服务管理层提取和解析；步骤5，数据流服务管理层订阅指令，实现指令提取，形成业务逻辑，交由逻辑处理单元处理；步骤6，逻辑处理单元执行业务逻辑，读取控制中间层的缓存数据，并实现数据库连接和事务化提交，将最终结果写入数据库；步骤7，当事务化提交失败时，中间层服务将把执行失败的任务回填指令缓存，缓存数据保留，继续订阅任务重新执行；当事务化提交成功时，则完成数据写入过程，可清理缓存数据以便下次任务正常执行。第二方面，本专利技术实施例还提供一种应用于高精度地图的中间层数据安全提交装置，该装置包括：中间控制单元，主要实现控制中间层功能，包含数据缓存和指令缓存两部分，用于缓存数据和指令，在有数据提交任务时，提交指令供数据流服务管理单元提取和解析；数据流服务管理单元，主要用于实现数据流服务管理层功能，订阅指令，并提取和解析指令，形成业务逻辑；逻辑处理单元，主要实现执行业务逻辑，读取中间控制单元的缓存数据，并实现数据库连接和事务化提交，将最终结果写入数据库。第三方面，本专利技术提供一种应用于高精度地图的中间层数据安全提交设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述应用于高精度地图的中间层数据安全提交方法的步骤。第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述应用于高精度地图的中间层数据安全提交方法的步骤。与现有技术相比，本专利技术具有如下显而易见的突出特点和显著的技术进步：引入中间层缓存和指令有序排队，以及事务化提交、容错，提供安全可靠的数据本地缓存，即使提交失败，也能找回。通过指令缓存实现指令排队，作业员数据写入本地缓存且不直连数据库，减小数据库连接压力，只有双向数据流服务与数据库直连并获得缓存数据进行数据库写入，极大降低了数据提交的故障率，使得数据提交过程更加安全。附图说明图1为本专利技术实施例一开的一种应用于高精度地图的中间层数据安全提交方法流程图；图2为本专利技术实施例二开的一种应用于高精度地图的中间层数据安全提交装置的结构框图。具体实施方式为了使本专利技术实施例中的目的、技术方案和优点进行清楚、完整地描述，下面将结合本专利技术实施例中的附图对本专利技术作进一步说明。以下结合附图所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。本专利技术的实施例一提供一种应用于高精度地图的中间层数据安全提交方法，解决在高精度地图领域中大量并发作业环境下数据往往无法安全提交的问题，实现安全连接、任务有序排队的防护作用，达到降低数据提交故障率，数据提交过程更加安全的目的。本专利技术实施例中使用的电脑环境为postgres9.4，postgis9.4，开发环境为vs2015+qt5，Redis2.4.5。图1为本专利技术实施的流程图，其具体的实施方法如下所示：步骤1，在Redis中，设置数据流服务管理层与控制中间层两部分，控制中间层包含数据缓存和指令缓存两部分，所要提交的数据集写入数据缓存，同时生成解析任务指令，写入指令缓存。步骤2：数据流服务管理层获取解析任务指令，将任务信息提交逻辑处理单元。步骤3：逻辑处理单元读取任务信息的缓存数据并连接数据库，事务化提交结果。步骤4：获取提交状态。步骤5：提交异常，则保留数据缓存，回填指令，以待重新执行成功。步骤6：提交成功，则完成数据入库，清理数据缓存以便下次任务写入。本专利技术的实施例二提供了能够实现上述应用于高精度地图的中间层数据安全提交方法全部步骤的一种应用于高精度地图的中间层数据安全提交装置的具体实施方式，所述中间层数据安全提交装置具体包括如下内容：中间控制单元，主要实现控制中间层功能，包含数据缓存和指令缓存两部分，用于缓存数据和指令，在有数据提交任务时，提交指令供数据流服务管理单元提取和解析；数据流服务管理单元，主要用于实现数据流服务管理层功能，订阅指令，并提取和解析指令，形成业务逻辑；逻辑处理单元，主要本文档来自技高网...

【技术保护点】
1.一种应用于高精度地图的中间层数据安全提交方法，其特征在于，包括：步骤1，在Redis中设置数据流服务管理层与控制中间层两部分；步骤2，约定待缓存数据的格式；步骤3，约定数据提交指令格式；步骤4，在有数据提交任务时，控制中间层提交指令，供数据流服务管理层提取和解析；步骤5，数据流服务管理层订阅指令，实现指令提取，形成逻辑处理单元；步骤6，逻辑处理单元执行业务逻辑，读取控制中间层的缓存数据，并实现数据库连接和事务化提交，将最终结果写入数据库；步骤7，当事务化提交失败时，中间层服务将把执行失败的任务回填指令缓存，缓存数据保留，继续订阅任务重新执行；当事务化提交成功时，完成数据写入过程，清理缓存数据。/n

【技术特征摘要】
1.一种应用于高精度地图的中间层数据安全提交方法，其特征在于，包括：步骤1，在Redis中设置数据流服务管理层与控制中间层两部分；步骤2，约定待缓存数据的格式；步骤3，约定数据提交指令格式；步骤4，在有数据提交任务时，控制中间层提交指令，供数据流服务管理层提取和解析；步骤5，数据流服务管理层订阅指令，实现指令提取，形成逻辑处理单元；步骤6，逻辑处理单元执行业务逻辑，读取控制中间层的缓存数据，并实现数据库连接和事务化提交，将最终结果写入数据库；步骤7，当事务化提交失败时，中间层服务将把执行失败的任务回填指令缓存，缓存数据保留，继续订阅任务重新执行；当事务化提交成功时，完成数据写入过程，清理缓存数据。


2.根据权利要求1所述一种应用于高精度地图的中间层数据安全提交方法，其特征在于，所述步骤1中，控制中间层包含数据缓存和指令缓存两部分。


3.根据权利要求1所述一种应用于高精度地图的中间层数据安全提交方法，其特征在于，所述步骤2中，缓存数据包括相关数据的字段、结构和类型，数据格式包括JSON、文本。


4.根据权利要求1所述一种应用于高精度地图的中间层数据安全提交方法，其...

【专利技术属性】
技术研发人员：郝乾，刘昊松，刘圆，刘奋，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：湖北;42