一种基于众包地图更新的海量数据接入处理方法及系统技术方案

本发明专利技术提供一种基于众包地图更新的海量数据接入处理方法及系统，该方法包括：接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台服务器；基于Keepalived和Nginx代理进行服务转发后，由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列；获取消息队列中数据处理任务进行微服务处理，将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理。通过该方案解决现有海量数据接入处理时服务器端负载过大，难以满足实时性要求的问题，有效提升数据处理速度，实现服务端负载均衡，保障众包地图更新的实时性。

A massive data access processing method and system based on crowdsourcing map update

【技术实现步骤摘要】
一种基于众包地图更新的海量数据接入处理方法及系统
本专利技术涉及大数据领域，尤其涉及一种基于众包地图更新的海量数据接入处理方法及系统。
技术介绍
众包地图数据为众包采集的高精度地图数据，基于车端众包采集的地图数据对于高精度地图制作，以及高精度地图更新具有重要作用。然而随着接入的众包地图数据增多，对服务端的海量数据处理提出了更高要求。目前，对于海量接入数据处理方案有将接入数据传至kafka队列，然后通过流处理引擎，将数据实时写入HBase数据库，可以基本满足数据存储及分析处理要求，然而，随着数据量的进一步增加，服务器端负载过大，难以保证数据的实时处理要求。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于众包地图更新的海量数据接入处理方法及系统，以解决现有海量数据接入处理时服务器端负载过大，难以满足数据实时处理要求的问题。在本专利技术实施例的第一方面，提供了一种基于众包地图更新的海量数据接入处理方法，包括：接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台服务器；基于Keepalived和Nginx代理进行服务转发后，由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列；获取消息队列中数据处理任务进行微服务处理，将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理。在本专利技术实施例的第二方面，提供了一种基于众包地图更新的海量数据接入处理系统，包括：数据接入模块，用于接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台服务器；数据处理模块，用于基于Keepalived和Nginx代理进行服务转发后，由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列；数据存储模块，用于获取消息队列中数据处理任务进行微服务处理，将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理。本专利技术实施例中，接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台服务器；基于Keepalived和Nginx代理进行服务转发后，由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列；获取消息队列中数据处理任务进行微服务处理，将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理。可以对接入的海量数据进行实时快速的处理及存储，实现服务器端负载均衡，解决了现有海量众包地图更新数据接入处理时服务器端负载过大，难以满足实时性的问题，有效提升服务器的数据处理速度，保障服务端的实时性、可靠性及兼容性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本专利技术的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。图1为本专利技术的一个实施例提供的基于众包地图更新的海量数据接入处理方法的流程示意图；图2为本专利技术的一个实施例提供的基于众包地图更新的海量数据接入处理方法的框架结构示意图；图3为本专利技术的一个实施例提供的基于众包地图更新的海量数据接入处理系统结构示意图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。本专利技术的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。请参阅图1，图1为本专利技术实施例提供的一种基于众包地图更新的海量数据接入处理方法的流程示意图，包括：S101、接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台服务器；所述车端众包地图更新数据为基于车端采集的众包地图数据，服务端生成更新地图后，可以根据用户请求返回更新的地图数据，在所述车端众包地图更新数据中可以包括用户上传的众包地图数据、地图更新请求数据。所述lvs(LinuxVirtualServer)即Linux虚拟服务器，用于将用户请求调度发送至后台web服务器，所述NAT(NetworkAddressTranslation)即网络地址转换，通过数据报头可以使得外部请求访问内部私有IP主机。基于lvs中的NAT机制可以决定对哪些流量数据进行负载均衡。可选的，对预定众包地图更新数据进行NAT地址转换处理，记录处理所述预定众包地图更新数据的服务器地址，并将后续接收的所述预定众包地图更新数据转发至对应的服务器地址。S102、基于Keepalived和Nginx代理进行服务转发后，由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列；所述Keepalived用于实现服务器的高可用，通过检测服务器状态防止单点故障导致业务无法访问的问题。所述Nginx为一个高性能的HTTP和反向代理服务器，基于Keepalived和Nginx代理可以根据网络请求类型，进行服务分流，具体的，基于Nginx对HTTP应用的请求进行分流，如根据http域名、目录结构进行服务分流。所述NI即及newIO，基于NIO可以为数据提供缓存支持的数据容器。由服务集群NIO根据用户请求创建多线程的数据处理任务，基于kafka消息订阅发布系统，方便数据的实时处理。优选的，在用户请求高并发情况下，将车端众包更新数据存储至redis中，根据业务逻辑，定期将所述车端众包更新数据同步至关系型数据库PostgreSQL中。S103、获取消息队列中数据处理任务进行微服务处理，将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理。每个任务经微服务化处理后，对应的处理结果可以存储至至HDFS文件系统，或根据处理结果访问HBase中存储的数据。所述HBase为基于HDFS(HadoopDistributedFileSystem)、分布式的非关系型数据库，基于HBase管理海量众包地图更新数据。优选的，在用户请求高并发情况下，将车端众包更新数据存储至redis中，根据业务逻辑，定期将所述车端众包更新数据同步至关系型数据库PostgreSQL中。优选的，配置主从数据库，设定在从库中进行数据读取，在主库进行增加、删除、修改操作。可选的，在HBase中数据存储于HDFS文件系统，并通过Zookeeper进行Master和RegionServer的协调管理。在本专利技术另一个实施例中，提供了基于众包地图更新的海量数据接入处理方法对应的框架结本文档来自技高网...

【技术保护点】
1.一种基于众包地图更新的海量数据接入处理方法，其特征在于，包括：/n接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台服务器；/n基于Keepalived和Nginx代理进行服务转发后，由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列；/n获取消息队列中数据处理任务进行微服务处理，将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理。/n

【技术特征摘要】
1.一种基于众包地图更新的海量数据接入处理方法，其特征在于，包括：
接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台服务器；
基于Keepalived和Nginx代理进行服务转发后，由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列；
获取消息队列中数据处理任务进行微服务处理，将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理。


2.根据权利要求1所述的方法，其特征在于，所述通过基于lvs中的NAT机制将数据转发至后台服务器包括：
对预定众包地图更新数据进行NAT地址转换处理，记录处理所述预定众包地图更新数据的服务器地址，并将后续接收的所述预定众包地图更新数据转发至对应地址的服务器。


3.根据权利要求1所述的方法，其特征在于，所述基于Keepalived和Nginx代理进行服务转发包括：
基于Nginx对HTTP应用的请求进行分流，并通过端口检测对应服务器内部故障。


4.根据权利要求1所述的方法，其特征在于，所述由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列还包括：
在用户请求高并发情况下，将车端众包更新数据存储至redis中，根据业务逻辑，定期将所述车端众包更新数据同步至关系型数据库PostgreSQL中。


5.根据权利要求1所述的方法，其特征在于，所述将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理包括：
配置主从数据库，设定在从库中进行数据读取，在主库进行增加、删除、修改操作。


6...

【专利技术属性】
技术研发人员：王骏，樊迪，陈明宇，罗跃军，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：湖北;42