【技术实现步骤摘要】
一种基于众包地图更新的海量数据接入处理方法及系统
本专利技术涉及大数据领域，尤其涉及一种基于众包地图更新的海量数据接入处理方法及系统。
技术介绍
众包地图数据为众包采集的高精度地图数据，基于车端众包采集的地图数据对于高精度地图制作，以及高精度地图更新具有重要作用。然而随着接入的众包地图数据增多，对服务端的海量数据处理提出了更高要求。目前，对于海量接入数据处理方案有将接入数据传至kafka队列，然后通过流处理引擎，将数据实时写入HBase数据库，可以基本满足数据存储及分析处理要求，然而，随着数据量的进一步增加，服务器端负载过大，难以保证数据的实时处理要求。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于众包地图更新的海量数据接入处理方法及系统，以解决现有海量数据接入处理时服务器端负载过大，难以满足数据实时处理要求的问题。在本专利技术实施例的第一方面，提供了一种基于众包地图更新的海量数据接入处理方法，包括：接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台...
【技术保护点】
1.一种基于众包地图更新的海量数据接入处理方法，其特征在于，包括：/n接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台服务器；/n基于Keepalived和Nginx代理进行服务转发后，由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列；/n获取消息队列中数据处理任务进行微服务处理，将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理。/n
【技术特征摘要】
1.一种基于众包地图更新的海量数据接入处理方法，其特征在于，包括：
接收车端众包地图更新数据后，通过基于lvs中的NAT机制将数据转发至后台服务器；
基于Keepalived和Nginx代理进行服务转发后，由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列；
获取消息队列中数据处理任务进行微服务处理，将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理。
2.根据权利要求1所述的方法，其特征在于，所述通过基于lvs中的NAT机制将数据转发至后台服务器包括：
对预定众包地图更新数据进行NAT地址转换处理，记录处理所述预定众包地图更新数据的服务器地址，并将后续接收的所述预定众包地图更新数据转发至对应地址的服务器。
3.根据权利要求1所述的方法，其特征在于，所述基于Keepalived和Nginx代理进行服务转发包括：
基于Nginx对HTTP应用的请求进行分流，并通过端口检测对应服务器内部故障。
4.根据权利要求1所述的方法，其特征在于，所述由服务集群NIO创建多线程数据处理任务，并通过Kafka生成多任务消息队列还包括：
在用户请求高并发情况下，将车端众包更新数据存储至redis中，根据业务逻辑，定期将所述车端众包更新数据同步至关系型数据库PostgreSQL中。
5.根据权利要求1所述的方法，其特征在于，所述将处理后的更新数据存储至HDFS文件系统，并在非结构化数据库HBase中进行管理包括：
配置主从数据库，设定在从库中进行数据读取，在主库进行增加、删除、修改操作。
6...
【专利技术属性】
技术研发人员：王骏，樊迪，陈明宇，罗跃军，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。