【技术实现步骤摘要】
本专利技术涉及数据统计，具体的说是一种高并发多节点的数据收集统计方法及系统。
技术介绍
1、一般信息系统在将excel数据导入数据库系统时，会让数据库系统返回实时上传进度，并且让数据库系统返回不合格的excle数据，这让在多节点、高并发环境下的数据统计变得很复杂。
技术实现思路
1、本专利技术针对目前技术发展的需求和不足之处，提供一种高并发多节点的数据收集统计方法及系统，旨在对大量的数据处理任务提供实时记录并对数据进行筛选处理。
2、第一方面，本专利技术提供一种高并发多节点的数据收集统计方法，解决上述技术问题采用的技术方案如下：
3、一种高并发多节点的数据收集统计方法，用户通过信息系统的导入功能向数据库系统上传excle表格数据，这一过程中，
4、所上传的excle表格数据具有唯一标识key，将具有唯一标识key的excle表格数据均分成多个数据块；
5、每个节点消费处理一个数据块，同时统计其所处理数据块的数据量；
6、对具有相同...
【技术保护点】
1.一种高并发多节点的数据收集统计方法，其特征在于，用户通过信息系统的导入功能向数据库系统上传excle表格数据，这一过程中，
2.根据权利要求1所述的一种高并发多节点的数据收集统计方法，其特征在于，用户通过信息系统的导入功能向数据库系统上传excle表格数据，这一过程中，
3.根据权利要求2所述的一种高并发多节点的数据收集统计方法，其特征在于，节点消费处理数据块的同时统计该数据块的数据量，具体包括总处理数、成功数、失败数。
4.根据权利要求3所述的一种高并发多节点的数据收集统计方法，其特征在于，节点消费处理数据块的同时统计该数据块...
【技术特征摘要】
1.一种高并发多节点的数据收集统计方法，其特征在于，用户通过信息系统的导入功能向数据库系统上传excle表格数据，这一过程中，
2.根据权利要求1所述的一种高并发多节点的数据收集统计方法，其特征在于，用户通过信息系统的导入功能向数据库系统上传excle表格数据，这一过程中，
3.根据权利要求2所述的一种高并发多节点的数据收集统计方法，其特征在于，节点消费处理数据块的同时统计该数据块的数据量，具体包括总处理数、成功数、失败数。
4.根据权利要求3所述的一种高并发多节点的数据收集统计方法，其特征在于，节点消费处理数据块的同时统计该数据块的数据量，这一过程中，通过redis里的hsettotable方法将每个节点统计的数据量记录下来，其中每个数据块的key作为redis里hsettotable的key，存储的值里面包含每个数据块的位置、总处理数、成功数、失败数。
5.根据权利要求4所述的一种高并发多节点的数据收集统计方法，其特征在于，将redis里的存储数据通过key取出，将每个节点统计的数据量累加得到具有唯一标识key的excle表格数据的上传结果，上传结果包括上传进度、成功数、失败数，随后，将上传结果返回给信息系统，信息系统前端进行上传结果的展示。
6.一种高...
【专利技术属性】
技术研发人员：刘芝涛，赵海兴，罗超，申传旺，邱阳，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。