一种群用户查询大数据的处理方法及装置制造方法及图纸

技术编号:24353076 阅读:35 留言:0更新日期:2020-06-03 01:59
本发明专利技术公开了一种群用户查询大数据的处理方法及装置,其中该处理方法包括:接收多个用户下载与其对应的目标数据的信号,并将下载每个用户对应的目标数据作为一个目标任务;判断当前的下载任务队列内的目标任务的数量是否已经达到预设任务数量,预设任务数量为任务处理的上限数量;若是,则按照目标任务生成的时间先后顺序,将当前下载任务队列外的全部目标任务进行排队,待下载任务队列内的目标任务的数量少于预设任务数量后,按照排队顺序将符合条件的目标任务拉入下载任务队列内进行处理。本发明专利技术可以解决大量用户群同时查询大数据时,造成的数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作的问题。

A processing method and device for a group of users to query big data

【技术实现步骤摘要】
一种群用户查询大数据的处理方法及装置
本专利技术涉及大数据应用
,特别是涉及一种群用户查询大数据的处理方法及装置。
技术介绍
目前用于用户查询访问大数据的平台工具,可实现大量用户登录查询数据,但在大量用户生成查询访问任务时因为应用限制或数据库限制,导致只能实现少数用户同时获取查询访问结果,而其他用户访问则会提示访问失败,同时造成访问的数据库锁表,影响其他应用对于大数据的访问。另外在执行用户任务的过程中,多数技术采用了在线处理的方式,即用户离线后,任务会自动中断。部分技术也支持离线处理任务,采用邮件形式发送,但由于邮箱附件的大小限制,也限制了可查询访问结果不能是大量数据。当用户访问获取的数据量很大时,目前技术可通过CSV(Comma-SeparatedValues,逗号分隔值,有时也称为字符分隔值,因为分隔字符也可以不是逗号)或其他文件格式下载数据,但是下载数据后,用户因传统查看处理工具的限制,如查看工具为EXCEL,则无法打开数据量超大的文件,处理十分困难。在大数据的查询访问限制方面,现有技术是采用程序代码的方式实现,需要配置人员具有程序本文档来自技高网...

【技术保护点】
1.一种群用户查询大数据的处理方法,其特征在于,包括:/n接收多个用户下载与其对应的目标数据的信号,并将下载每个用户对应的所述目标数据作为一个目标任务;/n判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量,所述预设任务数量为任务处理的上限数量;/n若是,则按照所述目标任务生成的时间先后顺序,将当前所述下载任务队列外的全部所述目标任务进行排队,待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后,按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。/n

【技术特征摘要】
1.一种群用户查询大数据的处理方法,其特征在于,包括:
接收多个用户下载与其对应的目标数据的信号,并将下载每个用户对应的所述目标数据作为一个目标任务;
判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量,所述预设任务数量为任务处理的上限数量;
若是,则按照所述目标任务生成的时间先后顺序,将当前所述下载任务队列外的全部所述目标任务进行排队,待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后,按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。


2.根据权利要求1所述的群用户查询大数据的处理方法,其特征在于,若当前的下载任务队列内的目标任务的数量没有达到所述预设任务数量,包括:
按照所述目标任务生成的时间先后顺序,将排在最前面的所述目标任务拉入所述下载任务队列内进行处理,直至所述下载任务队列内的所述目标任务的数量等于所述预设数量为止。


3.根据权利要求2所述的群用户查询大数据的处理方法,其特征在于,所述按照所述目标任务生成的时间先后顺序,将排在最前面的所述目标任务拉入所述下载任务队列内进行处理之后,包括:
获取所述目标任务对应的所述目标数据;
根据预设存储规则,获取所述目标数据对应的目标存储地址;
根据所述目标存储地址,将所述目标数据下载至指定地址。


4.根据权利要求3所述的群用户查询大数据的处理方法,其特征在于,所述根据所述目标存储地址,将所述目标数据下载至指定地址之后,包括:
判断是否接收到用户在所述指定地址对应的查询界面下载所述目标数据的信号;
若是,则进一步判断下载所述目标数据的用户是否具备下载所述目标数据的权限;
若是,则将用户要查询的所述目标数据下载到客户端对应的本地数据库,并对下载的所述目标数据进行压缩打包处理。


5.根据权利要求4所述的群用户查询大数据的处理方法,其特征在于,所述对下载的所述目标数据进行压缩打包处理,包括:
判断下...

【专利技术属性】
技术研发人员:赵娜赖乐鑫
申请(专利权)人:中国人民财产保险股份有限公司深圳市分公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1