一种群用户查询大数据的处理方法及装置制造方法及图纸

本发明专利技术公开了一种群用户查询大数据的处理方法及装置，其中该处理方法包括：接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的目标数据作为一个目标任务；判断当前的下载任务队列内的目标任务的数量是否已经达到预设任务数量，预设任务数量为任务处理的上限数量；若是，则按照目标任务生成的时间先后顺序，将当前下载任务队列外的全部目标任务进行排队，待下载任务队列内的目标任务的数量少于预设任务数量后，按照排队顺序将符合条件的目标任务拉入下载任务队列内进行处理。本发明专利技术可以解决大量用户群同时查询大数据时，造成的数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作的问题。

A processing method and device for a group of users to query big data

【技术实现步骤摘要】
一种群用户查询大数据的处理方法及装置
本专利技术涉及大数据应用
，特别是涉及一种群用户查询大数据的处理方法及装置。
技术介绍
目前用于用户查询访问大数据的平台工具，可实现大量用户登录查询数据，但在大量用户生成查询访问任务时因为应用限制或数据库限制，导致只能实现少数用户同时获取查询访问结果，而其他用户访问则会提示访问失败，同时造成访问的数据库锁表，影响其他应用对于大数据的访问。另外在执行用户任务的过程中，多数技术采用了在线处理的方式，即用户离线后，任务会自动中断。部分技术也支持离线处理任务，采用邮件形式发送，但由于邮箱附件的大小限制，也限制了可查询访问结果不能是大量数据。当用户访问获取的数据量很大时，目前技术可通过CSV(Comma-SeparatedValues，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号)或其他文件格式下载数据，但是下载数据后，用户因传统查看处理工具的限制，如查看工具为EXCEL，则无法打开数据量超大的文件，处理十分困难。在大数据的查询访问限制方面，现有技术是采用程序代码的方式实现，需要配置人员具有程序代码编译能力，灵活度不错，但使用要求高。
技术实现思路
本专利技术实施例提供一种群用户查询大数据的处理方法及装置，以解决现有技术中的以下问题：大量用户群同时查询大数据时，造成数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作。为解决上述技术问题，本专利技术实施例采用的第一技术方案如下：一种群用户查询大数据的处理方法，其包括：接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的所述目标数据作为一个目标任务；判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量，所述预设任务数量为任务处理的上限数量；若是，则按照所述目标任务生成的时间先后顺序，将当前所述下载任务队列外的全部所述目标任务进行排队，待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后，按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。可选地，若当前的下载任务队列内的目标任务的数量没有达到所述预设任务数量，包括：按照所述目标任务生成的时间先后顺序，将排在最前面的所述目标任务拉入所述下载任务队列内进行处理，直至所述下载任务队列内的所述目标任务的数量等于所述预设数量为止。可选地，所述按照所述目标任务生成的时间先后顺序，将排在最前面的所述目标任务拉入所述下载任务队列内进行处理之后，包括：获取所述目标任务对应的所述目标数据；根据预设存储规则，获取所述目标数据对应的目标存储地址；根据所述目标存储地址，将所述目标数据下载至指定地址。可选地，所述根据所述目标存储地址，将所述目标数据下载至指定地址之后，包括：判断是否接收到用户在所述指定地址对应的查询界面下载所述目标数据的信号；若是，则进一步判断下载所述目标数据的用户是否具备下载所述目标数据的权限；若是，则将用户要查询的所述目标数据下载到客户端对应的本地数据库，并对下载的所述目标数据进行压缩打包处理。可选地，所述对下载的所述目标数据进行压缩打包处理，包括：判断下载的所述目标数据的数据量是否大于预设数据量；若是，则将所述目标数据分为若干份待压缩文件，且每份所述待压缩文件的数据量小于或等于所述预设数据量；将每份所述待压缩文件进行压缩和打包形成数据包，并将全部的所述数据包进行存储。可选地，所述将所述目标数据分为若干份待压缩文件，包括：将所述目标数据分为若干份格式为EXCEL的待压缩文件。可选地，所述将下载每个用户对应的所述目标数据作为一个目标任务之前，包括：判断下载所述目标数据的用户是否具备下载所述目标数据的权限；若是，则将下载每个具备下载权限的用户对应的所述目标数据作为一个所述目标任务。为解决上述技术问题，本专利技术实施例采用的第二技术方案如下：一种群用户查询大数据的处理装置，其包括：任务生成模块，用于接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的所述目标数据作为一个目标任务；数量判断模块，用于判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量，所述预设任务数量为任务处理的上限数量；任务处理模块，用于当当前的所述下载任务队列内的所述目标任务的数量已经达到预设任务数量时，按照所述目标任务生成的时间先后顺序，将当前所述下载任务队列外的全部所述目标任务进行排队，待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后，按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。为解决上述技术问题，本专利技术实施例采用的第三技术方案如下：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述的群用户查询大数据的处理方法。为解决上述技术问题，本专利技术实施例采用的第四技术方案如下：一种计算机设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的群用户查询大数据的处理方法。本专利技术实施例的有益效果是：区别于现有技术的情况，本专利技术实施例通过接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的目标数据作为一个目标任务，判断当前的下载任务队列内的目标任务的数量是否已经达到预设任务数量，若是则按照目标任务生成的时间先后顺序，将当前下载任务队列外的全部目标任务进行排队，待下载任务队列内的目标任务的数量少于预设任务数量后，按照排队顺序将符合条件的目标任务拉入下载任务队列内进行处理，解决了大量用户群同时查询大数据时，造成的数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作的问题。附图说明图1是本专利技术实施例一的群用户查询大数据的处理方法一实施方式的实施流程图；图2是本专利技术实施例二的群用户查询大数据的处理装置一实施方式的部分结构框架图；图3是本专利技术实施例三的计算机可读存储介质一实施方式的部分结构框架图；图4是本专利技术实施例四的计算机设备一实施方式的部分结构框架图。具体实施方式实施例一请参阅图1，图1是本专利技术实施例的群用户查询大数据的处理方法的实施流程图，结合图1可以得到，本专利技术的一种群用户查询大数据的处理方法，包括：步骤S101：接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的所述目标数据作为一个目标任务。在本步骤中，不同的用户在客户端对应的下载界面下载目标数据，而对应的处理服务器只能同时处理预设数量的下载任务，该预设数量即为处理服务器同时处理下载任务的上限数量。步骤S102：判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量，所述预设任务数量为任务处理的上限数量。步骤S103：若当前的下载任务队列内的所述目标任务的数量已经达到预设任务数量，则按照所述目标任务生成的时间先后顺序，将当前所述下载任务队列外的全部所述目标任务进行排队，待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量本文档来自技高网...

【技术保护点】
1.一种群用户查询大数据的处理方法，其特征在于，包括：/n接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的所述目标数据作为一个目标任务；/n判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量，所述预设任务数量为任务处理的上限数量；/n若是，则按照所述目标任务生成的时间先后顺序，将当前所述下载任务队列外的全部所述目标任务进行排队，待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后，按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。/n

【技术特征摘要】
1.一种群用户查询大数据的处理方法，其特征在于，包括：
接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的所述目标数据作为一个目标任务；
判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量，所述预设任务数量为任务处理的上限数量；
若是，则按照所述目标任务生成的时间先后顺序，将当前所述下载任务队列外的全部所述目标任务进行排队，待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后，按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。


2.根据权利要求1所述的群用户查询大数据的处理方法，其特征在于，若当前的下载任务队列内的目标任务的数量没有达到所述预设任务数量，包括：
按照所述目标任务生成的时间先后顺序，将排在最前面的所述目标任务拉入所述下载任务队列内进行处理，直至所述下载任务队列内的所述目标任务的数量等于所述预设数量为止。


3.根据权利要求2所述的群用户查询大数据的处理方法，其特征在于，所述按照所述目标任务生成的时间先后顺序，将排在最前面的所述目标任务拉入所述下载任务队列内进行处理之后，包括：
获取所述目标任务对应的所述目标数据；
根据预设存储规则，获取所述目标数据对应的目标存储地址；
根据所述目标存储地址，将所述目标数据下载至指定地址。


4.根据权利要求3所述的群用户查询大数据的处理方法，其特征在于，所述根据所述目标存储地址，将所述目标数据下载至指定地址之后，包括：
判断是否接收到用户在所述指定地址对应的查询界面下载所述目标数据的信号；
若是，则进一步判断下载所述目标数据的用户是否具备下载所述目标数据的权限；
若是，则将用户要查询的所述目标数据下载到客户端对应的本地数据库，并对下载的所述目标数据进行压缩打包处理。


5.根据权利要求4所述的群用户查询大数据的处理方法，其特征在于，所述对下载的所述目标数据进行压缩打包处理，包括：
判断下...

【专利技术属性】
技术研发人员：赵娜，赖乐鑫，
申请(专利权)人：中国人民财产保险股份有限公司深圳市分公司，
类型：发明
国别省市：广东;44