一种大数据检索方法和装置制造方法及图纸

本发明专利技术公开了一种大数据检索的方法，按数据类别统计数据库数据对应的数据总表的数据，根据统计结果建立索引统计表；建立页码数据缓存器链表，指定页码数据缓存器作为前置页码数据缓存器；从所述索引统计表中查询出符合所述检索条件的统计信息；将所述数据总表中符合所述检索条件的数据填充到页码数据缓存器链表；所述前置页码数据缓存器空间填充满时，返回所述前置页码数据缓存器的数据和所述统计信息到检索客户端。本发明专利技术还公开了一种大数据检索的装置。

Large data retrieval method and device

The invention discloses a method for data retrieval, data categories according to statistics database data corresponding to the data table data, based on the statistical results of the establishment of statistical index; establish a data cache page list, specify the number of data cache as a pre page data cache; from the statistics of the index table with the statistical information the search conditions; the data in the table with the retrieval condition data to populate the data page buffer list; front page data buffer space filled, returns to the front page code data buffer data and the statistical information retrieval to the client. The invention also discloses a device for retrieving large data.

【技术实现步骤摘要】
一种大数据检索方法和装置
本专利技术涉及大数据
，尤其涉及一种大数据检索方法和装置。
技术介绍
现有的数据检索方法是：客户端发送请求到数据服务器，数据服务器检索出符合条件的数据集返回给客户端；客户端根据获取的数据集进行处理，统计数据集的一些相关信息，然后在前台界面分页展示给用户。这种方法易管理、易维护、技术体系成熟，但缺点是：如果检索的数据集过大时，如超过10万条数据记录，那么，在给用户进行检索展示时，数据服务器端的检索时长就会过长，且网络数据传输量过大，会导致给用户的展示延时较大，用户需等待较长时间才能看到检索结果。为解决检索数据量大、展示延时长的问题，可采用分页展示的方式，现有的分页展示方法是：客户端在发送请求到数据服务器时，采用页码索引的方式，每次只发送需要检索的页码给数据服务器；数据服务器根据特定算法每次根据页码范围进行检索，将检索的结果集返回给客户端。这种方法通过结合缓存技术，可以适用于前台无需展示检索结果集的统计信息、只展示明细的场景；但对于需要同时展示明细及数据集统计信息的场景，仍无法使用此种方法。另外，现有的数据检索与分页展示方法都是在数据集检索完毕后做处理展示，或者采用多次检索通过页码索引的方式完成数据检索与分页展示，都是采用同步检索数据展示的方法。对于先进行数据查询，再在客户端进行分页处理的方法，该方法在对大数据进行实时检索时，如果检索得到的结果集过大，会造成检索时长过长，且网络数据传输量过大，会导致给用户的展示延时较大，用户需等待较长时间才能看到检索结果。例如：用户按月检索通用分组无线服务技术(GPRS，GeneralPacketRadioService)流量话单，如果用户有超过10万条话单需要展示，检索响应时间会很长。对于通过页码索引的方式，该方式由于每次检索时，无法检索出全量数据集，故无法获取数据集的某些统计信息；以GPRS话单为例，如果采用此种方式，每次检索时无法获取用户GPRS的总条数、总流量、总费用等统计信息；如果前台界面要求同步展示这些信息的检索，此种方法存在很大的缺陷无法适用；即使采用缓存技术将全量结果检索出来后进行缓存，也将面临如数据集过大、第一次检索响应时长过长的问题。如何克服在大数据量检索中，检索响应时间长和检索结果无统计信息等问题，亟待解决。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种大数据检索方法和装置，能降低数据服务器的访问量，并提升用户查询与分页展示的速度。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术实施例提供了一种大数据检索的方法，包括：按数据类别统计数据库数据对应的数据总表的数据，根据统计结果建立索引统计表；所述方法还包括：建立页码数据缓存器链表，在页码数据缓存器链表中指定页码数据缓存器作为前置页码数据缓存器；根据检索条件，从所述索引统计表中查询出符合所述检索条件的统计信息；将所述数据总表中符合所述检索条件的数据填充到页码数据缓存器链表；所述前置页码数据缓存器空间填充满时，返回所述前置页码数据缓存器的数据和所述统计信息到检索客户端。上述方案中，将所述数据总表中符合所述检索条件的数据填充到页码数据缓存器链表，包括：根据检索条件采用顺序查询和逆序查询两个进程对数据总表进行检索；所述顺序查询检索到的数据按顺序填充到页码数据缓存器链表，所述逆序查询检索到的数据按逆序填充到页码数据缓存器链表。上述方案中，所述页码数据缓存器链表为双向链表结构，包含一个以上的页码数据缓存器；所述前置页码数据缓存器为填充所述页码数据缓存器链表时首先填充的页码数据缓存器；所述前置页码数据缓存器的页码数据缓存器数量根据需求预先设定，包含一个以上的页码数据缓存器。上述方案中，所述方法还包括：当需求返回页的页码对应的页码数据缓存器未填满时，则等待所述页码数据缓存器被填满，再返回所述对应的页码数据缓存器的数据到检索客户端。上述方案中，所述方法还包括：更新所述数据总表时同步更新所述索引统计表；如果所述索引统计表为分期建立，则对往期索引统计表进行合并处理。上述方案中，所述方法还包括：如果页码数据缓存器链表建立的时间超过预设的时间设定，则回收页码数据缓存器链表占用的内存。本专利技术实施例还提供了一种大数据检索的装置，包括：数据存储模块、检索模块、页码数据缓存模块；其中，所述数据存储模块，用于建立并更新数据库数据对应的数据总表，统计所述数据总表的数据，按类别建立索引统计表；所述页码数据缓存模块，用于建立页码数据缓存器链表，并指定其中一个以上页码数据缓存器被指定为前置页码数据缓存器；所述检索模块，用于从所述索引统计表中查询出符合检索条件的统计信息；检索所述数据总表，并将检索结果填充到所述页码数据缓存器中；确定前置页码数据缓存器空间填充满，并返回所述前置页码数据缓存器的内容和所述统计信息到客户端。上述方案中，所述检索模块，具体用于，根据检索条件采用顺序查询和逆序查询两个进程对数据总表进行检索；所述顺序查询检索到的数据按顺序填充到页码数据缓存器链表，所述逆序查询检索到的数据按逆序填充到页码数据缓存器链表；当需求返回页的页码对应的页码数据缓存器未填满时，等待所述页码数据缓存器被填满，再返回所述对应的页码数据缓存器的数据到检索客户端。上述方案中，所述页码数据缓存器链表为双向链表结构，包含一个以上的页码数据缓存器；所述前置页码数据缓存器为填充所述页码数据缓存器时链表首先填充的页码数据缓存器；所述前置页码数据缓存器的页码数据缓存器数量根据需求预先设定。上述方案中，所述数据存储模块，还用于更新所述数据总表时同步更新所述索引统计表；所述装置还包括：索引统计表同步模块：用于对于分期建立所述索引统计表，对往期索引统计表进行合并处理；页码数据缓存器回收模块，用于当建立的页码数据缓存器链表超过预设的失效时间设定，则回收页码数据缓存器链表占用的内存。本专利技术实施例所提供的大数据检索方法和装置，按数据类别统计数据库数据对应的数据总表的数据，根据统计结果建立索引统计表；建立页码数据缓存器链表，在页码数据缓存器链表中指定页码数据缓存器作为前置页码数据缓存器；根据检索条件，从所述索引统计表中查询出符合所述检索条件的统计信息；将所述数据总表中符合所述检索条件的数据填充到页码数据缓存器链表；所述前置页码数据缓存器空间填充满时，返回所述前置页码数据缓存器的数据和所述统计信息到检索客户端；由此，只需检索出前几页的数据就可以给用户进行展示，用户根据需要再进行页选择展示，降低了数据服务器的访问量，并提升了用户查询与分页展示的速度。附图说明图1为本专利技术实施例一种大数据检索方法的流程示意图；图2为本专利技术实施例HBASE数据库大数据检索方法的流程示意图；图3为本专利技术实施例页码数据缓存器双向链表组成结构示意图；图4为本专利技术实施例页码数据缓存器链表数据填充的流程示意图；图5为本专利技术实施例页码数据缓存器链表内存回收的流程示意图；图6为本专利技术实施例HBASE数据库存储的流程示意图；图7为本专利技术实施例分期索引统计表合并的流程示意图；图8为本专利技术实施例一种大数据检索装置组成结构示意图。具体实施方式本专利技术实施例中，按数据类别统计数据库数据对应的数据总表的数据，根据统计结果建立索引统计表；建立页码数据缓存器链表，在页码数据缓存器链本文档来自技高网...

【技术保护点】
一种大数据检索的方法，其特征在于，所述方法包括：按数据类别统计数据库数据对应的数据总表的数据，根据统计结果建立索引统计表；所述方法还包括：建立页码数据缓存器链表，在页码数据缓存器链表中指定页码数据缓存器作为前置页码数据缓存器；根据检索条件，从所述索引统计表中查询出符合所述检索条件的统计信息；将所述数据总表中符合所述检索条件的数据填充到页码数据缓存器链表；所述前置页码数据缓存器空间填充满时，返回所述前置页码数据缓存器的数据和所述统计信息到检索客户端。

【技术特征摘要】
1.一种大数据检索的方法，其特征在于，所述方法包括：按数据类别统计数据库数据对应的数据总表的数据，根据统计结果建立索引统计表；所述方法还包括：建立页码数据缓存器链表，在页码数据缓存器链表中指定页码数据缓存器作为前置页码数据缓存器；根据检索条件，从所述索引统计表中查询出符合所述检索条件的统计信息；将所述数据总表中符合所述检索条件的数据填充到页码数据缓存器链表；所述前置页码数据缓存器空间填充满时，返回所述前置页码数据缓存器的数据和所述统计信息到检索客户端。2.根据权利要求1所述的方法，其特征在于，将所述数据总表中符合所述检索条件的数据填充到页码数据缓存器链表，包括：根据检索条件采用顺序查询和逆序查询两个进程对数据总表进行检索；所述顺序查询检索到的数据按顺序填充到页码数据缓存器链表，所述逆序查询检索到的数据按逆序填充到页码数据缓存器链表。3.根据权利要求1或2所述的方法，其特征在于，所述页码数据缓存器链表为双向链表结构，包含一个以上的页码数据缓存器；所述前置页码数据缓存器为填充所述页码数据缓存器链表时首先填充的页码数据缓存器；所述前置页码数据缓存器的页码数据缓存器数量根据需求预先设定，包含一个以上的页码数据缓存器。4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：当需求返回页的页码对应的页码数据缓存器未填满时，则等待所述页码数据缓存器被填满，再返回所述对应的页码数据缓存器的数据到检索客户端。5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：更新所述数据总表时同步更新所述索引统计表；如果所述索引统计表为分期建立，则对往期索引统计表进行合并处理。6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：如果页码数据缓存器链表建立的时间超过预设的时间设定，则回收页码...

【专利技术属性】
技术研发人员：王凡，陈乐君，谭正，程金波，车华翔，曾艺骁，
申请(专利权)人：中国移动通信集团重庆有限公司，
类型：发明
国别省市：重庆,50