一种针对大量数据处理的方法技术

本发明专利技术公开了一种针对大量数据处理的方法，对于用户、设备等相互传输的http请求信息，首先需要以一定顺序进行存储，并且按序给予数字id，一般可以根据发送顺序或者接收顺序进行排序存储。在服务器获取客户端的http请求时，需要带有上一次获取的最大id号以及所需要获取的记录条数n。服务器收到后，将大于此id号的数据，按id从小到大排序，将排序中id最小的n条记录返回给客户端。该方法减少单个请求前端相应时间，尽快在前端进行展示或处理；减少后端内存或存储空间消耗，有效解决系统瓶颈；对于信息总量没有限制，在响应时间充分的情况下，可以无限扩展。

【技术实现步骤摘要】
一种针对大量数据处理的方法
本专利技术涉及数据处理术领域，尤其涉及一种针对大量数据处理的方法。
技术介绍
随着互联网时代的高速发展，人们的生活发生了巨大的变化。人们会利用互联网进行工作、学习和生活，其中利用互联网的便利寻找学习资料、工作资料、购置生活用品的现象已经非常普遍。现代社会已经进入高科技时代，所有的办公环境及沟通交流都是通过电子产品，数据的产生速度及共享速度也成指数增长，从而导致数据量的剧增。但由于数据的来源及类型变得复杂多样性，数据量非常庞大，与传统的数据有很大的区别。在传统数据中，数据存储、处理及分析的数据量相对较少，可以采用关系型数据库和并行仓库处理，难以保证扩展性。在通信过程中，经常有需要获取一组连续数据统计信息的情况，例如在前端需要获取大量用户的相关信息。通用的做法是前端发送一个请求，后端针对这个请求，回复一段很长的数据回复。
技术实现思路
本专利技术提供的一种技术方案是一种针对大量数据处理的方法，其解决大量数据的获取过程中，如果数据量很大，会消耗客户端和服务端的大量资源，导致获取速度慢甚至无法获取本文档来自技高网...

【技术保护点】
1.一种针对大量数据处理的方法，包括；服务器和客户端；在客户端上进行前端页面发送请求信息给服务器；服务器从待接收的数据中获取请求信息；/n其特征在于：请求信息包括用户信息和设备信息；对于客户端上输入的请求信息进行顺序存储于所述服务器中，且对请求信息安存储顺序标定数字ID；/n服务器获取请求信息时附带有上一次获取的多条请求信息的数字ID中最大ID号及请求信息所需要获取的记录条数n；/n服务器对单次获取动作所接受到的请求信息中大于所述最大ID号的数字ID进行升序排列；在升序排列的数字ID中将前n条请求信息的记录返回给客户端。/n

【技术特征摘要】
1.一种针对大量数据处理的方法，包括；服务器和客户端；在客户端上进行前端页面发送请求信息给服务器；服务器从待接收的数据中获取请求信息；
其特征在于：请求信息包括用户信息和设备信息；对于客户端上输入的请求信息进行顺序存储于所述服务器中，且对请求信息安存储顺序标定数字ID；
服务器获取请求信息时附带有上一次获取的多条请求信息的数字ID中最大ID号及请求信息所需要获取的记录条数n；
服务器对单次获取动作所接受到的请求信息中大于所述最大ID号的数字ID进行升序排列；在升序排列的数字ID中将前n条请求信息的记录返回给...

【专利技术属性】
技术研发人员：曹越，
申请(专利权)人：上海缔安科技股份有限公司，
类型：发明
国别省市：上海;31