一种用于对大数据进行处理的方法及系统技术方案

本发明专利技术公开了一种用于对大数据进行处理的方法及系统，其中方法包括：按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；设置数据库的缓存区，数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；根据用户对指定单位的数据查询请求，判断缓存区中是否存储指定单位的数据，当缓存区中存储指定单位的数据时，直接从缓存区中调用指定单位的数据，获取指定单位的数据调用结果；当缓存区中未存储指定单位的数据时，通过指定单位对应的数据分表调用指定单位的数据，获取指定单位的数据调用结果。

A method and system for processing big data

【技术实现步骤摘要】
一种用于对大数据进行处理的方法及系统
本专利技术涉及大数据应用与处理
，更具体地，涉及一种于对大数据进行处理的方法及系统。
技术介绍
粮食保管的温度和湿度直接影响着粮食的质量，以及决定后期粮食的处理过程，所以粮食局领导非常重视。在国家粮食系统信息化的背景下，粮温粮情也要作为一个业务点，纳入进系统，粮食监管解决方案是分级管理系统，分为两级管理，一级是在各个粮库库点，部署粮库出入库系统以及粮库业务管理系统，是一套完备的出入库流程的电子监控系统。二级是粮食监管平台，部署在省市县粮食局，粮库出入库系统通过网络将日常得的粮情业务数据传到粮食监管平台。如图2所示。粮情粮温数据统计一般都用于每个粮仓之中，一个库点一般有20个仓房，一个省大概有库点100多个，一天一个仓房按照一条粮情粮温计算，那么一天的数据量大概有20*100＝2000条。那么一年大概有2000*365＝73万条数据。由于列表中还要显示平均温的走势，平均湿度的走势，那么需要计算每个测温点的，那么一年的测温点的数据超过一亿，就会出现如下问题：现有技术由于数据量太大，造成粮情粮温界面初始化需要10多分钟才可以展现出来。用户不能接受这样的速度，所以在系统架构上需要解决此问题。由于每年都会产生上亿条数据，数据库容量难以承受，一个单独表结构满足不了现在的业务量的增长。因此，需要一种技术，以实现对大数据进行处理。
技术实现思路
本专利技术技术方案提供一种于对大数据进行处理的方法及系统，以解决如何对大数据进行处理及快速查询的问题。为了解决上述问题，本专利技术提供了一种用于对大数据进行处理的方法，所述方法包括：按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按所述预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；根据用户对指定单位的数据查询请求，判断所述缓存区中是否存储所述指定单位的数据，当所述缓存区中存储所述指定单位的数据时，直接从所述缓存区中调用所述指定单位的数据，获取指定单位的数据调用结果；当所述缓存区中未存储所述指定单位的数据时，通过所述指定单位对应的数据分表调用所述指定单位的数据，获取指定单位的数据调用结果。优选地，所述设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据，还包括：利用远程字典服务Redis对预定时间区间内的所有单位的数据库分表中的数据进行缓存。优选地，还包括：对获取的指定单位的数据调用结果进行缓存。优选地，还包括：对获取的指定单位的数据调用结果以哈希hash散列的形式进行缓存。优选地，还包括：对数据库分表添加单位编码标识；当有新增加数据时，按照新增加数据的所属单位的单位编码标识，查找与所属单位对应的数据库分表，将新添加数据添加到对应的数据库分表中。基于本专利技术的另一方面，提供一种用于对大数据进行处理的系统，所述系统包括：初始单元，用于按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按所述预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；设置单元，用于设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；第一调用单元，用于根据用户对指定单位的数据查询请求，判断所述缓存区中是否存储所述指定单位的数据，当所述缓存区中存储所述指定单位的数据时，直接从所述缓存区中调用所述指定单位的数据，获取指定单位的数据调用结果；第二调用单元，用于当所述缓存区中未存储所述指定单位的数据时，通过所述指定单位对应的数据分表调用所述指定单位的数据，获取指定单位的数据调用结果。优选地，所述设置单元用于设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据，还用于：利用远程字典服务Redis对预定时间区间内的所有单位的数据库分表中的数据进行缓存。优选地，还包括存储单元，用于：对获取的指定单位的数据调用结果进行缓存。优选地，所述存储单元还用于：对获取的指定单位的数据调用结果以哈希hash散列的形式进行缓存。优选地，还包括：初始单元，还用于对数据库分表添加单位编码标识；更新单元，用于当有新增加数据时，按照新增加数据的所属单位的单位编码标识，查找与所属单位对应的数据库分表，将新添加数据添加到对应的数据库分表中。本专利技术技术方案提供一种用于对大数据进行处理的方法及系统，其中方法包括：按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；设置数据库的缓存区，数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；根据用户对指定单位的数据查询请求，判断缓存区中是否存储指定单位的数据，当缓存区中存储指定单位的数据时，直接从缓存区中调用指定单位的数据，获取指定单位的数据调用结果；当缓存区中未存储指定单位的数据时，通过指定单位对应的数据分表调用指定单位的数据，获取指定单位的数据调用结果。本专利技术技术方案利用数据库分表技术以及Redis缓存技术，增强了系统的性能，可用性，易用性，也增加的系统的强壮性，解决了页面加载慢的问题，可以一劳永逸，增添了一个Redis缓存服务器，从技术角度来讲，分布式对各个系统进行了解耦，使得系统更加灵活。附图说明通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：图1为根据本专利技术优选实施方式一种用于对大数据进行处理的方法流程图；图2为根据现有技术实施方式的粮情业务数据传到粮食监管平台结构示意图；图3为根据本专利技术优选实施方式的对数据库进行分表的示意图；图4为根据本专利技术优选实施方式的增加缓存服务器后的粮食监管平台结构示意图；以及图5为根据本专利技术优选实施方式一种用于对大数据进行处理的系统结构图。具体实施方式现在参考附图介绍本专利技术的示例性实施方式，然而，本专利技术可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本专利技术，并且向所属
的技术人员充分传达本专利技术的范围。对于表示在附图中的示例性实施方式中的术语并不是对本专利技术的限定。在附图中，相同的单元/元件使用相同的附图标记。除非另有说明，此处使用的术语(包括科技术语)对所属
的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。图1为根据本专利技术优选实施方式一种用于对大数据进行处理的方法流程图。本申请以粮情数据进行举例说本文档来自技高网...

【技术保护点】
1.一种用于对大数据进行处理的方法，所述方法包括：/n按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按所述预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；/n设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；/n根据用户对指定单位的数据查询请求，判断所述缓存区中是否存储所述指定单位的数据，当所述缓存区中存储所述指定单位的数据时，直接从所述缓存区中调用所述指定单位的数据，获取指定单位的数据调用结果；/n当所述缓存区中未存储所述指定单位的数据时，通过所述指定单位对应的数据分表调用所述指定单位的数据，获取指定单位的数据调用结果。/n

【技术特征摘要】
1.一种用于对大数据进行处理的方法，所述方法包括：
按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按所述预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；
设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；
根据用户对指定单位的数据查询请求，判断所述缓存区中是否存储所述指定单位的数据，当所述缓存区中存储所述指定单位的数据时，直接从所述缓存区中调用所述指定单位的数据，获取指定单位的数据调用结果；
当所述缓存区中未存储所述指定单位的数据时，通过所述指定单位对应的数据分表调用所述指定单位的数据，获取指定单位的数据调用结果。


2.根据权利要求1所述的方法，所述设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据，还包括：
利用远程字典服务Redis对预定时间区间内的所有单位的数据库分表中的数据进行缓存。


3.根据权利要求1所述的方法，还包括：
对获取的指定单位的数据调用结果进行缓存。


4.根据权利要求3所述的方法，还包括：对获取的指定单位的数据调用结果以哈希hash散列的形式进行缓存。


5.根据权利要求1所述的方法，还包括：
对数据库分表添加单位编码标识；
当有新增加数据时，按照新增加数据的所属单位的单位编码标识，查找与所属单位对应的数据库分表，将新添加数据添加到对应的数据库分表中。


6.一种用于对大数据进行处理的系统，所述系统包括：

【专利技术属性】
技术研发人员：高鹏，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京;11