一种用于对大数据进行处理的方法及系统技术方案

本发明专利技术公开了一种用于对大数据进行处理的方法及系统，其中方法包括：在大数据处理系统的框架中设置定时器任务，所述定时器任务用于根据设定的时间执行任务；当所述定时器任务设置完成后，将所述定时器任务分别注入清洗筛选定时器线程和统计数据计算定时器线程；通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据；通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，将统计后的统计数值进行缓存，缓存中的所述目标数据的统计数值用于直接调用。

A method and system for processing big data

【技术实现步骤摘要】
一种用于对大数据进行处理的方法及系统
本专利技术涉及大数据处理与应用
，更具体地，涉及一种用于对大数据进行处理的方法及系统。
技术介绍
省级粮食管理平台是国家比较重视的一项信息化建设项目，随着省级平台完工的省份越来越多，平台逐步也要加入其他的综合决策的统计功能，其中对接国家局数据，将国家局系统中通过报表填报的数据通过互联网的形式，从国家局系统传到各个省级平台，使得省局领导可以实时看到本省的粮食收储，保管，物流等各个环节的数据，对做出正确的决策有着非常重要的作用。目前，国家局要求全国各省的粮食监管平台要与国家局进行网络物流互联互通，并且接口必须暴露在互联网上以便可以通过web服务的方式进行数据的通信。如图2所示。国家局接口文档中规定从国家局到各个省平台的接口一共13个，其中重要的业务数据有：加工转换信息接口，收支平衡月报表数据接口，价格监测信息数据接口，加工转换信息接口是填报各类企业的经济指标，产品产量指标等数据，收支平衡月报表是记录库存变化情况的数据，包含期初库存，省内购进，省外购进，进口，轮出，期末库存等等。价格监测信息数据接口是记录不同品种，不同性质，不同等级的价格数据，包含不同的地区。通常一个省级下面有60个到100个填报点，通常一天会填报一次价格，库存数据。企业的经济指标以及产品产量指标基本上一年填报一次。问题1：由于数据量太大，造成某些统计页面初始化需要很久才可以展现出来。客户不能接受这样的速度，所以在系统架构上需要解决此问题。问题2：由于省里面六十多个填报点，填报的数据有的时候是非法数据，比如说空字符，以及是不合法的数字，会造成统计汇总的时候数据的真实，需要整理这些数值数据。因此，需要一种数据，以实现对大数据进行处理。
技术实现思路
本专利技术技术方案提供一种用于对大数据进行处理的方法及系统，以解决如何对大数据进行处理的问题。为了解决上述问题，本专利技术提供了一种用于对大数据进行处理的方法，所述方法包括：在大数据处理系统的框架中设置定时器任务，所述定时器任务用于根据设定的时间执行任务；当所述定时器任务设置完成后，将所述定时器任务分别注入清洗筛选定时器线程和统计数据计算定时器线程；通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据；通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，将统计后的统计数值进行缓存，缓存中的所述目标数据的统计数值用于直接调用。优选地，所述通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据，包括：所述清洗筛选定时器线程，根据待清洗数据的种类，为所述待清洗数据建立接口；所述为所述待清洗数据建立接口包括：查询所述待清洗数据是否有非法字符，以及将查询到的所述待清洗数据中非法字符进行处理。优选地，所述查询所述待清洗数据是否有非法字符，以及将查询到的所述待清洗数据中非法字符进行处理，包括：查询所述待清洗数据是否会出现0、负数或者为空；以及将查询到的所述待清洗数据中非法字符的按处理规则进行处理。优选地，所述通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，还包括：通过在数据库表中增加用于统计业务的字段，所述统计业务包括：总量、增量或百分比；通过更新sql文件的方式，对所述统计业务的字段进行赋值，生成所述统计业务的统计数值。优选地，所述将统计后的统计数值进行缓存，所述缓存中的统计数值用于直接调用：将所述将统计后的统计数值利用远程字典服务Redis进行缓存；所述远程字典服务Redis中的统计数值用于直接调用。基于本专利技术的另一方面，提供一种用于对大数据进行处理的系统，所述系统包括：设置单元，用于在大数据处理系统的框架中设置定时器任务，所述定时器任务用于根据设定的时间执行任务；注入单元，用于当所述定时器任务设置完成后，将所述定时器任务分别注入清洗筛选定时器线程和统计数据计算定时器线程；清洗单元，用于通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据；统计单元，用于通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，将统计后的统计数值进行缓存，缓存中的所述目标数据的统计数值用于直接调用。优选地，所述清洗单元用于通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据，还用于：所述清洗筛选定时器线程，根据待清洗数据的种类，为所述待清洗数据建立接口；所述为所述待清洗数据建立接口包括：查询所述待清洗数据是否有非法字符，以及将查询到的所述待清洗数据中非法字符进行处理。优选地，所述清洗单元用于查询所述待清洗数据是否有非法字符，以及将查询到的所述待清洗数据中非法字符进行处理，还用于：查询所述待清洗数据是否会出现0、负数或者为空；以及将查询到的所述待清洗数据中非法字符的按处理规则进行处理。优选地，所述统计单元用于通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，还用于：通过在数据库表中增加用于统计业务的字段，所述统计业务包括：总量、增量或百分比；通过更新sql文件的方式，对所述统计业务的字段进行赋值，生成所述统计业务的统计数值。优选地，所述统计单元用于将统计后的统计数值进行缓存，所述缓存中的统计数值用于直接调用：将所述将统计后的统计数值利用远程字典服务Redis进行缓存；所述远程字典服务Redis中的统计数值用于直接调用。本专利技术技术方案提供一种用于对大数据进行处理的方法及系统，其中方法包括：在大数据处理系统的框架中设置定时器任务，定时器任务用于根据设定的时间执行任务；当定时器任务设置完成后，将定时器任务分别注入清洗筛选定时器线程和统计数据计算定时器线程；通过清洗筛选定时器线程按照定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据；通过统计数据定时器线程按照定时器任务设定的时间对目标数据的统计业务进行统计，将统计后的统计数值进行缓存，缓存中的目标数据的统计数值用于直接调用。本专利技术技术方案利用多线程技术以及Redis缓存技术，解决了输入不合法数据以及数据访问速度过慢的问题，增强了系统的性能，提高了系统的可用性、易用性、可测试性和可维护性；本专利技术技术方案利用的对象设计模式，使程序符合了迪米特法则，在应用上，使得领导更快地了解大数据各方面的动态，对进行最后决策起着关键的作用。附图说明通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：图1为根据本专利技术优选实施方式的一种用于对大数据进行处理方法流程图；图2为根据本专利技术优选实施方式的粮食数据管理平台系统结构图；图3为根本文档来自技高网...

【技术保护点】
1.一种用于对大数据进行处理的方法，所述方法包括：/n在大数据处理系统的框架中设置定时器任务，所述定时器任务用于根据设定的时间执行任务；/n当所述定时器任务设置完成后，将所述定时器任务分别注入清洗筛选定时器线程和统计数据计算定时器线程；/n通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据；/n通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，将统计后的统计数值进行缓存，缓存中的所述目标数据的统计数值用于直接调用。/n

【技术特征摘要】
1.一种用于对大数据进行处理的方法，所述方法包括：
在大数据处理系统的框架中设置定时器任务，所述定时器任务用于根据设定的时间执行任务；
当所述定时器任务设置完成后，将所述定时器任务分别注入清洗筛选定时器线程和统计数据计算定时器线程；
通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据；
通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，将统计后的统计数值进行缓存，缓存中的所述目标数据的统计数值用于直接调用。


2.根据权利要求1所述的方法，所述通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据，包括：
所述清洗筛选定时器线程，根据待清洗数据的种类，为所述待清洗数据建立接口；
所述为所述待清洗数据建立接口包括：查询所述待清洗数据是否有非法字符，以及将查询到的所述待清洗数据中非法字符进行处理。


3.根据权利要求1所述的方法，所述查询所述待清洗数据是否有非法字符，以及将查询到的所述待清洗数据中非法字符进行处理，包括：
查询所述待清洗数据是否会出现0、负数或者为空；
以及将查询到的所述待清洗数据中非法字符的按处理规则进行处理。


4.根据权利要求1所述的方法，所述通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，还包括：
通过在数据库表中增加用于统计业务的字段，所述统计业务包括：总量、增量或百分比；
通过更新sql文件的方式，对所述统计业务的字段进行赋值，生成所述统计业务的统计数值。


5.根据权利要求1所述的方法，所述将统计后的统计数值进行缓存，所述缓存中的统计数值用于直接调用：
将所述将统计后的统计数值利用远程字典服务Redis进行缓存；
所述远程字典服务Redis中的统计数值用于直接调用。


6.一种用于对大数据进行处理的系统，所述系...

【专利技术属性】
技术研发人员：高鹏，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京;11