【技术实现步骤摘要】
本专利技术涉及一种数据处理框架,具体涉及一种基于Java多线程通用数据处理框架,本专利技术还涉及一种基于Java多线程通用数据处理框架的构建方法,本专利技术属于计算机数据处理领域。
技术介绍
随着信息技术和物联网技术的不断发展,当今社会已经进入了大数据的时代。以电力行业为例,大量的数据被用以电网生产运营辅助分析,这些数据既有SCADA、电量采集、营销等核心生产数据,也包括在线监测、带电检测、电能质量、电压监测等监测类数据,还涵盖气象、环境等跨领域数据。这些数据频度不同、格式各异。从数据的来源来看,有数据文件(如txt/xml/excel)、数据库和Webservice等多种方式,而数据的目标存储或发布方式包含报表(如excel/doc/pdf)、数据库和Webservice等。数据处理频度则包含实时、准实时、周期性(如每小时/天/周)等多种要求。以往一般是针对每种数据类型开发专用的解析或处理程序。这种方法适用于结构复杂、格式特殊或对性能有很高要求的应用。然而对于普通类型的数据业务,例如txt、xml、excel文件解析或常规的数据库处理转换导出,专用程序 ...
【技术保护点】
基于Java多线程通用数据处理框架,其特征在于,包括:线程管理模块、业务逻辑接口模块、公共服务模块;所述公共服务模块用于实现数据库操作、文件操作、报表生成、配置操作、日志管理、基础数据服务;所述业务逻辑接口模块用于提供基于公共服务模块且具有线程功能的数据处理基类,开发人员通过继承所述数据处理基类实现业务逻辑;所述线程管理模块用于通过图形界面实现对数据解析和处理线程的统一管理以及线程周期的参数配置管理。
【技术特征摘要】
1.基于Java多线程通用数据处理框架,其特征在于,包括:线程管理模块、业务逻辑接口模块、公共服务模块;所述公共服务模块用于实现数据库操作、文件操作、报表生成、配置操作、日志管理、基础数据服务;所述业务逻辑接口模块用于提供基于公共服务模块且具有线程功能的数据处理基类,开发人员通过继承所述数据处理基类实现业务逻辑;所述线程管理模块用于通过图形界面实现对数据解析和处理线程的统一管理以及线程周期的参数配置管理。2.基于Java多线程通用数据处理框架的构建方法,其特征在于,包括如下步骤: 步骤一:利用IDE工具分别针对线程管理模块、业务逻辑接口模块、公共服务模块建立独立的文件夹; 步骤二:在线程管理模块中构造图形界面,通过...
【专利技术属性】
技术研发人员:陈锦铭,郭雅娟,李斌,刘玉林,黄伟,姜海涛,崔高颖,王小波,陈昊,张星炜,周超,
申请(专利权)人:国家电网公司,江苏省电力公司,江苏省电力公司电力科学研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。