【技术实现步骤摘要】
一种基于kettle的可配置数据分发系统
本专利技术涉及一种较大范围，具体是一种基于kettle的可配置数据分发系统。
技术介绍
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。作为Pentaho的一个重要组成部分，现在在国内项目应用上逐渐增多。随着互联网时代的到来，数据量越来越大，使用传统的分发系统已经不能够支撑庞大的统计分析分发工作。大数据处理技术应运而生，但是大数据技术也有其局限性，不能很好完整记录各个环节，数据配置分发欠缺。
技术实现思路
本专利技术的目的在于提供一种基于kettle的可配置数据分发系统，以解决...
【技术保护点】
1.一种基于kettle的可配置数据分发系统，包括kettle、数据整合系统和数据分发，其特征在于，所述kettle通过源码改造抽取原始数据库和配置数据库中的数据，数据分为原始数据和配置数据，所述数据整合系统将kettle中提取的原始数据和配置数据整合分类，生成文件包，所述数据分发是将文件包以邮件的形式分发。
【技术特征摘要】
1.一种基于kettle的可配置数据分发系统，包括kettle、数据整合系统和数据分发，其特征在于，所述kettle通过源码改造抽取原始数据库和配置数据库中的数据，数据分为原始数据和配置数据，所述数据整合系统将kettle中提取的原始数据和配置数据整合分类，生成文件包，所述数据分发是将文件包以邮件的形式分发。2.根据权利要求1所述的一种基于kettle的可配置数据分发系统，其特征在于，所述kettle通过源码改造每次抽取原始数据库和配置数据库中的数据后记录在历史记录表中，并记录下录入的时间和抽取数据量，生成日志。3.根据权利要求1所述的一种基于kettle的可配置数据分发系统，其...
【专利技术属性】
技术研发人员：肖招娣，皇甫汉聪，余永忠，杨飞，吕顺锋，王义申，陈灏生，
申请(专利权)人：广东电网有限责任公司佛山供电局，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。