一种大数据管理方法技术

本发明专利技术提供一种大数据管理方法，所述方法为：将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为：用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及。
技术介绍
大数据(big data, mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。进年来随着技术发展和开源软件的盛行，大数据领域涌现出越来越多的优秀软件，为实际应用解决了许多问题。但这些软件都存在技术门槛较高，使用复杂等问题。本专利申请致力于降低大数据使用难度，利用简单普及的SQL语句描述业务，提供可视化工具描述流程，能快速完成业务部署。现有技术公开了“一种基于云计算技术的电压暂降数据分析方法”，见公开号为:103412942A，公开日为:2013-11-27的中国专利;该方法采用基于hadoopl.1.2的云计算平台，通过MapReduce编程机制，将关系型数据库中的波形数据利用转移工具Sqoop转移到KV数据库中，以键值对形式存储一个特定周波的数据；每一个Mapper (映射类)从KV数据库中读出一个键值对作为输入；遍历一个周波数据，计算出RMS(方均根值)值；将所有Mapper (映射类)的输出结果进行排序；Reducer合并同一事件同一相的RMS数据曲线，并遍历该曲线，计算出各暂降特征值。该专利技术使电压暂降的相关数据可以直接通过Hadoop云计算平台，在多台计算机上并行地计算，真正实现了多台物理计算机计算能力的迭加，从而大大提高了计算效率，云平台的容错性也提升了暂降计算结果的可靠性。该专利技术所采用的技术方案与本专利技术并不相同；本专利申请是利用简单普及的SQL语句描述业务，提供可视化工具描述流程。
技术实现思路
本专利技术要解决的技术问题，在于提供，有效降低大数据的适用门槛，能根据业务需要进行快速部署，并实现一键安装集群、在线管理服务器的上线和下线、可视化集群监控，从而大大降低了运营成本。本专利技术是这样实现的:，所述方法为:将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为:用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。进一步地，所述将数据库数据抽取或文本文件作为输入具体为:配置数据库数据源信息，并使用sqoop工具，将数据库的表数据按一设定格式直接抽取到分布式文件系统中；或者允许业务程序将数据结果放于文件服务器的指定目录，文件服务器将监控该目录，一旦发现新文件将自动上传到分布式文件系统。进一步地，所述设定格式为:以制表符为字段分割符，以回车符为记录分割符。进一步地，所述方法还包括处理的结果的数据输出，该数据输出具体为:由用户指定数据库数据源信息，通过sqoop工具，将缓存中的数据直接写入数据库的表中；或者将缓存的数据写入分布式文件系统的制定目录，并根据用户需要，传送到指定的文件服务器。进一步地，所述数据处理流程定期执行，由调度服务进行资源分配和任务管理。本专利技术具有如下优点:本专利技术致力于降低大数据使用难度，利用简单普及的SQL语句描述业务，提供可视化工具描述流程，将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；有效降低大数据的适用门槛，能根据业务需要进行快速部署，并实现一键安装集群、在线管理服务器的上线和下线、可视化集群监控，从而大大降低了运营成本。【附图说明】图1为本专利技术方法流程示意图。图2为本专利技术数据流的走向原理图。【具体实施方式】请参阅图1和图2所示，本专利技术的，所述方法为:将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为:用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。所述数据处理流程定期执行，由调度服务进行资源分配和任务管理，可7X24小时提供数据服务。其中，所述将数据库数据抽取或文本文件作为输入具体为:配置数据库数据源信息，并使用sqoop工具，将数据库的表数据按一设定格式直接抽取到分布式文件系统中；或者允许业务程序将数据结果放于文件服务器的指定目录，文件服务器将监控该目录，一旦发现新文件将自动上传到分布式文件系统。该设定格式为:以制表符为字段分割符，以标准的回车符为记录分割符。此外，也支持自定义格式。所述方法还包括处理的结果的数据输出，该数据输出具体为:由用户指定数据库数据源信息，通过sqoop工具，将缓存中的数据直接写入数据库的表中；或者将缓存的数据写入分布式文件系统的制定目录，并根据用户需要，传送到指定的文件服务器。总之，本专利技术致力于降低大数据使用难度，利用简单普及的SQL语句描述业务，提供可视化工具描述流程，将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；有效降低大数据的适用门槛，能根据业务需要进行快速部署，并实现一键安装集群、在线管理服务器的上线和下线、可视化集群监控，从而大大降低了运营成本。以上所述仅为本专利技术的较佳实施例，凡依本专利技术申请专利范围所做的均等变化与修饰，皆应属本专利技术的涵盖范围。【主权项】1.，其特征在于:所述方法为:将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为:用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。2.根据权利要求1所述的，其特征在于:所述将数据库数据抽取或文本文件作为输入具体为:配置数据库数据源信息，并使用sqoop工具，将数据库的表数据按一设定格式直接抽取到分布式文件系统中；或者允许业务程序将数据结果放于文件服务器的指定目录，文件服务器将监控该目录，一旦发现新文件将自动上传到分布式文件系统。3.根据权利要求2所述的，其特征在于:所述设定格式为:以制表符为字段分割符，以回车符为记录分割符。4.根据权利要求1所述的，其特征在于:所述方法还包括处理的结果的数据输出，该数据输出具体为:由用户指定数据库数据源信息，通过sqoop工具，将缓存中的数据直接写入数据库的表中；或者将缓存的数据写入分布式文件系统的制定目录，并根据用户需要，传送到指定的文件服务器。5.根据权利要求1所述的，其特征在于:所述数据处理流程定期执行，由调度服务进行资源分配和任务管理。【专利摘要】本专利技术提供，所述方法为：将数据库数据抽取或文本文件作为输入，本文档来自技高网...

【技术保护点】
一种大数据管理方法，其特征在于：所述方法为：将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为：用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈勇，王剑冰，陈纲，
申请(专利权)人：福建富士通信息软件有限公司，
类型：发明
国别省市：福建;35