一种基于数据处理服务实现大数据采集系统脚本功能扩展和定制的方法技术方案

技术编号:24035075 阅读:46 留言:0更新日期:2020-05-07 01:40
本发明专利技术提出一种基于数据处理服务实现大数据采集系统脚本功能扩展和定制的方法,使用户能够通过Javascript脚本语言调用这些功能,并在这些功能基础上扩展和定制各种应用的需求,其特征在于通过数据处理通用工具高级语言扩展脚本处理能力,实现大数据采集后的数据清洗、转换等应用领域的个性化需求,包括高级功能模块、高级功能接口模块、脚本逻辑模块、脚本引擎处理模块,高级功能模块采用C

A method to extend and customize the script function of big data collection system based on data processing service

【技术实现步骤摘要】
一种基于数据处理服务实现大数据采集系统脚本功能扩展和定制的方法
本专利技术属于大数据采集的清洗、转换、存储等
,具体涉及一种基于数据处理服务实现大数据采集系统脚本功能扩展和定制的方法。
技术介绍
二十一世纪的今天,现代信息化建设已达到一定程度,各个行业领域已经积累了大量数据,如何让庞大数据产生价值是我们都在考虑的问题,因而对于数据分析就有了更迫切需求,如何解决数据进行快速采集和数据融合处理成为实现数据分析的必经之路。虽然使用脚本实现大数据采集应用系统上的需求弥补了软件平台在应用上的局限与不足,脚本一般来说编辑简单,修改方便,不需编译即可执行,简化了开发周期,保证了系统的连续运行。但传统的数据处理中,有一类情况是使用高级语言开发接口实现数据采集和融合处理,虽然能够满足数据处理的所有功能需求,但这种模式实施繁琐、实施周期长,且在实施过程灵活度不够。另外一种方式采用脚本语言配合脚本引擎的方式作为数据处理的方式可以解决上述问题,但是脚本语言不能支持很多高级功能这个致命弱点,比如图片处理、文件操作等,因为这种方式不能满足所有数据处理本文档来自技高网...

【技术保护点】
1.一种基于数据处理服务实现大数据采集系统脚本功能扩展和定制的方法,其特征在于:高级功能模块、高级功能接口模块、脚本逻辑模块、脚本引擎处理模块,包括如下步骤:/nS1:将大数据采集系统的实时数据库封装为一个实时库脚本对象,根据数据处理需求,通过开发高级功能模块处理脚本无法处理的功能,如图形处理、文件操作、外部接口调用等;/nS2:开发高级功能接口模块,用于提取高级功能对外接口,供脚本引擎与高级功能进行javascript语言与C

【技术特征摘要】
1.一种基于数据处理服务实现大数据采集系统脚本功能扩展和定制的方法,其特征在于:高级功能模块、高级功能接口模块、脚本逻辑模块、脚本引擎处理模块,包括如下步骤:
S1:将大数据采集系统的实时数据库封装为一个实时库脚本对象,根据数据处理需求,通过开发高级功能模块处理脚本无法处理的功能,如图形处理、文件操作、外部接口调用等;
S2:开发高级功能接口模块,用于提取高级功能对外接口,供脚本引擎与高级功能进行javascript语言与C#语言交互处理;
S3:开发脚本配置模块,用于配置数据处理业务逻辑,在逻辑中引用高级功能接口,处理脚本不能处理的功能;
S4:开发脚本引擎模块,用于执行脚本配置流程,驱动数据逻辑处理,且当执行高级功能接口时,高级功能通过接口处理高级功能逻辑。


2.如权利要求1所述一种基于数据处理服务实现大数据采集系统脚本功能扩展和定制的方法,其特征在于,所述步骤S1中,所述用户配置的高级功能模块,如文件处理、图形处理、外部接口调用等脚本不能实现的功能。


3.如权利要求1所述...

【专利技术属性】
技术研发人员:梁威
申请(专利权)人:长沙博为软件技术股份有限公司
类型:发明
国别省市:湖南;43

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1