【技术实现步骤摘要】
一种针对结构化与非结构化数据的服务封装工具及方法
本专利技术涉及数据封装技术,具体涉及一种针对结构化与非结构化数据的服务封装工具及方法。
技术介绍
随着信息技术的不断发展,人类已逐渐步入云计算及大数据时代,而伴随着海量数据而来的就是各种不同格式、不同类型的数据的处理问题,我们通常将数据分为结构化及非结构化两种,而在数据处理过程中,结构化数据往往仅占一小部分,据权威统计,一家企业产生的数据当中有85%是非结构化数据,而只有15%是结构化数据——而在过往的数十年当中,IT产业在数据处理方面的进展主要都是在结构化数据方面,而例如EMAIL、视频及音频文件以及PPT、照片、文档等大量非结构化数据经常是游离于企业的决策环境之外的。显然,企业需要提高自己的信息管理水平,很重要的一点就是将非结构化数据的管理提升到与结构化数据相同的高度。调查显示,大部分企业认为信息是分散、孤立的,将这些信息有效地连接在一起非常困难,很难依据这些信息做出有效决策。一般而言,针对结构化或者非结构化数据的服务封装,需要用户针对数据手动实现相应程序代码来完成定制化的开发,从而实现将数据以Json等格式或 ...
【技术保护点】
一种针对结构化与非结构化数据的服务封装方法,包括:判断目标数据为结构化数据还是非结构化数据;对于结构化数据,连接对应的数据源,配置数据模型并为数据模型生成thrift服务接口开发包地址和访问接口地址,完成数据封装;对于非结构化数据,将其上传至服务器端,并生成非结构化数据的服务地址,完成数据封装。
【技术特征摘要】
1.一种针对结构化与非结构化数据的服务封装方法,包括:判断目标数据为结构化数据还是非结构化数据;对于结构化数据,连接对应的数据源,配置数据模型并为数据模型生成thrift服务接口开发包地址和访问接口地址,完成数据封装;对于非结构化数据,将其上传至服务器端,并生成非结构化数据的服务地址,完成数据封装。2.根据权利要求1所述的服务封装方法,其特征在于,所述对于结构化数据,连接对应的数据源包括:通过用户配置的数据库参数建立数据库连接,当连接通过后,生成相应的数据源并保存。3.根据权利要求2所述的服务封装方法,其特征在于,所述数据库参数包括:数据库类型、数据库名、数据库IP地址、数据库端口号、用户名、密码中的一种或多种。4.根据权利要求3所述的服务封装方法,其特征在于,所述数据库为Oracle、MySQL、达梦中的一种,所述建立数据库连接为JDBC连接。5.根据权利要求1所述的服务封装方法,其特征在于,所述配置数据模型包括:给予用户数据操作权限;根据用户指令,对目标数据的表格或视图进行操作,提取所需的字段并进行相关配置;生成相应的数据模型。6.根据权利要求1所述的服务封装方法,其特征在于,所述方法包括:对已创建的数据模型允许通过生成thrift服务接口的cpp.h框架代码和java代码接口进行压缩包下载。7.根据权利要求1所述的服务封装方法,其特征在于,所述结构化数据包括:能以JSON格式或二维表结构表示的数据;所述非结构化数据包括:各种格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息中的一种或多种。8.根据权利要求1所述的服务封装方法,其特征在于,所述生成非结构化数据的服务地址包括:将非结构化数据上传后在服务器端的路径地址作为非结构化数据的服务地址。9.根据权利要求1所述的服务封装方法,其特征在于,所述方法还包括:针对文件服务器端的内存、CPU、外存、文件数、文件读写速度各项指标进行监控,并通过Web页面展现。10.一种针对结构化与非结构化数据的服务封装工具,所述工具包括:判断模块,用于判断目标数据为结构化数据还是非结构化数据;结构化数据封装模块,用于完成结构化数据的封装;非结构化数据封装模块,用于完成非结构化数据封装。11....
【专利技术属性】
技术研发人员:童号,孙亭,李毅,丁杰,龚少麟,叶云,
申请(专利权)人:中国电子科技集团公司第二十八研究所,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。