一种基于适配器的大数据转换方法及系统技术方案

本发明专利技术涉及一种基于适配器的大数据转换方法及系统，其中一种基于适配器的大数据转换方法，包括以下步骤：接收异构数据转换请求并对异构数据解析处理和基于SQL脚本对异构数据进行配置；对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置；对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行；对上述储存的异构数据进行展现，本发明专利技术的方法可以自动执行批量数据转换脚本集合，保存转换脚本执行结果信息，并据此生成应用分析报告，采用本发明专利技术可以减少异构数据进行转换的逻辑错误、提高异构数据之间的交换效率，以及降低异构数据的数据采集与分析成本。

Adapter based large data conversion method and system

The invention relates to a data adapter conversion method and system based on a conversion method based on large data adapter, which comprises the following steps: receiving a request and heterogeneous data conversion of heterogeneous data processing and analysis based on SQL script for heterogeneous data configuration; the operation stage configuration cache processing of heterogeneous data analysis processing the configuration and heterogeneous data; for operation of the operation stages through heterogeneous data cache processing of heterogeneous data conversion and processing of the conversion of the heterogeneous data storage and operation of stage configuration; the storage of heterogeneous data to show the method of the invention can automatically perform batch data conversion script set, save the conversion the script execution result information is generated according to application analysis report, the invention can reduce the difference The logic error of data transformation is improved, the exchange efficiency between heterogeneous data is improved, and the data acquisition and analysis cost of heterogeneous data is reduced.

【技术实现步骤摘要】
一种基于适配器的大数据转换方法及系统
本专利技术涉及数据处理领域，尤其涉及一种基于适配器的大数据转换方法及系统。
技术介绍
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。百度目前的总数据量已超过1000PB，每天需要处理的网页数据达到10PB～100PB；淘宝累计的交易数据量高达100PB；Twitter每天发布超过2亿条消息，新浪微博每天发帖量达到8000万条；中国移动一个省的电话通联记录数据每月可达0.5PB～1PB；一个省会城市公安局道路车辆监控数据三年可达200亿条、总量120TB。据世界权威IT信息咨询分析公司IDC研究报告预测：全世界数据量未来10年将从2009年的0.8ZB增长到2020年的35ZB(1ZB＝1000EB＝1000000PB)，10年将增长44倍，年均增长40％。而存在如此多的异构数据，彼此之间无法进行无缝交换，形成数据孤岛，无法发挥数据的应用价值。现在，我们面临的挑战是，如何处理海量的非结构化数据和不确定的数据，并从这些数据中挖掘出商业价值。
技术实现思路
鉴于目前技术存在的上述不足，本专利技术提供一种基于适配器的大数据转换方法及系统，本专利技术的方法可以自动执行批量数据转换脚本集合，保存转换脚本执行结果信息，并据此生成应用分析报告，采用本专利技术可以减少异构数据进行转换的逻辑错误、提高异构数据之间的交换效率，以及降低异构数据的数据采集与分析成本。本专利技术的采用如下技术方案：一种基于适配器的大数据转换方法，包括以下步骤：接收异构数据转换请求并对异构数据解析处理和基于SQL脚本对异构数据进行配置；对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置；对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行；对上述储存的异构数据进行展现。作为本专利技术的优选技术方案，所述接收异构数据转换请求并对异构数据解析处理和基于SQL脚本对异构数据进行配置的步骤包括：将异构数据源中的数据，制定标准的接口；建立数据管理任务项与对应转换适配器自动识别的WSDL文件；将异构数据解析脚本和逻辑映射文件部署统一数据交换平台；确定异构数据管理任务项集合；根据异构数据管理任务项调试相应的SQL脚本得到SQL脚本集；配置异构数据管理任务项和SQL脚本之间的逻辑映射文件；将所述SQL脚本集和逻辑映射文件放置于数据交换平台。作为本专利技术的优选技术方案，所述对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置的步骤包括；对解析处理的异构数据通过适配转换脚本进行转换后存入缓存；基于异构数据交换平台解析逻辑映射文件；异构数据交换平台根据执行动作参数确定执行时刻并执行每个数据库管理任务项。作为本专利技术的优选技术方案，所述对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行的步骤包括：对经过缓存处理的异构数据通过调用大数据转换引擎，进行批量数据转换并对转换的异构数据进行储存；异构数据交换平台根据逻辑映射文件找到该数据库管理任务项映射的SQL脚本并读取SQL脚本内容。作为本专利技术的优选技术方案，所述对上述储存的异构数据进行展现的步骤包括：通过调用大数据分析引擎对上述储存的异构数据进行分析；将经过分析过后的数据进行数据前端展示。本专利技术的另一面，一种基于适配器的大数据转换系统，包括依次相连的请求接收模块、异构数据解析模块、异构数据缓存处理模块、适配器处理模块、异构数据转换处理模块、异构数据储存处理模块、异构数据服务处理模块、异构数据展现处理模块。作为本专利技术的优选技术方案，所述请求接收模块与移动客户端、Web客户端、PC客户端相连。本专利技术具有以下有益效果：1、可以自动执行批量数据转换脚本集合，保存转换脚本执行结果信息，并据此生成应用分析报告，采用本专利技术可以减少异构数据进行转换的逻辑错误、提高异构数据之间的交换效率，以及降低异构数据的数据采集与分析成本。2、针对来自各种异构数据源数据(包括结构化数据、非结构化数据)，采用统一的接口规范和协议标准进行批量转换，通过独创的数据适配器算法和转换规则引擎，对目标数据进行无人值守自动转换与分析输出。异构数据解析任务、转换任务、批量输出任务等需要编写相应的脚本，形成异构数据自动化转换脚本集。3、建立各种异构数据源的数据样本与特征码，并设计与之相匹配的转换适配器进行转换逻辑与转换规则映射；将自动化的批量异构数据分析与转换脚本集以及转换逻辑与转换规则映射文件部署于统一数据交换平台中。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术具体实施的流程。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术提供一种基于适配器的大数据转换方法，包括以下步骤：步骤S1：接收异构数据转换请求并对异构数据解析处理和基于SQL脚本对异构数据进行配置，具体为步骤S1a：将异构数据源中的数据，制定标准的接口，进一步优选为，针对各个异构数据源中的数据，统一制定标准的接口规范，采用SOAP标准协议，将其转换成标准的XML数据；步骤S1b：建立数据管理任务项与对应转换适配器自动识别的WSDL文件，进一步为，建立各种数据管理任务项与对应转换适配器自动识别的WSDL文件；步骤S1c：将异构数据解析脚本和逻辑映射文件部署统一数据交换平台；步骤S1d：确定异构数据管理任务项集合；步骤S1e：根据异构数据管理任务项调试相应的SQL脚本得到SQL脚本集；配置异构数据管理任务项和SQL脚本之间的逻辑映射文件；步骤S1f：将所述SQL脚本集和逻辑映射文件放置于数据交换平台。步骤S2：对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置，具体为：步骤S2a：对解析处理的异构数据通过适配转换脚本进行转换后存入缓存，再具体为通过数据转换关键字自动适配转换脚本进行转换后存入缓；步骤S2b：基于异构数据交换平台解析逻辑映射文件；步骤S2c：异构数据交换平台根据执行动作参数确定执行时刻并执行每个数据库管理任务项。步骤S3：对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行，具体为步骤S3a：对经过缓存处理的异构数据通过调用大数据转换引擎，进行批量数据转换并对转换的异构数据进行储存，再具体为通过定义转换规则，调用大数据转换引擎，进行批量数据转换并对转换的异构数据本文档来自技高网...

【技术保护点】
一种基于适配器的大数据转换方法，其特征在于，包括以下步骤：接收异构数据转换请求并对异构数据解析处理和基于SQL脚本对异构数据进行配置；对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置；对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行；对上述储存的异构数据进行展现。

【技术特征摘要】
1.一种基于适配器的大数据转换方法，其特征在于，包括以下步骤：接收异构数据转换请求并对异构数据解析处理和基于SQL脚本对异构数据进行配置；对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置；对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行；对上述储存的异构数据进行展现。2.根据权利要求1所述的一种基于适配器的大数据转换方法，其特征在于，所述接收异构数据转换请求并对异构数据解析处理和基于SQL脚本对异构数据进行配置的步骤包括：将异构数据源中的数据，制定标准的接口；建立数据管理任务项与对应转换适配器自动识别的WSDL文件；将异构数据解析脚本和逻辑映射文件部署统一数据交换平台；确定异构数据管理任务项集合；根据异构数据管理任务项调试相应的SQL脚本得到SQL脚本集；配置异构数据管理任务项和SQL脚本之间的逻辑映射文件；将所述SQL脚本集和逻辑映射文件放置于数据交换平台。3.根据权利要求1所述的一种基于适配器的大数据转换方法，其特征在于，所述对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置的步骤包括；对解析处理的异构数据通过适配转换脚本进行转换...

【专利技术属性】
技术研发人员：朱宇尧，
申请(专利权)人：上海赢华软件科技有限公司，
类型：发明
国别省市：上海,31