一种基于ETL技术协同多通讯协议的数据交换方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于ETL技术协同多通讯协议的数据交换方法，包括：接收用户的携带数据类型的数据交换请求；从至少两种通讯协议中确定出支持第一数据类型的第一通讯协议，通过第一通讯协议连接源端，从源端获取数据；根据数据交换请求将第一数据类型的数据转换为第二数据类型的数据；从至少两种通讯协议中确定出支持第二数据类型的第二通讯协议，并通过第二通讯协议连接目的端，将数据发送至所述目的端。本发明专利技术实施例能够支持多种通讯协议，实现对数据进行灵活、高效地转换和处理，且所有操作都是独立可复用的，满足用户对于交换平台的多样化需求，提升了用户体验度。

【技术实现步骤摘要】
一种基于ETL技术协同多通讯协议的数据交换方法及装置
本专利技术涉及数据处理领域，尤其涉及一种基于ETL(Extract-Transform-Load，抽取-转换-加载)技术协同多通讯协议的数据交换方法及装置。
技术介绍
目前随着大数据时代的到来，政府、企业都通过构建数据交换平台，整合现有数据资源，目的在于为跨部门和跨单位的业务系统等提供数据支撑。建立统一的数据中心旨在打破信息孤岛，满足各业务部门和单位对于信息互联互通和共享交换的需求，并且能够为政府、企业和社会提供全方位、实时的基础信息服务。但是现有的数据交换平台，绝大多数实现技术方案都是针对单一通讯协议的，只能进行简单的数据表到数据表的传输，且在实现过程中是不可复用的，不对数据进行加工处理的。这就无法满足用户对于交换平台的多样化需求，极大降低了用户体验。
技术实现思路
本专利技术实施例公开了一种基于ETL技术协同多通讯协议的数据交换方法及装置，能够支持多种通讯协议，实现对数据进行灵活、高效地格式转换和处理，且所有数据处理操作都是独立可复用的，能够满足用户对于交换平台的多样化需求，提升了用户体验度。本专利技术实施例第一方面公开了一种基于本文档来自技高网...

【技术保护点】
一种基于ETL技术协同多通讯协议的数据交换方法，其特征在于，包括：接收用户的携带数据类型的数据交换请求，所述数据交换请求用于请求将源端数据进行转换处理并交换到目的端，所述数据类型包括：源端数据的第一数据类型、目的端数据的第二数据类型；从至少两种通讯协议中确定出支持所述第一数据类型的第一通讯协议，通过所述第一通讯协议连接所述源端，从所述源端获取数据；根据所述数据交换请求将所述第一数据类型的数据转换为所述第二数据类型的数据；从至少两种通讯协议中确定出支持所述第二数据类型的第二通讯协议，并通过所述第二通讯协议连接所述目的端，将所述数据发送至所述目的端。

【技术特征摘要】
1.一种基于ETL技术协同多通讯协议的数据交换方法，其特征在于，包括：接收用户的携带数据类型的数据交换请求，所述数据交换请求用于请求将源端数据进行转换处理并交换到目的端，所述数据类型包括：源端数据的第一数据类型、目的端数据的第二数据类型；从至少两种通讯协议中确定出支持所述第一数据类型的第一通讯协议，通过所述第一通讯协议连接所述源端，从所述源端获取数据；根据所述数据交换请求将所述第一数据类型的数据转换为所述第二数据类型的数据；从至少两种通讯协议中确定出支持所述第二数据类型的第二通讯协议，并通过所述第二通讯协议连接所述目的端，将所述数据发送至所述目的端。2.根据权利要求1所述的方法，所述方法在根据所述数据交换请求将所述第一数据类型的数据转换为所述第二数据类型的数据之前，还包括：对所述数据进行清洗处理，所述清洗处理包括：合并字段、剪切字符串、去除重复记录、拆分字段、排序记录、替换空值、合并结果集。3.根据权利要求1所述的方法，所述第一通讯协议包括至少两个通讯协议，所述通过所述第一通讯协议连接所述源端包括：从所述至少两个通讯协议中选择一个通讯协议，并通过选择的通讯协议连接所述源端。4.根据权利要求1所述的方法，其特征在于，所述第一数据类型包括：结构化数据、非结构化数据，所述第二数据类型包括：所述结构化数据、所述非结构化数据，所述根据所述数据交换请求将所述第一数据类型的数据转换为所述第二数据类型的数据具体包括：根据所述数据交换请求将所述结构化数据转换为所述非结构化数据；或者，根据所述数据交换请求将所述非结构化数据转换为结构化数据。5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法在将所述数据传输至所述目的端之后，还包括：将所述转换之后的数据发布为数据服务，所述数据服务用于...

【专利技术属性】
技术研发人员：邹纪根，刘红鑫，
申请(专利权)人：深圳市卓讯信息技术有限公司，
类型：发明
国别省市：广东,44