一种动态可扩展企业数据集成方法以及系统技术方案

本申请涉及一种动态可扩展企业数据集成方法以及系统，涉及数据管理的技术领域，解决了上述两种方式均需要按接入的数据源进行创建、测试和开发，而且对数据集成也需要按业务内容安排开发和部署，所以从数据源的创建和业务的开发，都将是场景不同，流程相同的重复的工作的问题，其包括：获取企业数据以及数据处理请求；按照预设的数据格式对企业数据进行数据源分类；基于数据处理请求与数据操作方案的对应关系，分析确定数据操作方案；对数据源分类后的企业数据执行数据操作方案。本申请具有如下效果：将数据形成不同层级维度的可用数据，形成数据快速集成。形成数据快速集成。形成数据快速集成。

【技术实现步骤摘要】
一种动态可扩展企业数据集成方法以及系统


[0001]本申请涉及数据管理的
，尤其是涉及一种动态可扩展企业数据集成方法以及系统。

技术介绍

[0002]目前数据管理是数据时代所面临的重要挑战之一，当前企业需要在不同的数据范围和维度进行分析和研究来做出决策基础，对如何快速集成数据是对数据内容进行分析研究的基础。
[0003]现有关于数据的集成方式主要的两种采用方式如下：1、硬编码的方式；2、扩充数据源。
[0004]针对上述中的相关技术，专利技术人发现存在有如下缺陷：上述两种方式均需要按接入的数据源进行创建、测试和开发，而且对数据集成也需要按业务内容安排开发和部署，所以从数据源的创建和业务的开发，都将是场景不同，流程相同的重复的工作，接入方和集成方还需要了解对方的兼容范围和接入程度等沟通工作，因此会增加集成的适配和沟通工作，重复性工作会增加，同时一些数据及时性也大打折扣。

技术实现思路

[0005]为了将数据形成不同层级维度的可用数据，形成数据快速集成，本申请提供一种动态可扩展企业数据集成方法以及系统。
[0006]第一方面，本申请提供一种动态可扩展企业数据集成方法，采用如下的技术方案：一种动态可扩展企业数据集成方法，包括：获取企业数据以及数据处理请求；按照预设的数据格式对企业数据进行数据源分类；基于数据处理请求与数据操作方案的对应关系，分析确定数据操作方案；对数据源分类后的企业数据执行数据操作方案。
[0007]通过采用上述技术方案，首先针对企业数据按照数据格式进行了数据源分类的配置，方便后续在数据处理请求下对不同类别数据执行适配的数据操作方案，实现数据端到端的动态路由配置，从而将数据形成不同层级维度的可用数据，形成数据快速集成。
[0008]可选的，若数据处理请求为数据采集管理，数据操作方案如下：获取企业数据的调度任务以及企业数据的来源；根据企业数据的来源与采集方式的对应关系，分析确定企业数据的采集方式；根据所分析确定的企业数据的采集方式进行企业数据的数据采集；根据企业数据的调度任务所包含的操作内容对采集后的企业数据进行操作。
[0009]通过采用上述技术方案，在数据处理请求为数据采集管理时，能够针对不同来源的企业数据采用适配的采集方式，而且会将采集后的数据根据调度任务进行处理，有效保障作数据采集管理后的企业数据为所需的集成数据，间接提高了有用数据的快速集成。
[0010]可选的，还包括位于分析确定企业数据的采集方式之后，且在根据所分析确定的企业数据的采集方式进行企业数据的数据采集之前的步骤，具体如下：分析分类后的数据源是否存在非结构化数据；若为是，则根据非结构数据所包含的类别与存储对象的对应关系，分析确定不同类别非结构数据的储存对象；将不同类别的非结构数据存储至对应的存储对象中，同时形成存储可索引的描述日志。
[0011]通过采用上述技术方案，充分考虑到非结构化数据由于存储空间要求相对较高，需要转换到不同的对象存储来提高整体索引效率，因此针对非结构数据会进行进一步的分类，并根据类别分配不同的存储对象，并通过可索引的描述日志来提高非结构化数据在需要的快速查询，间接提高了数据的快速集成。
[0012]可选的，若数据处理请求为数据资源管理，数据操作方案如下：根据数据源分类与存储对象的对应关系，分析确定不同种类的企业数据的存储对象；将不同种类的企业数据存储至对应存储对象；根据存储至存储对象的企业数据的数据量进行存储的自动扩缩容，以满足企业数据的容纳。
[0013]通过采用上述技术方案，通过存储的自动扩缩容，有效保障针对企业数据的存储可以根据企业数据量的情况进行扩缩容，有效保障企业数据存放时的稳定性，避免丢数据的情况发生。
[0014]可选的，还包括与根据存储至存储对象的企业数据的数据量进行存储的自动扩缩容，以满足企业数据的容纳并行的步骤，具体如下：根据企业数据种类与所需支持协议的对应关系，分析确定企业数据种类所对应的所需支持协议；提供相应所需支持协议至相应种类企业数据所持存储对象；根据企业数据种类、存储对象以及所支持协议，形成数据统计型可视报表。
[0015]通过采用上述技术方案，通过对不同类别企业数据的协议支持，更好的保障了在混合存储环境下支持多协议，做到了数据接入的兼容性高，有效保障了数据集成过程中的稳定性。
[0016]可选的，还包括与根据存储至存储对象的企业数据的数据量进行存储的自动扩缩容，以满足企业数据的容纳并行的步骤，具体如下：分析数据接入需要是否为备份；若为是，对企业数据采用同步复制方式和异步复制方式进行容灾备份；获取容灾备份中的数据变化和差异，并根据数据变化和差异，形成数据状态的快照；比较备份集群与主集群的快照差异，分析在预设快照间隔时间内的数据变化；将数据变化通过图表进行展示。
[0017]通过采用上述技术方案，在需要对数据进行备份的时候，会采用不同方式进行部分，有效保障数据备份的安全性，而且也会对备份的情况通过备份集群与主集群的快照差
异比较的方式来作二次确认。
[0018]可选的，若数据处理请求为数据计算管理，数据操作方案如下：分析获取数据计算管理的所需功能；根据功能与处理算法的对应关系，分析确定本次数据计算管理的处理算法；执行处理算法。
[0019]通过采用上述技术方案，能够根据数据计算管理的所需功能匹配适合的处理算法，并通过执行相应处理算法，从而在形成数据快速集成后，还可以形成不同维度的关系性数据。
[0020]可选的，若数据处理请求为数据服务管理，数据操作方案如下：获取数据使用方的需求；根据需求与数据服务方式的对应关系，分析确定针对数据使用方的数据服务方式；执行数据服务方式。
[0021]通过采用上述技术方案，针对数据使用方的需求，能够提供与需求对应的数据服务方式，满足数据适用方的需求。
[0022]可选的，数据处理请求的获取包括：查询用户设置的数据处理请求；若查询到，则以用户设置的数据处理请求作为本次数据处理请求；反之，则获取用户所负责的业务场景；根据业务场景与数据处理请求的对应关系，分析确定用户所负责的业务场景所对应的数据处理请求，作为本次数据处理请求。
[0023]通过采用上述技术方案，在用户有设置数据处理请求的情况下，会以用户所设置的数据处理请求来作为本次数据处理请求，而用户没有设置数据处理请求的情况下，则会根据用户所负责的业务场景来匹配适合的数据处理情况。
[0024]第二方面，本申请提供一种动态可扩展企业数据集成系统，采用如下的技术方案：一种动态可扩展企业数据集成系统，包括：获取模块，用于获取企业数据以及数据处理请求。
[0025]分类模块，用于按照预设的数据格式对企业数据进行数据源分类。
[0026]分析确定模块，用于基于数据处理请求与数据操作方案的对应关系，分析确定数据操作方案。
[0027]执行模块，用于对数据源分类后的企业数据执行数据操作方案。
[0028]通过采用上述技术方案，通过获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态可扩展企业数据集成方法，其特征在于，包括：获取企业数据以及数据处理请求；按照预设的数据格式对企业数据进行数据源分类；基于数据处理请求与数据操作方案的对应关系，分析确定数据操作方案；对数据源分类后的企业数据执行数据操作方案。2.根据权利要求1所述的一种动态可扩展企业数据集成方法，其特征在于，若数据处理请求为数据采集管理，数据操作方案如下：获取企业数据的调度任务以及企业数据的来源；根据企业数据的来源与采集方式的对应关系，分析确定企业数据的采集方式；根据所分析确定的企业数据的采集方式进行企业数据的数据采集；根据企业数据的调度任务所包含的操作内容对采集后的企业数据进行操作。3.根据权利要求2所述的一种动态可扩展企业数据集成方法，其特征在于，还包括位于分析确定企业数据的采集方式之后，且在根据所分析确定的企业数据的采集方式进行企业数据的数据采集之前的步骤，具体如下：分析分类后的数据源是否存在非结构化数据；若为是，则根据非结构数据所包含的类别与存储对象的对应关系，分析确定不同类别非结构数据的储存对象；将不同类别的非结构数据存储至对应的存储对象中，同时形成存储可索引的描述日志。4.根据权利要求1所述的一种动态可扩展企业数据集成方法，其特征在于，若数据处理请求为数据资源管理，数据操作方案如下：根据数据源分类与存储对象的对应关系，分析确定不同种类的企业数据的存储对象；将不同种类的企业数据存储至对应存储对象；根据存储至存储对象的企业数据的数据量进行存储的自动扩缩容，以满足企业数据的容纳。5.根据权利要求4所述的一种动态可扩展企业数据集成方法，其特征在于，还包括与根据存储至存储对象的企业数据的数据量进行存储的自动扩缩容，以满足企业数据的容纳并行的步骤，具体如下：根据企业数据种类与所需支持协议的对应关系，分析确定企业数据种类所对应的所需支持协议；提供相应所需支持协议至相应种类企业数据所持存储对象；根据企业数据种...

【专利技术属性】
技术研发人员：黄华慧，
申请(专利权)人：企知道网络技术有限公司，
类型：发明
国别省市：