一种数据的标准格式统一方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据的标准格式统一方法、装置、设备及介质，涉及计算机技术领域，该方法包括：通过数据策略中心确定数据源类型和目标存储类型；选择数据源驱动器，根据数据源驱动器连接数据源模块中数据源类型对应的目标数据源，基于目标数据源查询原始数据；通过数据驱动器，对原始数据进行格式转换得到转换后数据；通过数据处理器，对转换后数据中各属性值进行过滤以得到统一属性值格式的参考数据；通过数据源处理器对所述参考数据进行目标处理以得到统一属性名称的标准数据，将标准数据存储至目标存储模块；目标处理包括增加或删除属性名称以及属性值。对原始数据进行格式转换并统一原始数据的属性名称以及属性值格式，以统一数据标准格式。以统一数据标准格式。以统一数据标准格式。

【技术实现步骤摘要】
一种数据的标准格式统一方法、装置、设备及介质


[0001]本专利技术计算机
，特别涉及一种数据的标准格式统一方法、装置、设备及介质。

技术介绍

[0002]当前，数据中心需要对接多种数据源以得到多种数据来源数据，并且有些来源数据属性有缺失或属性值千奇百怪，很难统一成标准数据格式；另外，数据中心数据存储落地类型也有很多，因此通过编码方式工作量大，耗时耗力且需要专门的研发去开发才能完成，而客户期望非专业人员也能进行数据统一标准配置,数据源通过选择就能完成数据标准转化和数据存储落地，不想繁琐的开发和配置。
[0003]因此，如何统一数据的标准格式以进行存储是当前亟待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种数据的标准格式统一方法、装置、设备及介质，能够统一数据的标准格式以进行存储。其具体方案如下：
[0005]第一方面，本申请公开了一种数据的标准格式统一方法，应用于数据中心，所述数据中心包括数据源模块、数据转换中心和目标存储模块；所述数据源模块中包括若干不同类型的数据源；所述数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的标准格式统一方法，其特征在于，应用于数据中心，所述数据中心包括数据源模块、数据转换中心和目标存储模块；所述数据源模块中包括若干不同类型的数据源；所述数据转换中心包括数据策略中心、数据源驱动器、数据源转换器、数据源过滤器和数据源处理器；所述目标存储模块对应若干不同的存储类型；所述方法包括：通过所述数据策略中心确定数据源类型和目标存储类型；基于所述数据源类型选择所述数据源驱动器，并根据所述数据源驱动器连接所述数据源模块中所述数据源类型对应的目标数据源，然后基于所述目标数据源查询原始数据；通过所述数据驱动器，并基于所述数据源转换器和所述数据源类型对所述原始数据进行格式转换得到转换后数据；通过所述数据处理器，并基于所述数据源过滤器和所述目标存储类型对所述转换后数据中各属性值进行过滤以得到统一属性值格式的参考数据；通过所述数据源处理器并基于可扩展标记语言处理规则对所述参考数据进行目标处理以得到统一属性名称的标准数据，然后将所述标准数据存储至所述目标存储模块；所述目标处理包括增加或删除目标数据；所述目标数据包括属性名称以及对应的属性值。2.根据权利要求1所述的数据的标准格式统一方法，其特征在于，所述基于所述数据源转换器和所述数据源类型对所述原始数据进行格式转换得到转换后数据，包括：根据所述数据源类型从所述数据源转换器中获取所述数据源类型对应的预设格式转换模板，并基于所述预设格式转换模板对所述原始数据进行格式转换得到转换后数据。3.根据权利要求1所述的数据的标准格式统一方法，其特征在于，所述基于所述数据源过滤器和所述目标存储类型对所述转换后数据中各属性值进行过滤以得到统一属性值格式的参考数据，包括：根据所述目标存储类型从所述数据源过滤器中获取预设过滤规则，并对不满足所述预设过滤规则的所述转换后数据中各属性值进行过滤以得到统一属性值格式的参考数据。4.根据权利要求1所述的数据的标准格式统一方法，其特征在于，所述通过所述数据策略中心确定数据源类型和目标存储类型，包括：通过所述数据策略中心确定数据源类型、目标存储类型、数据源范围和所述数据源类型对应的第一连接信息；相应的，所述基于所述数据源类型选择所述数据源驱动器，并根据所述数据源驱动器连接所述数据源模块中所述数据源类型对应的目标数据源，然后基于所述目标数据源查询原始数据，包括：基于所述数据源类型选择所述数据源驱动器，并根据所述数据源驱动器和所述第一连接信息连接所述目标数据源；根据所述数据源范...

【专利技术属性】
技术研发人员：蒋廷金，金江焕，
申请(专利权)人：杭州安恒信息安全技术有限公司，
类型：发明
国别省市：