一种数据处理的方法和装置制造方法及图纸

本发明专利技术实施例提供了一种数据处理的方法和装置，所述方法包括：获取上云的原始数据；确定原始数据对应的数据属性信息；根据数据属性信息，从多个数据模型中确定目标数据模型；其中，目标数据模型包括多个目标子数据模型；采用多个目标子数据模型，对原始数据进行标准化处理，得到标准化数据；对标准化数据进行质量检测，得到质量检测结果；在质量检测结果为非预设结果时，对标准化数据进行修正；将修正后的标准化数据通过数据共享平台进行数据共享，以为统一数据平台提供数据支持。通过本发明专利技术实施例，实现了对平台数据的标准化管理，能够保证平台中数据的一致性和数据质量，提升了数据完整度、可用性，且达到了高质量的智能数仓服务端建设效果。务端建设效果。务端建设效果。

【技术实现步骤摘要】
一种数据处理的方法和装置


[0001]本专利技术涉及数据处理领域，特别是涉及一种数据处理的方法和装置。

技术介绍

[0002]随着计算机、网络和通信等技术的发展，为了更智能的为城市提供智能服务，同步建设了大量的应用服务，无论从数据的广度和深度，还是从应用服务的全面性与精准性，针对“多模型、多应用”的模式提供应用服务建设是为城市提供智能服务的发展方向。
[0003]在智慧城市建设中，大数据发挥着重要作用，由于各应用服务数据标准不统一，存在“数据壁垒”问题，无法保证数据质量，导致了数据共享难，影响数据融合处理。

技术实现思路

[0004]鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和装置，包括：
[0005]一种数据处理的方法，应用于统一数据平台，所述统一数据平台包括数据资源平台和数据共享平台，所述数据资源平台包括智能数仓服务端，所述智能数仓服务端设置有多个数据模型，所述方法包括：
[0006]获取上云的原始数据；
[0007]确定所述原始数据对应的数据属性信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，应用于统一数据平台，所述统一数据平台包括数据资源平台和数据共享平台，所述数据资源平台包括智能数仓服务端，所述智能数仓服务端设置有多个数据模型，所述方法包括：获取上云的原始数据；确定所述原始数据对应的数据属性信息；根据所述数据属性信息，从所述多个数据模型中确定目标数据模型；其中，所述目标数据模型包括多个目标子数据模型；采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据；对所述标准化数据进行质量检测，得到质量检测结果；在所述质量检测结果为非预设结果时，对所述标准化数据进行修正；将修正后的标准化数据通过所述数据共享平台进行数据共享，以为所述统一数据平台提供数据支持。2.根据权利要求1所述的方法，其特征在于，所述多个目标子数据模型包括主题子模型、概念子模型、逻辑子模型和物理子模型，所述采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据，包括：采用所述主题子模型、所述概念子模型和所述逻辑子模型，对所述原始数据进行分层、分域处理；以及，采用所述物理子模型对所述原始数据进行实例化处理，得到标准化数据。3.根据权利要求2所述的方法，其特征在于，还包括：采用数据标准信息和数据模型，生成处理流程信息；在所述采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据之前，还包括：确定针对所述目标数据模型的目标处理流程信息；其中，所述目标处理流程信息用于对所述原始数据进行标准化处理。4.根据权利要求1或3所述的方法，其特征在于，所述数据属性信息包括范围属性信息，每一范围属性信息对应一数据模型，所述数据模型采用如下方式生成：确定针对范围属性信息的场景数据信息：其中，所述场景数据信息包括关键对象信息和关键属性信息；确定所述关键对象信息和所述关键属性信息对应的数据表达信息；根据所述关键对象信息、所述关键属性信息，以及所述数据表达信息，生成数据标准信息；采用所述数据标准信息，生成所述范围属性信息对应的数据模型。5.根据权利要求4所述的方法，其特征在于，所述确定所述关键对象信息和所述关键属性信息对应的数据表达信息，包括：获取参考数据信息；其中，所述参考数据信息为针对所述智能数仓服务端预设...

【专利技术属性】
技术研发人员：邓练兵，文少杰，欧阳可佩，
申请(专利权)人：珠海大横琴科技发展有限公司，
类型：发明
国别省市：