一种数据处理方法、系统及计算机储存介质技术方案

本发明专利技术涉及一种数据处理方法、系统及计算机储存介质，方法包括：获取目标数据信息；对目标数据信息进行数据清洗，以得到数据清洗后的第一数据信息；基于业务主题域及业务场景，构建适于第一数据信息的目标数据模型；基于目标数据模型将第一数据信息形成第一数据集，第一数据集包含若干个共性数据子集；基于第一数据集，构建数据资产共享平台，并将数据资产共享平台对接需求端。上述通过进行数据清洗、构建数据模型，并基于所构建的数据模型，将获取的目标数据信息形成具有相关共性的第一数据集，便于后续的需求端资产共享平台，进而便于满足需求端用户的数据分析需求。解决了对于用户来说技术门槛过高、体验不佳的问题。体验不佳的问题。体验不佳的问题。

【技术实现步骤摘要】
一种数据处理方法、系统及计算机储存介质


[0001]本专利技术涉及数据处理领域，特别是涉及一种数据处理方法、系统及计算机储存介质。

技术介绍

[0002]随着工业自动化技术和大数据技术的不断更新与发展，越来越多在工业生产过程各环节中采集到的数据被实时存储到数据仓库中，这些数据数量庞大、种类繁多、关系复杂、冗余度高，无法被直接利用管理。工业过程中很多重要的关键信息隐藏在海量工业数据中，将这些有益信息用高效快捷的方式挖掘出来应用与生产过程中，将极大地提高生产效益和社会价值。
[0003]工业大数据分析有别于其它领域或行业的大数据分析。数据来源多样，工业大数据以非结构化和半结构化为主，不同数据之间存在复杂的内部关系，数据量增长快，动态的实时数据对工业过程控制的参考价值高，工业数据价值密度低。因此，对工业大数据的分析和处理需要通过采用有针对性的处理工具和计算模型来满足对数据的实时清洗和事件处理。数据清洗是为了解决数据质量的问题，通过识别工业大数据中的错误记录并对记录进行修正，能够尽最大可能确保交付数据的一致性和准确性，进而提高参加决策的数据质量；事件处理是在数据清洗的基础上寻找对工业过程控制有用的事件信息，并通过可视化的方式展示出来，然后通过事件检测和事件关联将事件以合理化的形式展现，对企业后续分析问题、研究措施、解决问题和预防故障起到积极的作用。
[0004]数据处理，数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程。
[0005]而目前对数据处理的过程中，数据报表开发通常依赖于ETL工程师、前端工程师、数据建模人员等专业技术人员，难以快速适应普通用户灵活多变的数据分析需求。数据分析系统缺乏统一的数据治理与盘点过程，进而导致数据质量难以保证；

技术实现思路

[0006]基于此，有必要针对上述数据质量难以保证、数据难以分析的问题，提供一种数据处理方法。
[0007]一种数据处理方法，包括：
[0008]获取目标数据信息；
[0009]对所述目标数据信息进行数据清洗，以得到数据清洗后的第一数据信息；
[0010]基于业务主题域及业务场景，构建适于所述第一数据信息的目标数据模型；
[0011]基于所述目标数据模型将所述第一数据信息形成第一数据集，所述第一数据集包含若干个共性数据子集；
[0012]基于所述第一数据集，构建数据资产共享平台，并将所述数据资产共享平台对接
需求端。
[0013]在其中一个优选实施方式中，所述对所述目标数据信息进行数据清洗，以得到数据清洗后的第一数据信息，包括：
[0014]基于数据管理规范对所述目标数据信息进行数据清洗，以去除所述目标数据信息的数据噪音；
[0015]将去除数据噪音后的目标数据信息进行整理，以得到清洗后的第一数据信息。
[0016]在其中一个优选实施方式中，所述基于业务主题域及业务场景，构建适于所述第一数据信息的目标数据模型，包括：
[0017]构建业务主题目录及所述业务场景目录，并基于所述业务主题目录及所述业务场景目录，将所述第一数据信息索引至对应业务主题目录或所述业务场景目录的类别内；
[0018]识别已索引至对应业务主题目录或所述业务场景目录的类别内的第一数据信息所对应的业务需求信息，并根据所述业务需求信息构建业务需求目录；
[0019]基于所述业务主题目录、业务场景目录及所述业务需求目录，构建所述目标数据模型。
[0020]在其中一个优选实施方式中，所述基于所述目标数据模型将所述第一数据信息形成第一数据集，所述第一数据集包含若干个共性数据子集，包括：
[0021]基于所述目标数据模型从所述第一数据信息提取对应若干个的共性特征；
[0022]根据所述共性特征将所述第一数据信息进行提取分类，以得到关联所述第一数据信息的若干个共性数据子集；
[0023]将所述若干个共性数据子集进行关联，以得到所述第一数据集。
[0024]在其中一个优选实施方式中，所述目标数据信息基于数据中台源端进行获取。
[0025]在其中一个优选实施方式中，所述将所述数据资产共享平台对接需求端，包括：
[0026]对所述需求端进行身份认证。
[0027]在其中一个优选实施方式中，所述对需求端进行身份认证，包括：
[0028]获取所述身份认证信息；
[0029]根据所述身份认证信息，得到对应该身份的访问权限信息；
[0030]根据所述访问权限信息，对所述第一数据集进行拆分，以获取对应所述访问权限信息的数据信息并反馈至对应需求端。
[0031]本专利技术上述实施方式公开了一种数据处理方法，通过进行数据清洗、构建数据模型，并基于所构建的数据模型，将获取的目标数据信息形成具有相关共性的第一数据集，便于后续的需求端资产共享平台，进而便于满足需求端用户的数据分析需求。实现了将数据采集、数据治理、数据共享、数据分析各个过程通过系统进行了全过程的集成，解决了对于用户来说技术门槛过高、体验不佳的问题。
[0032]一种数据处理系统，包括：
[0033]数据获取模块，用以获取目标数据信息；
[0034]数据清洗模块，用以对所述目标数据信息进行数据清洗，以得到数据清洗后的第一数据信息；
[0035]模型构建模块，用以基于业务主题域及业务场景，构建适于所述第一数据信息的目标数据模型；
[0036]数据集形成模块，用以基于所述目标数据模型将所述第一数据信息形成第一数据集，所述第一数据集包含若干个共性数据子集；
[0037]资产共享模块，用以基于所述第一数据集，构建数据资产共享平台，并将所述数据资产共享平台对接需求端。
[0038]在其中一个优选实施方式中，所述模型构建模块包括：
[0039]目录构建单元，用以构建业务主题目录及所述业务场景目录，并基于所述业务主题目录及所述业务场景目录，将所述第一数据信息索引至对应业务主题目录或所述业务场景目录的类别内；
[0040]目录识别单元，用以识别已索引至对应业务主题目录或所述业务场景目录的类别内的第一数据信息所对应的业务需求信息，并根据所述业务需求信息构建业务需求目录；
[0041]模型构建单元，用以基于所述业务主题目录、业务场景目录及所述业务需求目录，构建所述目标数据模型。
[0042]本专利技术上述实施方式公开了一种数据处理系统，通过进行数据清洗、构建数据模型，并基于所构建的数据模型，将获取的目标数据信息形成具有相关共性的第一数据集，便于后续的需求端资产共享平台，进而便于满足需求端用户的数据分析需求。实现了将数据采集、数据治理、数据共享、数据分析各个过程通过系统进行了全过程的集成，解决了对于用户来说技术门槛过高、体验不佳的问题。
[0043]一种计算机储存介质，所述储存介质包括存储的程序，其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取目标数据信息；对所述目标数据信息进行数据清洗，以得到数据清洗后的第一数据信息；基于业务主题域及业务场景，构建适于所述第一数据信息的目标数据模型；基于所述目标数据模型将所述第一数据信息形成第一数据集，所述第一数据集包含若干个共性数据子集；基于所述第一数据集，构建数据资产共享平台，并将所述数据资产共享平台对接需求端。2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述目标数据信息进行数据清洗，以得到数据清洗后的第一数据信息，包括：基于数据管理规范对所述目标数据信息进行数据清洗，以去除所述目标数据信息的数据噪音；将去除数据噪音后的目标数据信息进行整理，以得到清洗后的第一数据信息。3.根据权利要求1所述的数据处理方法，其特征在于，所述基于业务主题域及业务场景，构建适于所述第一数据信息的目标数据模型，包括：构建业务主题目录及所述业务场景目录，并基于所述业务主题目录及所述业务场景目录，将所述第一数据信息索引至对应业务主题目录或所述业务场景目录的类别内；识别已索引至对应业务主题目录或所述业务场景目录的类别内的第一数据信息所对应的业务需求信息，并根据所述业务需求信息构建业务需求目录；基于所述业务主题目录、业务场景目录及所述业务需求目录，构建所述目标数据模型。4.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述目标数据模型将所述第一数据信息形成第一数据集，所述第一数据集包含若干个共性数据子集，包括：基于所述目标数据模型从所述第一数据信息提取对应若干个的共性特征；根据所述共性特征将所述第一数据信息进行提取分类，以得到关联所述第一数据信息的若干个共性数据子集；将所述若干个共性数据子集进行关联，以得到所述第一数据集。5.根据权利要求1所述的数据处理方法，其特征在于，所述目标数据信息基...

【专利技术属性】
技术研发人员：高振光，温馨，陈重韬，李欣怡，姚艳丽，张宁，王森，张海明，李宁杰，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：