本发明专利技术涉及数据处理技术领域，公开了一种数据视图处理方法、装置、计算机设备及可读存储介质。该方法包括：获取各数据源类型的原始数据视图，各原始数据视图的格式不同，将各原始数据视图转换为统一格式，得到多个第一修正数据视图；将各第一修正数据视图注册到服务器中，并对各第一修正数据视图进行数据透视，得到多个透视视图；对各透视视图添加变动标识，得到数据视图蒙版；通过数据视图蒙版对各第一修正数据视图进行调整，得到多个第二修正数据视图；在各第二修正数据视图中添加业务处理标识，得到多个操作数据视图。本申请基于文档数据库实现，加入蒙版机制，确保了低成本和灵活的原始数据视图管理。的原始数据视图管理。的原始数据视图管理。
【技术实现步骤摘要】
数据视图处理方法、装置、计算机设备及可读存储介质
[0001]本专利技术涉及数据处理
，尤其涉及一种数据视图处理方法、装置、计算机设备及可读存储介质。
技术介绍
[0002]ODS(Operational Data Store)操作数据存储层是业务操作系统和数据仓库的桥梁，能填补两方功能需求和性能需求的差异，也是解决大数据多样化问题的关键方式，能确保数据完整性。但ODS往往变成“原始数据层”，因为ODS层需要保留完整且意义与业务操作系统一致的数据，容易出现缺乏管理的状态。繁琐的ETL(Extract
‑
Transform
‑
Load)工作被视为清理垃圾，本就不被重视。尤其是遇到多数据源冲突的问题时，数据人员权衡成本和时间限制后，往往放松对数据规范化和质量的要求，造成维护效率的降低和数据仓库的不稳定。
[0003]不同数据源的操作数据数据视图是管理数据的依据，但因为其复杂性、多样性以及易变性，日常维护起来时间成本和金钱成本较高，并且管理起来较为复杂，对数据人员的经验和技术水平要求较高。目前现有技术中暂时没有相关手段可以解决上述缺陷，由此可见，如何高效处理数据视图是本领域技术人员亟待解决的问题。
技术实现思路
[0004]有鉴于此，本专利技术的目的是为了克服现有技术中的不足，提供一种数据视图处理方法、装置、计算机设备及可读存储介质。
[0005]本专利技术提供如下技术方案：
[0006]第一方面，本公开实施例中提供了一种数据视图处理方法，所述方法包括:
[0007]获取各数据源类型的原始数据视图，各所述原始数据视图的格式不同，将各所述原始数据视图转换为统一格式，得到多个第一修正数据视图；
[0008]将各所述第一修正数据视图注册到服务器中，并对各所述第一修正数据视图进行数据透视，得到多个透视视图；
[0009]对各所述透视视图添加变动标识，得到数据视图蒙版；
[0010]通过所述数据视图蒙版对各所述第一修正数据视图进行调整，得到多个第二修正数据视图；
[0011]在各所述第二修正数据视图中添加业务处理标识，得到多个操作数据视图。
[0012]进一步地，所述数据源类型包括关系型数据库和事件队列消息，所述获取各数据源类型的数据视图，包括：
[0013]通过Java数据库连接方式查询所述关系型数据库中的系统表列表、获取表列表和表结构，并通过所述系统表列表、所述获取表列表和所述表结构获取所述关系型数据库对应的数据视图；
[0014]获取所述事件队列消息的预设数量事件、字段列表和层级关系，通过所述预设数
量事件、所述字段列表和所述层级关系确定所述事件队列消息的值类型和范围格式，并通过所述值类型和所述范围格式获取所述事件队列消息对应的数据视图。
[0015]进一步地，所述数据源类型还包括API接口，所述获取各数据源类型的数据视图，包括：
[0016]通过读取所述API接口的对象描述接口，获取所述API接口对应的数据视图；
[0017]和/或，通过所述API接口的首页返回的接口抽取字段列表和关系识别所述API接口的字段类型和范围格式，通过所述字段类型和所述范围格式获取所述API接口对应的数据视图。
[0018]进一步地，所述数据源类型还包括表格文件和重复行数据文件，所述获取各数据源类型的数据视图，包括：
[0019]加载所述表格文件的表格内容，通过将所述表格内容的首行首列作为表头、单元格类型和展示格式，获取所述表格文件对应的数据视图；
[0020]通过分隔符、分隔词、停用词、换行方式对所述重复行数据文件进行文本解析，获取所述重复行数据文件对应的数据视图。
[0021]进一步地，所述将各所述原始数据视图转换为统一格式，得到多个第一修正数据视图，包括：
[0022]通过预设逻辑脚本对各所述原始数据视图内的每个字段信息进行识别，得到统一格式的多个第一修正数据视图。
[0023]进一步地，所述对各所述透视视图添加变动标识，得到数据视图蒙版之后，还包括：
[0024]获取各所述第一修正数据视图的视图版本，将各所述视图版本存储至文档数据库；
[0025]通过SQL数据库对各所述第一修正数据视图进行聚合统计，对所述第一修正数据视图内每个字段的出现规律进行识别，生成合并日志文件；
[0026]定时解析所述合并日志文件，当所述合并日志文件内包含警告字段时，生成报警通知，并将所述报警通知发送至客户端。
[0027]进一步地，所述在各所述第二修正数据视图中添加业务处理标识，得到多个操作数据视图之后，还包括：
[0028]将各所述操作数据视图接入元数据管理系统，并对各所述操作数据视图进行谱系分析，得到第一逻辑数据；
[0029]将所述第一逻辑数据向上扩展到物理数据源层，得到第二逻辑数据，并根据所述第二逻辑数据对所述元数据管理系统内元数据的版本概念进行强化，得到强化数据。
[0030]第二方面，本公开实施例中提供了一种数据视图处理装置，所述装置包括：
[0031]获取模块，用于获取各数据源类型的原始数据视图，各所述原始数据视图的格式不同，将各所述原始数据视图转换为统一格式，得到多个第一修正数据视图；
[0032]透视模块，用于将各所述第一修正数据视图注册到服务器中，并对各所述第一修正数据视图进行数据透视，得到多个透视视图；
[0033]第一添加模块，用于对各所述透视视图添加变动标识，得到数据视图蒙版；
[0034]调整模块，用于通过所述数据视图蒙版对各所述第一修正数据视图进行调整，得
到多个第二修正数据视图；
[0035]第二添加模块，用于在各所述第二修正数据视图中添加业务处理标识，得到多个操作数据视图。
[0036]第三方面，本公开实施例中提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面中所述的数据视图处理方法的步骤。
[0037]第四方面，本公开实施例中提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述的数据视图处理方法的步骤。
[0038]本申请的实施例具有如下有益效果：
[0039]本申请实施例提供的数据视图处理方法，方法包括：获取各数据源类型的原始数据视图，各所述原始数据视图的格式不同，将各所述原始数据视图转换为统一格式，得到多个第一修正数据视图；将各所述第一修正数据视图注册到服务器中，并对各所述第一修正数据视图进行数据透视，得到多个透视视图；对各所述透视视图添加变动标识，得到数据视图蒙版；通过所述数据视图蒙版对各所述第一修正数据视图进行调整，得到多个第二修正数据视图；在各所述第二修正数据视图中添加业务处理标识，得到多个操作数据视图。本申请基于文档数据库实现，加入蒙版机制，确保了低成本和灵活的原始本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据视图处理方法，其特征在于，所述方法包括：获取各数据源类型的原始数据视图，各所述原始数据视图的格式不同，将各所述原始数据视图转换为统一格式，得到多个第一修正数据视图；将各所述第一修正数据视图注册到服务器中，并对各所述第一修正数据视图进行数据透视，得到多个透视视图；对各所述透视视图添加变动标识，得到数据视图蒙版；通过所述数据视图蒙版对各所述第一修正数据视图进行调整，得到多个第二修正数据视图；在各所述第二修正数据视图中添加业务处理标识，得到多个操作数据视图。2.根据权利要求1所述的数据视图处理方法，其特征在于，所述数据源类型包括关系型数据库和事件队列消息，所述获取各数据源类型的数据视图，包括：通过Java数据库连接方式查询所述关系型数据库中的系统表列表、获取表列表和表结构，并通过所述系统表列表、所述获取表列表和所述表结构获取所述关系型数据库对应的数据视图；获取所述事件队列消息的预设数量事件、字段列表和层级关系，通过所述预设数量事件、所述字段列表和所述层级关系确定所述事件队列消息的值类型和范围格式，并通过所述值类型和所述范围格式获取所述事件队列消息对应的数据视图。3.根据权利要求1所述的数据视图处理方法，其特征在于，所述数据源类型还包括API接口，所述获取各数据源类型的数据视图，包括：通过读取所述API接口的对象描述接口，获取所述API接口对应的数据视图；和/或，通过所述API接口的首页返回的接口抽取字段列表和关系识别所述API接口的字段类型和范围格式，通过所述字段类型和所述范围格式获取所述API接口对应的数据视图。4.根据权利要求1所述的数据视图处理方法，其特征在于，所述数据源类型还包括表格文件和重复行数据文件，所述获取各数据源类型的数据视图，包括：加载所述表格文件的表格内容，通过将所述表格内容的首行首列作为表头、单元格类型和展示格式，获取所述表格文件对应的数据视图；通过分隔符、分隔词、停用词、换行方式对所述重复行数据文件进行文本解析，获取所述重复行数据文件对应的数据视图。5.根据权利要求1所述的数据视图处理方法，其特征在于，所述将各所述原始数据视图转换为统一格式，得到多个第一修正数据视图，包括：通过预设逻...
【专利技术属性】
技术研发人员：邱龙根，朱家祺，冯斌，
申请(专利权)人：深圳复临科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。