一种基于元数据的数据共享自订阅处理方法及系统技术方案

本发明专利技术公开了一种基于元数据的数据共享自订阅处理方法及系统。步骤包括根据数据量级和数据类型在数据库中新建元数据模型之后在系统界面上导入元数据模型；基于元数据模型将对外共享模型发布到共享视图中；应用系统在共享视图中查看对外共享模型，进而完成订阅申请；管理员收到订阅申请后进行审批和工程配置；审批和工程配置成功后，数据按照固定的接口规范实现共享。基于元数据功能对数据的模型、字段结构、数据属性、任务发布接口进行可视化管理，实现应用系统可以通过自主订阅的方式选购数据内容。从而提高数据线上交易的自动化，缩短了应用系统的数据上线周期，解决了现阶段系统数据对外共享历时周期长及接口数据需要人工跟随高度参与的问题。

A Method and System of Data Sharing and Subscription Processing Based on Metadata

The invention discloses a metadata-based data sharing and subscription processing method and system. The steps include importing metadata model into the system interface after creating new metadata model in database according to data magnitude and data type; publishing external shared model into shared view based on metadata model; viewing external shared model in shared view by application system, and then completing subscription application; approving and engineering configuration after administrator receives subscription application; After the project configuration is successful, the data is shared according to the fixed interface specification. Based on metadata function, data model, field structure, data attributes and task publishing interface are managed visually. The application system can purchase data content by self-subscription. It improves the automation of data online transactions, shortens the data online cycle of the application system, and solves the problems of long time period for system data sharing and high degree of manual participation for interface data.

【技术实现步骤摘要】
一种基于元数据的数据共享自订阅处理方法及系统
本专利技术涉及数据的自主订阅发布和共享，尤其涉及一种基于元数据的数据共享自订阅处理方法及系统。
技术介绍
随着电信运营商网络业务的高速发展，网络网管数据呈现爆发式增涨。为保障网络质量和用户对网络高质体验，基于网管数据的业务分析和系统建设成为重点，其中取数需求成为系统建设的关键支撑点。如何快速有效的获取到高质量数据支撑应用系统快速上线，成为了电信运营商系统建设中亟待解决的问题。传统的系统建设取数需求主要存在以下两个方面问题：首先，传统的系统建设取数需求需要在线下投入很多的人力进行沟通和梳理，不光耗费巨大的时间和精力，整理出的数据内容也不佳；其次，数据需求变更的情况下需要维护多个版本的数据文档，线下管理的方式容易导致取数产生冗余和混乱，而且不能按照自主的数据需求理解取到合适的数据会延迟应用系统的上线。
技术实现思路
本专利技术的目的旨在解决现应用系统不能按照数据需求自主订阅数据支撑自身应用快速上线的问题。一方面，一种基于元数据的数据共享自订阅处理方法，该方法包括下列步骤：根据数据量级和数据类型在数据库中新建元数据模型，之后在系统界面上导入元数据模型；基于元数据模型将对外共享模型发布到共享视图中；应用系统在共享视图中查看对外共享模型，进而完成订阅申请；管理员收到订阅申请后进行审批和工程配置；审批和工程配置成功后，数据按照固定的接口规范实现共享。优选地，根据数据量级和数据类型在数据库中新建元数据模型之后，按照数据量级和数据类型将元数据模型装载到不同的数据库中。优选地，数据库中的元数据模型与系统界面上导入的元数据模型严格一致；元数据模型的属性包括：数据粒度、保存周期、发布周期、字段算法描述、额外字段集和数据过滤条件。进一步优选地，按照数据量级和数据类型将元数据模型装载到不同的数据库中，包括：轻量级数据存放在传统关系型数据库中，信令XDR和日志XDR等大数据量数据存储在HDFS和/或HBase库中。优选地，应用系统在共享视图中查看对外共享模型，进而完成订阅申请的过程包括：应用系统通过共享视图查询和检索对外共享模型，对外共享模型包括元数据模型的全部或部分内容；应用系统通过共享视图进行订阅数据或者订阅服务的订阅申请。进一步优选地，订阅数据按照数据类型和接口方式的最佳组合可分为数据订阅和服务订阅；其中，数据订阅包括基础数据订阅和汇聚数据订阅，服务订阅包括接口服务订阅，接口服务订阅包括数据接口查询和/或接口推送；其中，汇聚数据订阅按照一定的数据逻辑关联分析后以文件的方式发布或者共享。优选地，管理员收到订阅申请后进行审批和工程配置，成功后数据按照固定的接口规范实现共享的过程包括：管理员通过详细核对用户信息和填写的数据信息是否正确，确认无误后做审核通过并工程配置数据要发布的服务器，完成数据接口开放。进一步优选地，管理员对用户信息和填写的数据信息做安全共享核查，核查填写的共享数据是否已经完成安全接入授权；管理员对接口信息核查，包括ftp的接口方式填写的通知URL地址和实时推送接口方式填写的数据消息URL地址；核查之后，管理员对ftp接口方式配置服务器的ip、路径、服务器用户名和密码，实时推送和rest接口查询方式直接点击确定，完成真实数据的共享。优选地，根据数据类型以三种接口方式共享数据：ftp+web通知数据共享、rest接口查询数据共享、rest接口实时推送数据共享。另一方面，一种基于元数据的数据共享自订阅处理系统，包括：元数据功能模块，用于根据数据量级和数据类型在数据库中新建元数据模型，之后在系统界面上导入元数据模型；元数据管理模块，用于基于元数据模型将对外共享模型发布到共享视图中，供应用系统在共享视图中查看对外共享模型，进而完成订阅申请并提交管理员进行审批和工程配置；数据共享模块，用于在审批和工程配置成功后，数据按照固定的接口规范实现共享。本专利技术的优点在于：通过导入模型并装载数据，使数据纳入到元数据模块中进行管理，通过检索元模型、元数据名称、元数据目录路径、元数据属性等关键字，用户在系统界面上可以随时查看模型结构及详细的字段说明，快速定位到需要的数据模型。自主选取需要的元数据字段和模型，点击确定完成数据信息的申请，管理员审核检查申请的数据信息后，做审批和工程服务的配置，配置完成后数据按照固定的数据接口方式发布数据到服务器上或者开放rest数据服务接口。应用系统一键式数据订阅申请，缩短上线周期让数据交易自由化；一键式数据审批和配置，数据共享快速便捷化。附图说明为了更清楚说明本专利技术实施例的技术方案，下面将对实施例描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一种基于元数据的数据共享自订阅处理方法的流程图；图2为一种基于元数据的数据共享自订阅处理系统的框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为一种基于元数据的数据共享自订阅处理方法的流程图。如图1所示，一种基于元数据的数据共享自订阅处理方法包括下列步骤：步骤S101：根据数据属性采用不同技术手段建表：Hadoop库中hive表、关系型数据库表、HBase库表。根据数据量级和数据类型在数据库中新建元数据模型，之后在系统界面上导入元数据模型，且数据库中的元数据模型与系统界面上导入的元数据模型严格一致；通过morphline框架对数据清洗和转换，对不符合数据类型的脏数据剔除，同时做数据格式上的归一化。正确完整的数据通过后台load命令入到数据库，保证数据的可靠性。其中，元数据模型的属性包括：数据粒度、保存周期、发布周期、字段算法描述、额外字段集和数据过滤条件。按照数据量级和数据类型将元数据模型装载到不同的数据库中，主要为了选择数据最佳的存储方式，以保障数据的高质量存储及订阅后数据共享的及时性，例如：轻量级数据存放在传统关系型数据库中，信令XDR和日志XDR等大数据量数据存储在HDFS和/或HBase库中。其中，根据数据类型以三种接口方式共享数据：ftp+web通知数据共享、rest接口查询数据共享、rest接口实时推送数据共享。步骤S102：基于元数据模型将对外共享模型发布到共享视图中。对外共享模型包括全部或部分元数据模型的内容。步骤S103：应用系统在共享视图中查看对外共享模型，应用系统可以登录界面上的共享视图查看对外共享模型的属性、字段内容和算法，应用系统可以单个字段选择并且对可过滤的字段的内容选择是否过滤，保障满足自主数据需求节省空间资源，进而完成订阅申请。具体为：应用系统通过共享视图查询和检索对外共享模型，应用系统通过共享视图进行订阅数据或者订阅服务的订阅申请。订阅数据按照数据类型和接口方式的最佳组合可分为数据订阅和服务订阅；其中，数据订阅包括基础数据订阅和汇聚数据订阅，具体地，基础数据订阅包含实时告警订阅和f本文档来自技高网...

【技术保护点】
1.一种基于元数据的数据共享自订阅处理方法，其特征在于，该方法包括下列步骤：根据数据量级和数据类型在数据库中新建元数据模型，之后在系统界面上导入元数据模型；基于所述元数据模型将对外共享模型发布到共享视图中；应用系统在所述共享视图中查看所述对外共享模型，进而完成订阅申请；管理员收到所述订阅申请后进行审批和工程配置；所述审批和工程配置成功后，数据按照固定的接口规范实现共享。

【技术特征摘要】
1.一种基于元数据的数据共享自订阅处理方法，其特征在于，该方法包括下列步骤：根据数据量级和数据类型在数据库中新建元数据模型，之后在系统界面上导入元数据模型；基于所述元数据模型将对外共享模型发布到共享视图中；应用系统在所述共享视图中查看所述对外共享模型，进而完成订阅申请；管理员收到所述订阅申请后进行审批和工程配置；所述审批和工程配置成功后，数据按照固定的接口规范实现共享。2.根据权利要求1所述的方法，其特征在于，所述根据数据量级和数据类型在数据库中新建元数据模型之后，按照数据量级和数据类型将所述元数据模型装载到不同的数据库中。3.根据权利要求1所述的方法，其特征在于，所述数据库中的元数据模型与所述系统界面上导入的元数据模型严格一致；所述元数据模型的属性包括：数据粒度、保存周期、发布周期、字段算法描述、额外字段集和数据过滤条件。4.根据权利要求2所述的方法，其特征在于，所述按照数据量级和数据类型将所述元数据模型装载到不同的数据库中，包括：轻量级数据存放在传统关系型数据库中，信令XDR和日志XDR等大数据量数据存储在HDFS和/或HBase库中。5.根据权利要求1所述的方法，其特征在于，所述应用系统在所述共享视图中查看所述对外共享模型，进而完成订阅申请的过程包括：应用系统通过共享视图查询和检索对外共享模型，所述对外共享模型包括元数据模型的全部或部分内容；应用系统通过共享视图进行订阅数据或者订阅服务的订阅申请。6.根据权利要求1或5任一权利要求所述的方法，其特征在于，所述订阅数据按照数据类型和接口方式的最佳组合可分为数据订阅和服务订阅；其中，数据订阅包括基础数据订阅和汇聚数据订阅，...

【专利技术属性】
技术研发人员：许留奇，孙坚，殷克宁，段建平，
申请(专利权)人：杭州东方通信软件技术有限公司，
类型：发明
国别省市：浙江,33