一种数据资产管理和可视化的方法和系统技术方案

本发明专利技术公开一种数据资产管理和可视化的方法和系统，自动收集数据资产信息以便进而对数据资产进行管理，数据资产信息包括数据基础信息、数据动态信息、数据安全信息和数据价值信息；然后依次进行数据资产信息管理、数据资产目录管理、数据资产标签管理、数据资产价值管理；使用仪表盘形式将数据资产总览，使用图表和动画结合展示全链路数据资产动态信息，按照目录检索数据资产，以及查看某一具体数据资产的详细信息。本发明专利技术收集到全面的数据资产相关信息，对数据资产和数据资产的相关信息进行全面的可视化分析和展示，方便地估算数据资产的价值。的价值。的价值。

【技术实现步骤摘要】
一种数据资产管理和可视化的方法和系统


[0001]本专利技术涉及数据管理技术，具体涉及一种数据资产管理和可视化的方法和系统。

技术介绍

[0002]目前，大数据存储技术、ETL和调度、数据质量管理、数据安全管理、即席分析和查询、数据API服务等大数据技术都发展的相对成熟，行业中已有成熟的解决方案、平台和系统。各行各业都已经认知到数据的价值。许多的企业和政府机构都已经建立起了自己的大数据平台，大数据平台集成了前述大数据相关技术和管理功能，实现了大数据的存储、计算和分析，使得数据能够准确、安全、方便的被使用，这一步实现了数据的系统化管理、分析和应用。在数据系统化的基础上，进一步地，随着海量数据的汇聚和使用，我们又开始思考，我们拥有哪些数据，这些数据除了目前的应用，还能扩展到其它应用吗？这个问题的核心其实是数据的价值，数据资产管理的本质就是为了解决数据价值化的问题。
[0003]当前，常见数据资产管理主要实现了数据资产收集、数据资产分类、可按照分类查看相关数据资产、可根据关键字检索数据资产。
[0004]当前存在的问题有：1)资产信息收集不全：当前数据资产管理系统中主要收集的是数据资产的基本信息，如：数据表、字段、所属系统、创建日期、创建人等，而数据在不断地产生和变化，数据的数据质量、更新状态等信息也是随之而不断变化的，且这些信息影响着数据资产能否被使用或应用，影响着数据资产的价值。较完整的数据资产信息应包括：数据基本信息、数据安全信息、数据动态信息(如：数据质量、数据更新频率或速度、数据血缘、数据使用量等)、资产价值信息(价值、成本)。2)由于资产信息收集不全，因此在资产展示时也未能一目了然的将数据资产的相关信息都展示给用户；另外目前数据资产展示方式较为单一，使用者只能按照分类或关键词检索，相当于只提供了一个数据查询功能，不能让使用者更加直观、便捷地查看到资产概况，了解资产详细情况。3)缺乏资产价值管理功能。价值是数据作为资产进行管理的核心，数据资产价值管理是数据资产管理的核心功能。
[0005]因此，需要设计一种更加完善的数据资产管理的技术方案和可视化方法，能够为用户提供完善的数据资产信息，让客户能够直观了解数据资产的基本情况和动态信息，解决资产信息收集不全、缺乏资产价值管理和数据资产展示不直观等问题。

技术实现思路

[0006]专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种数据资产管理和可视化的方法和系统，不仅能够对数据进行归档、目录管理，更重在评估数据真实价值，充分考虑了数据的基础信息、动态信息(含数据规模、数据质量、数据应用等情况)、安全信息、价值信息；同时提供方便直观的数据资产展示方法以及相应的系统。
[0007]技术方案：本专利技术的一种数据资产管理和可视化的方法，其特征在于，包括以下步骤：
[0008]步骤S1、自动收集数据资产信息以便进而对数据资产进行管理，数据资产信息包
括数据基础信息、数据动态信息、数据安全信息和数据价值信息；
[0009]所述数据基础信息是指数据和数据本身的属性信息；所述数据动态信息是指数据在产生、存储、使用中的会动态变化的信息；所述数据安全信息是指与数据安全相关的信息；所述数据价值信息是指描述数据成本和价值的相关信息；
[0010]步骤S2、数据资产管理，依次包括数据资产信息管理、数据资产目录管理、数据资产标签管理、数据资产价值管理；
[0011]所述数据资产信息管理：为保证数据资产信息的准确信，收集到的所有信息进行人工审核和确认，如果有遗漏、缺失或者错误，要进行人工处理；数据资产目录管理是指收集到的数据资产要进行按目录分类；所述数据资产标签管理是指将数据资产标签分为公共标签和用户标签，公共标签可以作为一个数据资产的唯一身份标识，公共标签的建立、修改和删除需要由数据资产标签管理员进行审核，审核通过后方能执行相应的操作；所述数据资产价值管理是指对数据资产的成本和价值相关的信息进行管理，分为成本管理和价值管理；
[0012]步骤S3、数据资产可视化，包括使用仪表盘形式将数据资产总览，使用图表和动画结合展示全链路数据资产动态信息，按照目录检索数据资产，以及查看某一具体数据资产的详细信息；
[0013]站在应用的角度将数据资产及其相关信息直观地展示在用户面前，让用户能够一目了然地、便捷地了解和掌握数据资产情况；；
[0014]进一步地，所述步骤S1的数据资产信息具体如下：
[0015]所述数据基础信息包括数据表和字段、所属系统、创建日期、创建者、数据血缘信息，数据基础信息存储于数据库，其可自动从元数据中获取；
[0016]所述数据动态信息包括数据规模、数据更新速度、数据质量情况(数据质量级别)、数据应用情况；从大数据存储平台、调度平台、数据质量平台中自动获取数据动态信息；
[0017]所述数据安全信息包括数据安全分级、数据脱敏情况、数据审批情况、数据使用监测信息；从数据安全管理平台中自动获取数据安全信息；
[0018]所述数据价值信息包括采集成本、开发成本、存储成本、维护成本信息。
[0019]进一步地，所述步骤S2中数据资产目录管理时，首先建立目录体系，目录体系的建立根据具体应用要求进行建立；目录体系建立好之后，将所有的数据资产进行梳理，对应到相应的目录之下。
[0020]进一步地，所述步骤S2中数据资产标签管理过程中，用户标签由用户根据自己的使用需求自行定义，用户标签只有用户自己看得到，用户标签便于用户根据自己的需要对资产进行分类和标识。
[0021]进一步地，所述步骤S2数据资产价值管理中的数据资产成本管理是对数据资产的采集成本、开发成本、存储成本、维护成本进行管理；采集成本、开发成本和维护成本都可以用数据在采集、开发或维护时所投入的人力和物力进行估算。存储成本则可以按照占用的存储空间和存储介质的价格进行估算；数据资产成本＝采集成本+开发成本+存储成本+维护成本；
[0022]另外，数据资产价值管理时，首先对数据资产的价值进行评估，把价值数字化后才能便于应用。数据资产的价值可以用数据资产成本和数据资产的附加价值进行衡量。数据
资产的附加价值是指数据资产能给拥有者带来的价值的大小。数据资产的附加价值使用专家打分法进行估算。影响数据资产附加价值的因素多而复杂，比如数据量、数据质量等，而且各因素的重要性也在实时变化，使用数学模型或算法进行定价，可能会得到一个很复杂的模型而且而且最终模型估算出来的价格可能会无法解释，不能投入使用。为了便捷定价和实际应用，使用专家打分法估算数据资产的附加价值是一种较为合适的方法。
[0023]进一步地，所述步骤S3数据资产可视化具体包括以下内容：
[0024]1)数据资产总览：使用仪表盘的形式，全面展示数据资产的概况。包括：数据资产总量(数据表数量、标签数量、总数据量、存储空间使用量)、数据资产使用率(被使用的数据资产数量在数据资产总量中的占比)、各目录下的数据资产数量(数据表数量、标签数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据资产管理和可视化的方法，其特征在于，包括以下步骤：步骤S1、自动收集数据资产信息以便进而对数据资产进行管理，数据资产信息包括数据基础信息、数据动态信息、数据安全信息和数据价值信息；所述数据基础信息是指数据和数据本身的属性信息；所述数据动态信息是指数据在产生、存储、使用中的会动态变化的信息；所述数据安全信息是指与数据安全相关的信息；所述数据价值信息是指描述数据成本和价值的相关信息；步骤S2、数据资产管理，依次包括数据资产信息管理、数据资产目录管理、数据资产标签管理、数据资产价值管理；所述数据资产信息管理是指收集到的所有信息进行人工审核和确认，如果有误则进行人工处理；数据资产目录管理是指收集到的数据资产要进行按目录分类；所述数据资产标签管理是指将数据资产标签分为公共标签和用户标签，公共标签可以作为一个数据资产的唯一身份标识，公共标签的建立、修改和删除需要由数据资产标签管理员进行审核，审核通过后方能执行相应的操作；所述数据资产价值管理是指对数据资产的成本和价值相关的信息进行管理，分为成本管理和价值管理；步骤S3、数据资产可视化，包括使用仪表盘形式将数据资产总览，使用图表和动画结合展示全链路数据资产动态信息，按照目录检索数据资产，以及查看某一具体数据资产的详细信息。2.根据权利要求书1所述的数据资产管理和可视化的方法，其特征在于，所述步骤S1的数据资产信息具体如下：所述数据基础信息包括数据表和字段、所属系统、创建日期、创建者、数据血缘信息，数据基础信息存储于数据库，其可自动从元数据中获取；所述数据动态信息包括数据规模、数据更新速度、数据质量情况、数据应用情况；从大数据存储平台、调度平台、数据质量平台中自动获取数据动态信息；所述数据安全信息包括数据安全分级、数据脱敏情况、数据审批情况、数据使用监测信息；从数据安全管理平台中自动获取数据安全信息；所述数据价值信息包括采集成本、开发成本、存储成本、维护成本信息。3.根据权利要求书1所述的数据资产管理和可视化的方法，其特征在于，所述步骤S2中数据资产目录管理时，首先建立目录体系，目录体系的建立根据具体应用要求进行建立；目录体系建立好之后，将所有的数据资产进行梳理，对应到相应的目录之下。4.根据权利要求书1所述的数据资产管理和可视化的方法，其特征在于，所述步骤S2中数据资产标签管理过程中，用户标签由用户根据自己的使用需求自行定义，用户标签只有用户自己看得到，用户标签便于用户根据自己的需要对资产进行分类和标识。5.根据权利要求书1所述的数据资产...

【专利技术属性】
技术研发人员：黄建鹏，陈静，陈伟，
申请(专利权)人：苏州市盛溢民防建设工程有限公司，
类型：发明
国别省市：