System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于数据运营技术的数据资产自动生成与管理系统技术方案_技高网

一种基于数据运营技术的数据资产自动生成与管理系统技术方案

技术编号:43343000 阅读:19 留言:0更新日期:2024-11-15 20:39
本发明专利技术公开了一种基于数据运营技术的数据资产自动生成与管理系统,包括1)基于元数据完成数据流的搭建,形成一个面向应用场景的逻辑数据资源集合,并通过配置质量检验规则对逻辑数据资源进行质量检验;2)结合元数据的格式信息以及采样方式,确定逻辑数据资源的类型和分类分级策略,进行最终的数据分类分级识别;3)对于已聚合且已进行质量检验与分类分级的逻辑数据资源,通过将其数据查询接口配置具体产品信息,构建出具有资产化价值的数据产品;4)通过成本评估、收益评估、交易评估对数据产品进行价值评估,并以数据资源为单位进行资产化配置;5)定期打包并生成数据资源,并对当前生效的数据资产进行全局统计与管理。

【技术实现步骤摘要】

本专利技术涉及数字经济领域,尤其涉及到一种基于数据运营技术的数据资产自动生成与管理系统


技术介绍

1、数据资产化,是指数据从原始数据逐步转变为数据资产的过程。从数据资产的形成过程来看,数据资产化是围绕数据的价值创造活动,包括数据采集、加工、治理、开发以及交易等诸多环节和流程,最终目的是推动原始数据向数据资产转化,激发和释放数据价值潜能。

2、现有数据资产化主要采用垂直领域数据价值评估与资产化方式,主要面向医疗、消费、金融等垂直领域,主要关注数据资产的管理、估价与流通,通过需求调研与专家评审,制定出满足该垂直领域所需的数据资产分类与估价方法的通用标准,并提供对应软件平台设施,面向相关主体提供数据资产的统一管理与流通功能。此类软件平台设施通常采用区块链或其他确权手段,业内企业、组织与个人可按照该标准梳理自有数据并上传至软件平台设施,依托平台进行后续数据资产的流通交易。

3、现有垂直领域数据价值评估与资产化方式未能完全解决数据要素资产化难点与痛点,现存问题如下:

4、1)泛用性缺乏。通过对领域内普遍情况的提炼与总结,可确保该方式能够满足大部分常见场景,但难以兼容边缘情况,对于具有特殊业务需求或分属不同子类的企业和组织,其数据的类型、数据项组成情况、特征采样可能与通用标准存在无法调和的偏差,无法完全适用统一标准;

5、2)数据准备困难。现有方法通常依赖人工或通过数据中台聚合与加工形成符合标准的数据资产以上传至软件平台,此过程不仅强依赖数据处理能力和设施,还需要投入大量时间与人力,相关人员需要定期梳理新产生的数据资源并上传,且因大量部落知识与数据孤岛的存在,企业管理者或员工难以确保数据的全面性与实时性;

6、3)拓展优化困难。随着行业发展、技术进步与数据要素的价值不断开发,依托个体或团体对各个垂直领域数据资产统一标准的调研与制定不仅需要耗费大量成本,而且还对各参与方在标准更新内容的认知程度上有对齐要求,否则易产生因误解而造成的数据资产内容与价值评估偏差。

7、因此,有必要对上述现有技术进行改善,以克服上述缺陷。


技术实现思路

1、本专利技术的目的是提供一种基于数据运营技术的数据资产自动生成与管理系统,可利用该系统完成从原始数据到数据资产的全链演进与管理,通过基于人工智能的流程搭建与调度,减少数据资产化所需时间、人力、资金投入。此外,本专利技术中构建的垂域大模型与行业机理知识图谱,还能解决企业在对数据资产化相关知识了解不足时,高效、精确的进行数据资产的发现、建设与管理问题,进而帮助企业提供全链路的自动化操作辅助与决策建议。通过可自主微调的大模型和智能完善的知识图谱,确保相关知识与机制可随用户使用不断优化完善,妥善解决边缘情况并适应环境变化。

2、本专利技术的上述技术目的是通过以下技术方案实现的:

3、一种基于数据运营技术的数据资产自动生成与管理系统,包括如下功能模块:

4、1)数据流编排与质量控制:根据数据需求与应用场景,基于元数据完成数据流的搭建,形成一个面向应用场景的逻辑数据资源集合,并通过配置质量检验规则对逻辑数据资源进行质量检验;

5、2)数据分类分级识别:结合元数据的格式信息以及采样方式,确定逻辑数据资源的类型和分类分级策略;根据自身所处行业及地区选择需要遵循的数据清单范围,进行最终的数据分类分级识别;

6、3)流通交易:对于已聚合且已进行质量检验与分类分级的逻辑数据资源,通过将其数据查询接口配置具体产品信息,构建出具有资产化价值的数据产品;

7、4)价值评估:通过成本评估、收益评估与交易评估三种方式对数据资产进行估价,并以数据资源为单位进行资产化配置;

8、5)资产生成与入表:自动定期打包并生成数据资源,并对当前生效的数据资产进行全局统计与管理。

9、进一步的,所述数据流编排与质量控制的方法如下:

10、1.1)元数据摄取:通过配置协议类型、连接位置和鉴权信息,添加待管理的用户文件、数据库数据、信息系统数据、物联网边缘设备实时信息,系统自动连接并扫描目标位置中的所有可读内容,并对每条可读内容记录对应存储位置和显性特征;

11、1.2)语义信息捕获:利用经过任务微调的大模型,对当前已采集内容进行语义解析;任务微调采用迁移学习方法,在大规模通用语料基础上,针对数据类型及语义需求进行监督学习调整;

12、1.3)智能辅助的拖拽式数据流构建:当用户构建数据流时,通过多层次的智能推荐和交互式构建功能,帮助用户迅速完成数据流的搭建;

13、1.4)数据资源建设与质量管理:数据流构建完成后系统会将数据流的配置与连接情况生成逻辑数据资源集合,并呈现在用户界面中。

14、进一步的,所述数据分类分级识别的方法如下:

15、2.1)根据逻辑数据资源的格式,确定对应的分类分级识别策略和对象;

16、2.2)明确分类分级识别策略和对象后,选择需要遵循的数据清单范围;

17、2.3)通过经过特定任务微调的垂直领域大模型智能体,执行分类分级识别。

18、进一步的,所述流通交易的方法如下:

19、3.1)对于已完成质量检验规则和分类分级识别配置的数据资源,通过将其数据查询接口配置具体产品信息,构建出具有资产化价值的数据产品;

20、3.2)采用实时推荐算法,根据用户的历史行为、偏好以及当前需求,向用户推荐最适合的数据产品;

21、3.3)收录所有数据产品的描述信息,进行数据产品的匹配和搜索,确定数据产品后,采用线下商务流程或线上交易的方式进行交易;

22、3.4)记录交易的情况,包括交易发生时间、交易双方信息、交易类型信息、以及对查询结果的采样与存证,满足对于数据交易过程的存证,确保后续的追溯能力。

23、进一步的,所述价值评估的方法如下:

24、4.1)权属确认:用户首先需要确认并声明其对待生成的数据资产的权属情况。

25、4.2)成本归集:系统允许用户详细配置数据资源从生成到维护的各个步骤的成本。

26、4.3)收益测算:通过实时统计和分析功能,综合评估数据资源对企业经营和整体业务的价值贡献。

27、4.4)交易统计:系统能够全面统计数据资源在平台上的交易情况,包括历史交易频次、交易价格以及未来交易预期。

28、进一步的,所述资产生成与入表的方法如下:

29、5.1)资产配置:根据自身需求,对系统内的数据资源进行资产化配置;

30、5.2)自动打包待审核资产:从原始数据中提取周期内的新增内容,并将其打包成静态、不可变更的待审核数据资产;

31、5.3) 数据资产审核:采用基于bootstrap采样的随机森林算法分析历史审核记录和数据资产的特征,自动对待审核的数据资产进行初步分类和评分,并为用户提供审核建议;

32、本文档来自技高网...

【技术保护点】

1.一种基于数据运营技术的数据资产自动生成与管理系统,其特征在于,包括如下功能模块:

2.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述数据流编排与质量控制的方法如下:

3.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述数据分类分级识别的方法如下:

4.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述流通交易的方法如下:

5.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述价值评估的方法如下:

6.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述资产生成与入表的方法如下:

7.根据权利要求2所述的基于数据运营技术的数据资产自动生成与管理系统,所述步骤1.2)中大模型的任务微调方法如下:

8.根据权利要求2所述的基于数据运营技术的数据资产自动生成与管理系统,所述步骤1.3)中智能辅助的拖拽式数据流构建方法如下:

9.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,所述通过配置质量检验规则对逻辑数据资源进行质量检验的方法如下:

10.根据权利要求3所述的基于数据运营技术的数据资产自动生成与管理系统,所述步骤2.3)数据分类分级识别的方法如下:

11.根据权利要求5所述的基于数据运营技术的数据资产自动生成与管理系统,所述成本归集的方法如下:

12.根据权利要求6所述的基于数据运营技术的数据资产自动生成与管理系统,所述自动打包待审核资产的方法如下:

13.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,还包括动态大模型接入与智能体构建及管理模块,其实现步骤如下:

14.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,还包括可自主智能融合成长的知识图谱,其实现步骤如下:

...

【技术特征摘要】

1.一种基于数据运营技术的数据资产自动生成与管理系统,其特征在于,包括如下功能模块:

2.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述数据流编排与质量控制的方法如下:

3.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述数据分类分级识别的方法如下:

4.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述流通交易的方法如下:

5.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述价值评估的方法如下:

6.根据权利要求1所述的基于数据运营技术的数据资产自动生成与管理系统,其特征在于,所述资产生成与入表的方法如下:

7.根据权利要求2所述的基于数据运营技术的数据资产自动生成与管理系统,所述步骤1.2)中大模型的任务微调方法如下:

8.根据权利要求2所述的基于数据运营技术的数...

【专利技术属性】
技术研发人员:陈刚王旭飞王明浩赵凯
申请(专利权)人:中云开源数据技术上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1