生成结构化数据资产的方法、装置制造方法及图纸

本申请实施例提供了一种生成结构化数据资产的方法、装置，方法包括：基于设定的数据采集模型，从多数据源采集待结构化的源数据；根据设定的资产盘点模型，对所述待结构化的源数据进行盘点处理，以建立待结构化的源数据的类别映射关系；根据设定的资产标签，对所述映射关系中的每一类待结构化的源数据进行结构化处理，以得到结构化数据资产并存储到结构化数据库中，降低了数据资产的生产难度。降低了数据资产的生产难度。降低了数据资产的生产难度。

【技术实现步骤摘要】
生成结构化数据资产的方法、装置


[0001]本申请涉及大数据
，特别是涉及一种生成结构化数据资产的方法、装置。

技术介绍

[0002]大数据的到来，数据的价值越来凸显化，因此，如果能够对海量数据进行挖掘好，能够提供极有价值的客观依据，使得数据成为重要的资产。
[0003]但是，现有技术中，产生数据的数据源数量较大，且各个数据源产生的数据在格式化纷繁复杂，现有技术中，往往是通过手工标定，然后据此进行后续的处理过程，导致形成数据资产的难度较大。

技术实现思路

[0004]基于上述问题，本申请实施例提供了一种生成结构化数据资产的方法、装置。
[0005]本申请实施例公开了如下技术方案：
[0006]一种生成结构化数据资产的方法，其包括：
[0007]基于设定的数据采集模型，从多数据源采集待结构化的源数据；
[0008]根据设定的资产盘点模型，对所述待结构化的源数据进行盘点处理，以建立待结构化的源数据的类别映射关系；
[0009]根据设定的资产标签，对所述映射关系中的每一类待结构化的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成结构化数据资产的方法，其特征在于，包括：基于设定的数据采集模型，从多数据源采集待结构化的源数据；根据设定的资产盘点模型，对所述待结构化的源数据进行盘点处理，以建立待结构化的源数据的类别映射关系；根据设定的资产标签，对所述映射关系中的每一类待结构化的源数据进行结构化处理，以得到结构化数据资产并存储到结构化数据库中。2.根据权利要求1所述的方法，其特征在于，所述基于设定的数据采集模型，从多数据源采集待结构化的源数据，包括：基于设定的定时轮询采集模型，按照设定的采集间隔和单次采集数据量阈值，从多数据源采集待结构化的源数据，所述定时轮询采集模型作为所述数据采集模型。3.根据权利要求1所述的方法，其特征在于，所述基于设定的数据采集模型，从多数据源采集待结构化的源数据，包括：基于设定的数据反爬采集模型，在每次采集时生成虚拟的用户登录信息以创建用户登录态，以从多数据源采集待结构化的源数据。4.根据权利要求1所述的方法，其特征在于，所述根据设定的资产盘点模型，对所述待结构化的源数据进行盘点处理，以建立待结构化的源数据的类别映射关系，包括：根据设定的资产盘点模型，对所述待结构化的源数据进行去重处理，以建立待结构化的源数据的类别映射关系。5.根据权利要求1所述的方法，其特征在于，所述根据设定的资产标签，对所述映射关系中的每一类待结构化的源数据进行结构化处理，以得到结构化数据资产并存储到结构化数据库中，包括...

【专利技术属性】
技术研发人员：解培，阮安邦，魏明，陈凯，张先强，
申请(专利权)人：北京八分量信息科技有限公司，
类型：发明
国别省市：