【技术实现步骤摘要】
本专利技术涉及数据可视化，具体涉及一种基于场景数据集的生成系统及方法。
技术介绍
1、在数据可视化中的一些场景下，可能需要把不同的数据进行关联和组合后再进行展示，而这个数据关联和组合后形成的新的数据集合，就可以称之为数据集。
2、现有的数据共享实际场景中，数据和数据共享与数据的实际应用是割裂的，数据共享过程不但不容易判别数据的质量，并且数据的场景适配性也难以估计，因而数据的使用效果往往滞后于数据共享过程，降低了数据共享的效率并且不利于后期的数据高质量应用。其主要表现是：1)通常情况下数据共享实施前，往往缺乏适配场景特性的数据集，对目标数据集的场景适配性是未知的，缺乏一体快速的的获取和验证的方式方法。2)通常情况下数据共享过程中，往往缺少一体化的场景特性数据集的自动生成工具或系统，从数据共享需求到数据共享实施的过程割裂，影响了数据共享质量和实施效率。3)场景适配的数据集的生成，从数据共享流通的视角设计，较少考虑业务领域相关性，保持更好的数据集场景适配的规范性和通用性，才能够具有更广泛的业务应用领域。
技术实现思路
1、针对现有技术中缺少一体化的场景特性数据集的自动生成工具或系统，使得从数据共享需求到数据共享实施的过程割裂，从而影响了数据共享质量和实施效率的不足，本专利技术提出一种基于场景数据集的生成系统及方法，依据目标数据以及目标数据的检测质量结果、数据集场景，生成场景化数据集，一体化实现数据在线检测和数据集标准化生成，有效提升数据集表征的科学性和共享实施效率，从而解决现
2、一种基于场景数据集的生成系统，包括：
3、数据采集模块，用于通过数据源连接接口信息获取目标数据；
4、数据检测模块，用于对目标数据进行数据检测，获取目标数据的检测质量结果；
5、数据集属性标记模块，用于根据数据业务名称、数据来源、数据管理者、数据更新时间和数据等级确定数据集业务属性标记；根据数据使用目的、数据使用者和数据使用有效期确定数据集需求属性标记；
6、数据集场景识别模块，用于根据确定的数据集业务属性标记与数据集需求属性标记识别数据集场景；
7、场景数据集生成模块，用于依据目标数据以及目标数据的检测质量结果、数据集场景，生成场景化数据集。
8、进一步地，所述数据源连接接口信息为jdbc或restfulapi类型。
9、进一步地，所述对目标数据进行数据检测包括全集检测和采样检测；所述全集检测包括数据量n检测、数据属性量nf检测和数据更新时间；所述采样检测包括数据规范性、数据完整性、数据准确性、数据一致性和数据时效性。
10、进一步地，所述数据检测模块还用于反馈数据的检测质量结果dq和数据量、数据更新时间。
11、进一步地，所述数据采集模块还用于反馈数据源的可访问性。
12、进一步地，一种基于场景数据集的生成方法，包括以下步骤：
13、通过数据源连接接口信息获取目标数据；
14、对目标数据进行数据检测，获取目标数据的检测质量结果；
15、根据数据业务名称、数据来源、数据管理者、数据更新时间和数据等级确定数据集业务属性标记；
16、根据数据使用目的、数据使用者和数据使用有效期确定数据集需求属性标记；
17、根据确定的数据集业务属性标记与数据集需求属性标记识别数据集场景；
18、依据目标数据以及目标数据的检测质量结果、数据集场景，生成场景化数据集。
19、本专利技术提供了一种基于场景数据集的生成系统及方法，具备以下有益效果：
20、本专利技术预定义通用场景数据集模型，实现对数据共享场景化建模表征，提升数据数据集表征和共享实施的规范性；依据数据集场景模型，一体化实现数据在线检测和数据集标准化生成，有效提升数据集表征的科学性和共享实施效率；同时自动生成场景化数据集结果，实现对目标数据集共享结果的预估，使得生成的发布数据集实现有质量保障的数据共享，提升目标数据集的使用可靠性。
本文档来自技高网...【技术保护点】
1.一种基于场景数据集的生成系统，其特征在于，包括：
2.根据权利要求1所述的一种基于场景数据集的生成系统及方法，其特征在于，所述数据源连接接口信息为jdbc或RestfulApi类型。
3.根据权利要求1所述的一种基于场景数据集的生成系统及方法，其特征在于，所述对目标数据进行数据检测包括全集检测和采样检测；所述全集检测包括数据量N检测、数据属性量NF检测和数据更新时间；所述采样检测包括数据规范性、数据完整性、数据准确性、数据一致性和数据时效性。
4.根据权利要求1所述的一种基于场景数据集的生成系统及方法，其特征在于，所述数据检测模块还用于反馈数据的检测质量结果DQ和数据量、数据更新时间。
5.根据权利要求1所述的一种基于场景数据集的生成系统及方法，其特征在于，所述通过数据源连接接口信息获取目标数据，包括数据源的可访问性、数据源的不可访问性和目标数据源。
6.根据权利要求5所述的一种基于场景数据集的生成系统及方法，其特征在于，所述数据采集模块还用于反馈数据源的可访问性。
7.根据权利要求1所述的一种基于场景数
8.一种基于场景数据集的生成方法，其特征在于，包括以下步骤：
...【技术特征摘要】
1.一种基于场景数据集的生成系统，其特征在于，包括：
2.根据权利要求1所述的一种基于场景数据集的生成系统及方法，其特征在于，所述数据源连接接口信息为jdbc或restfulapi类型。
3.根据权利要求1所述的一种基于场景数据集的生成系统及方法，其特征在于，所述对目标数据进行数据检测包括全集检测和采样检测；所述全集检测包括数据量n检测、数据属性量nf检测和数据更新时间；所述采样检测包括数据规范性、数据完整性、数据准确性、数据一致性和数据时效性。
4.根据权利要求1所述的一种基于场景数据集的生成系统及方法，其特征在于，所述数据检测模块还用于反馈数据的检测质量结果dq...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。