本发明专利技术公开了一种基于动态评估的数据探查方法和装置，通过根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查，得到第一探查结果；对第一探查结果进行评估，得到评估结果，根据评估结果对探查流程进行动态调整，获得动态匹配的探查规则，并通过探查规则获得第二探查结果；计算第二探查结果的有效探查项比例，根据有效探查比例判断探查规则的有效性，对第二探查结果进行确认以获得最终探查结果。通过动态调整数据探查的操作路径，实现不同类型数据的自动探查工作，提高数据探查的工作效率，结合不同的数据源和探查结果，智能推荐探查结果，实现所有接入数据源的自动探查工作，高效支撑各种不同数据源的探查，提升大数据智能化接入效率。
【技术实现步骤摘要】
基于动态评估的数据探查方法和装置
本专利技术涉及视频结构化领域，具体涉及一种基于动态评估的数据探查方法和装置。
技术介绍
随着社会进入大数据时代，各种大数据系统需要接入不同行业、多种多样的数据源的原始数据，只有探查清楚数据源的存储位置、提供方式、总量及更新情况、业务含义、数据结构、数据质量等信息，才能让大数据系统真正认识数据，更好地接入数据，所以如何快速准确地探查清楚各个数据源的详细信息，并基于探查结果自动调整数据接入策略，成为大数据建设成败和提高大数据利用价值的核心点。由于大数据系统接入的原始数据的种类多、结构复杂等特点，目前市场上现有的数据探查方法，主要通过手工填写模板进行数据源信息的登记工作，这些技术存在以下不足：1)数据探查的方式，通过手工配置的方式完成信息登记，工作量大，探查的时效性差，且由于需要探查的数据项多，经常存在少填、漏填或填写错误等问题。2)数据探查的范围，只能针对有维护厂家支撑的数据源进行信息登记，无法全面覆盖所有接入数据源的探查工作。有鉴于此，建立一种新型的数据探查方法和装置是非常具有意义的。
技术实现思路
针对上述提到的探查数据量大、效率低、工作量大、时效性差，并且无法全面覆盖等问题。本申请的实施例的目的在于提出了一种基于动态评估的数据探查方法和装置来解决以上
技术介绍
部分提到的技术问题。第一方面，本申请的实施例提供了一种基于动态评估的数据探查方法，包括以下步骤：S1：根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查，得到第一探查结果；S2：对第一探查结果进行评估，得到评估结果，根据评估结果对探查流程进行动态调整，获得动态匹配的探查规则，并通过探查规则获得第二探查结果；以及S3：计算第二探查结果的有效探查项比例，根据有效探查比例判断探查规则的有效性，对第二探查结果进行确认以获得最终探查结果。通过动态调用不同数据源的探查引擎、动态调整数据源的探查路径，最后智能推荐探查结果，提升大数据智能化接入的工作效率。在一些实施例中，步骤S1具体包括：S11：建立类型规则库，分析数据源的特征并结合类型规则库的特征权重计算得到特征与类型规则库的相似度，得到数据源的类型；S12：建立引擎资源目录和探查规则库，根据数据源的类型结合探查规则库得到探查关联引擎集合，基于引擎资源目录调取探查关联引擎集合中的探查引擎进行数据探查，得到第一探查结果；以及S13：根据第一探查结果更新探查规则库。针对不同类型的数据源及不同的维度建立探查规则库，通过引擎动态匹配算法分析不同数据源的特征自动匹配调动相应的探查引擎，根据第一探查结果更新探查规则库，循环提高不同场景下不同数据探查的动态匹配能力。在一些实施例中，步骤S11具体包括：判断相似度是否超过第一阈值，若超过，则判定数据源为类型规则库中的已知类型，通过已知类型的连接测试方式对数据源进行连接测试验证，验证通过后则认定已知类型为数据源的类型。通过数据源的特征与类型规则库的相似度进行探查引擎动态匹配，选择合适的探查引擎进行数据探查，提高复杂场景下不同数据源的探查准确率。在一些实施例中，引擎资源目录通过不同类型的数据源及其对应的不同维度的探查引擎注册形成。通过将不同数据类型的不同维度探查引擎注册成引擎资源目录，可形成全局性的引擎插件式服务，适用于各种不同的场景。在一些实施例中，类型规则库通过获取不同类型的数据源及其对应的特征进行建立，探查规则库通过获取不同类型的数据源的特征及相匹配的探查引擎的信息进行建立。类型规则库和探查规则库可以建立在不同类型数据源的不同维度的基础上，高效探查不同类型数据源的详细信息，提升海量数据的介入和分析能力。在一些实施例中，步骤S2具体包括：S21：建立探查路径库，根据数据源的类型结合探查路径库得到数据源的探查操作数据集合；S22：循环遍历探查操作数据集合，比对探查操作数据集合中的每个数据集合的探查引擎要素，调用对应的探查引擎得到第三探查结果；以及S23：计算第三探查结果与第一探查结果的匹配度，若匹配度超过第二阈值，则结合探查规则库的调整规则和调整步骤动态调整数据源的探查流程，获得动态匹配的探查规则，通过探查规则获得第二探查结果。根据每个探查结果的概率分布，动态调整不同场景下的探查流程，提高数据探查的效率和准确性。在一些实施例中，探查路径库通过获取不同类型的数据源的探查引擎的操作路径信息进行建立。探查路径库的建立有利于对探查流程进行动态调整，提高数据探查的效率和准确性。在一些实施例中，有效探查项比例为第二探查结果中有返回结果的探查项与所有探查项之比。根据有效探查项比例能够智能判断探查规则的有效性。在一些实施例中，步骤S3具体包括：若有效探查项比例超过第三阈值，则将第二探查结果设定作为最终探查结果，若有效探查项比例低于第三阈值，则将第二探查结果推送到人工进行二次确认。通过有效探查项比例与第三阈值进行比较获取数据源的最终探查结果，完成数据的自动探查工作，提高探查效率。第二方面，本申请的实施例还提出了一种基于动态评估的数据探查装置，包括：探查引擎动态匹配模块，被配置为根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查，得到第一探查结果；探查流程动态调整模块，被配置为对第一探查结果进行评估，得到评估结果，根据评估结果对探查流程进行动态调整，获得动态匹配的探查规则，并通过探查规则获得第二探查结果；以及探查结果确认模块，被配置为计算第二探查结果的有效探查项比例，根据有效探查比例判断探查规则的有效性，对第二探查结果进行确认以获得最终探查结果。第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。本申请的实施例公开了一种基于动态评估的数据探查方法和装置，通过根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查，得到第一探查结果；对第一探查结果进行评估，得到评估结果，根据评估结果对探查流程进行动态调整，获得动态匹配的探查规则，并通过探查规则获得第二探查结果；计算第二探查结果的有效探查项比例，根据有效探查比例判断探查规则的有效性，对第二探查结果进行确认以获得最终探查结果。该基于动态评估的数据探查方法能够解决实战需求，实现基于全流程的动态评估，开展数据的自动探查工作，提升大数据智能化接入效率，动态调整数据探查的操作路径，实现不同类型数据的自动探查工作，提高数据探查的工作效率，结合不同的数据源和探查结果，智能推荐探查结果，实现所有接入数据源的自动探查工作，高效支撑各种不同数据源的自动探查，提升大数据智能化接入效率。附图说明为本文档来自技高网...
【技术保护点】
1.一种基于动态评估的数据探查方法，其特征在于，包括以下步骤：/nS1：根据数据源的类型和探查维度调用探查引擎对所述数据源进行数据探查，得到第一探查结果；/nS2：对所述第一探查结果进行评估，得到评估结果，根据所述评估结果对探查流程进行动态调整，获得动态匹配的探查规则，并通过所述探查规则获得第二探查结果；以及/nS3：计算所述第二探查结果的有效探查项比例，根据所述有效探查比例判断所述探查规则的有效性，对所述第二探查结果进行确认以获得最终探查结果。/n
【技术特征摘要】
1.一种基于动态评估的数据探查方法，其特征在于，包括以下步骤：
S1：根据数据源的类型和探查维度调用探查引擎对所述数据源进行数据探查，得到第一探查结果；
S2：对所述第一探查结果进行评估，得到评估结果，根据所述评估结果对探查流程进行动态调整，获得动态匹配的探查规则，并通过所述探查规则获得第二探查结果；以及
S3：计算所述第二探查结果的有效探查项比例，根据所述有效探查比例判断所述探查规则的有效性，对所述第二探查结果进行确认以获得最终探查结果。
2.根据权利要求1所述的基于动态评估的数据探查方法，其特征在于，所述步骤S1具体包括：
S11：建立类型规则库，分析所述数据源的特征并结合所述类型规则库的特征权重计算得到所述特征与所述类型规则库的相似度，得到所述数据源的所述类型；
S12：建立引擎资源目录和探查规则库，根据所述数据源的所述类型结合所述探查规则库得到探查关联引擎集合，基于所述引擎资源目录调取所述探查关联引擎集合中的所述探查引擎进行数据探查，得到所述第一探查结果；以及
S13：根据所述第一探查结果更新所述探查规则库。
3.根据权利要求2所述的基于动态评估的数据探查方法，其特征在于，所述步骤S11具体包括：判断所述相似度是否超过第一阈值，若超过，则判定所述数据源为所述类型规则库中的已知类型，通过所述已知类型的连接测试方式对所述数据源进行连接测试验证，验证通过后则认定所述已知类型为所述数据源的所述类型。
4.根据权利要求2所述的基于动态评估的数据探查方法，其特征在于，所述引擎资源目录通过不同类型的所述数据源及其对应的不同维度的所述探查引擎注册形成。
5.根据权利要求2所述的基于动态评估的数据探查方法，其特征在于，所述类型规则库通过获取不同类型的所述数据源及其对应的所述特征进行建立，所述探查规则库通过获取不同类型的所述数据源的所述特征及相匹配的所述探查引擎的信息进行建立。
6.根据权利要求5所述的基于动态评估的数据探查方法，其特征在于，所述步骤S2具体包括：
S21：建立探查路径库，根据所述数据源的类型结合所述探查路径库得到所述数据源的探查操...
【专利技术属性】
技术研发人员：周成祖，王国威，刘超，林文楷，魏超，齐战胜，吴朝晖，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：福建;35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。