【技术实现步骤摘要】
本专利技术涉及大数据治理与分析，更具体地，涉及一种基于大数据的自主建模分析方法、装置、设备及存储介质。
技术介绍
1、随着5g、云计算、人工智能等新一代信息技术发展，信息技术与传统产业加速融合，数字经济蓬勃发展。数据规模的爆发式增长与数据之间关系复杂性对大数据深度应用提出了更高的业务需求。传统业务模型的开发方式主要是由用户将日常积累的业务逻辑转换为需求，告诉开发人员，然后让开发人员将需求转换为代码实现，最终获取模型运算的结果数据。这个过程比较耗时，成本较高，不能及时响应客户的需求。而且代码执行逻辑对于用户来说，像黑盒一样，不能及时发现代码运行是否与实际业务逻辑一致，可能会出现偏差。
2、传统建模存在操作复杂、定制化多、周期长、响应慢等问题，如何提高数据处理与建模分析效率、降低使用门槛，是本领域亟待解决的技术问题。
技术实现思路
1、针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种基于大数据的自主建模分析方法、装置、设备及存储介质，实现探索式数据分析，直接面向非数据分析专业的业务人员，交互方式简单，显著降低使用门槛，让数据真正创造业务价值。
2、为实现上述目的，按照本专利技术的第一个方面，提供了一种基于大数据的自主建模分析方法，包括：
3、根据业务需求，注册所需数据资源；
4、组合数据资源与加工处理单元，配置所述加工处理单元的参数，形成dag模型，单步调试所述dag模型上的所述加工处理单元；所述加工处理单元为具备特定数据转换逻
5、判断所述单步调试结果是否符合预期；
6、若所述单步调试结果符合预期，则遍历查找终端节点，从所述终端节点向上逐级查找父级节点，直至数据资源节点，形成数据处理流水线；所述终端节点是可将上一级节点处理后的数据集持久化的节点；
7、基于所述数据处理流水线，计算并行度，同时读取多个数据资源，交由加工处理单元并行计算，最终输出结果集并持久化所述dag模型和输出的结果集；
8、将输出的结果集注册为新的数据资源。
9、进一步地，上述基于大数据的自主建模分析方法还包括：
10、获取数据资源的元数据信息并持久化。
11、进一步地，上述基于大数据的自主建模分析方法还包括：
12、所述元数据信息包括数据源特征、资源名称、字段名称、字段类型、字段描述。
13、进一步地，上述基于大数据的自主建模分析方法还包括：
14、所述加工处理单元包括条件过滤、数据去重、交集、并集或字符串处理。
15、进一步地，上述基于大数据的自主建模分析方法还包括：
16、所述单步调试是在配置一个加工处理单元后，立即预览其数据转换结果。
17、进一步地，上述基于大数据的自主建模分析方法还包括：
18、若所述单步调试结果不符合预期，则调整所述数据资源与所述加工处理单元的组合关系或者修改所述加工处理单元的配置。
19、进一步地，上述基于大数据的自主建模分析方法还包括：
20、所述并行度是所述终端节点每一层父级节点的数量的最大值。
21、按照本专利技术的第二个方面，还提供了一种基于大数据的自主建模分析系统，其包括：
22、模型构建模块，用于根据业务需求，注册所需数据资源，还用于组合数据资源与加工处理单元，配置所述加工处理单元的参数，形成dag模型；还用于单步调试所述dag模型上的所述加工处理单元，并判断所述单步调试结果是否符合预期；
23、模型计算引擎模块，用于遍历查找终端节点，从所述终端节点向上逐级查找父级节点，直至数据资源节点，形成数据处理流水线；所述终端节点是可将上一级节点处理后的数据集持久化的节点；还用于基于所述数据处理流水线，计算并行度，同时读取多个数据资源，交由加工处理单元并行计算，最终输出结果集并持久化所述dag模型和输出的结果集；
24、数据存储模块，用于存储所述持久化后的dag模型。
25、按照本专利技术的第三个方面，还提供了一种基于大数据的自主建模分析设备，其包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。
26、按照本专利技术的第四个方面，还提供了一种存储介质，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行上述任一项所述方法的步骤。
27、总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
28、（1）本专利技术提供的一种基于大数据的自主建模分析方法，可以帮助用户最大化的使用数据做研判和数据分析，实现自主探索使用数据，便捷地创建自己的模型。
29、（2）本专利技术提供的一种基于大数据的自主建模分析方法，可极大的降低用户进行数据分析的门槛，快速响应客户的数据分析需求，提高数据分析建模的效率；同时减少开发人员的定制开发成本，从而实现降本增效。
本文档来自技高网...【技术保护点】
1.一种基于大数据的自主建模分析方法，包括：
2.如权利要求1所述的基于大数据的自主建模分析方法，其特征在于：
3.如权利要求2所述的基于大数据的自主建模分析方法，其特征在于：
4.如权利要求1所述的基于大数据的自主建模分析方法，其特征在于：
5.如权利要求1所述的基于大数据的自主建模分析方法，其特征在于：
6.如权利要求1所述的基于大数据的自主建模分析方法，其特征在于：
7.如权利要求1所述的基于大数据的自主建模分析方法，其特征在于：
8.一种基于大数据的自主建模分析系统，其特征在于，包括：
9.一种基于大数据的自主建模分析设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行权利要求1～7任一项所述方法的步骤。
10.一种存储介质，其特征在于，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行权利要求1～7任一项所
...【技术特征摘要】
1.一种基于大数据的自主建模分析方法，包括：
2.如权利要求1所述的基于大数据的自主建模分析方法，其特征在于：
3.如权利要求2所述的基于大数据的自主建模分析方法，其特征在于：
4.如权利要求1所述的基于大数据的自主建模分析方法，其特征在于：
5.如权利要求1所述的基于大数据的自主建模分析方法，其特征在于：
6.如权利要求1所述的基于大数据的自主建模分析方法，其特征在于：
7.如权利要求1所述的基于大数据的自主建模分析方法，其特...
【专利技术属性】
技术研发人员：张龙涛，贺珊，赵桥，张凯，
申请(专利权)人：武汉虹信技术服务有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。