一种可视化大数据算子编排的方法及系统技术方案

一种可视化大数据算子编排的方法，包括以下步骤：S1、采集或录入原始数据并对其进行预处理，经预处理后得到初始数据；S2、对初始数据进行再处理；S3、判断数据库中是否存在与数据集合匹配的业务类型；S4、创建A个调度策略，将A个调度策略分类为B个调度策略子集；S5、确定用于算子运算的最优调度策略；S6、运行目标算子；S7、通过可视化设备将需要呈现的数据信息显示在Web页面前端，从而实现大数据平台的自动可视化分析页面的呈现；本发明专利技术还提出了一种可视化大数据算子编排的系统。本发明专利技术不仅能够对算子运算结果进行可视化展示，还能够实现大数据算子的快速编排，数据分析能力和分析效率得到大幅度提高，操作简单，使用效果极佳。使用效果极佳。使用效果极佳。

【技术实现步骤摘要】
一种可视化大数据算子编排的方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种可视化大数据算子编排的方法及系统。

技术介绍

[0002]广义的讲，对任何函数进行某一项操作都可以认为是一个算子，甚至包括求幂次、开方都可以认为是一个算子，只是有的算子通过采用一个符号来代替它所要进行的运算，总而言之，算子就是映射，就是关系，就是变换，常见的算子有微分算子、梯度算子、散度算子、拉普拉斯算子、哈密顿算子等；广义的算子的定义还可以是向量空间、赋范向量空间、内积空间，算子还可分为有界的与无界的，线性的与非线性的等等类别；随着大数据、机器学习技术的研究和工程应用，对大数据分析计算的要求越来越高，现有大数据算子编排一般不能进行可视化的展示，也难以实现大数据算子的快速编排配置，数据分析能力和分析效率有待提高，使用效果不佳，有待进行改善。

技术实现思路

[0003](一)专利技术目的
[0004]为解决
技术介绍
中存在的技术问题，本专利技术提出一种可视化大数据算子编排的方法及系统，不仅能够对算子运算结果进行可视化展示，还能够实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可视化大数据算子编排的方法，其特征在于，包括以下步骤：S1、采集或录入原始数据并对其进行预处理，经预处理后得到初始数据；S2、对初始数据进行滤波处理、平滑处理、规范化处理、几何变换、线性变换、特征检测及提取，并将处理后的数据存储入数据库中；S3、从数据库中获取所需数据集合，对获取的数据集合进行识别和解析，判断数据库中是否存在与数据集合匹配的业务类型；若存在，则使用数据处理规则推荐算法推荐多个规则算子；若不存在，则自行在数据库中添加多个规则算子；S4、提供展示算子的初始界面，获取算子运算对应的算子参数和处理器参数，并基于相关参数创建A个调度策略，将A个调度策略分类为B个调度策略子集；S5、对B个调度策略子集进行过滤处理，获取C个可行调度策略，将算子参数和C个可行调度策略输入代价模型得到C个算子运算代价，根据目标需求和C个算子运算代价确定用于算子运算的最优调度策略；S6、根据数据集合运行目标算子，获取运行目标算子后的运算数据并将其数据转成几何数据，完成数据建模，利用计算机内置的可视化类库的制图引擎将运算数据绘制成图表；S7、通过可视化设备将需要呈现的数据信息显示在Web页面前端，从而实现大数据平台的自动可视化分析页面的呈现。2.根据权利要求1所述的一种可视化大数据算子编排的方法，其特征在于，在S1中，数据预处理包括数据格式的标准化、分析、分割、分类、压缩和解压缩。3.根据权利要求1所述的一种可视化大数据算子编排的方法，其特征在于，在S3中，还包括以下操作：提供算子搜索框以进行搜索算子的操作，获取算子搜索框中的搜索字段；从至少一个算子中确定与搜索字段匹配的算子，作为推荐算子在初始界面中进行展示。4.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：黄炳裕，洪章阳，黄河，戴文艳，王伟宗，何亦龙，
申请(专利权)人：长威信息科技发展股份有限公司，
类型：发明
国别省市：