应用于公众集群管理的数据处理方法和装置及其设备制造方法及图纸

本申请提供了一种应用于公众集群管理的数据处理方法和装置及其设备，运用于公众集群管理技术领域，其方法包括：调用数据、向量化数据、K

【技术实现步骤摘要】
应用于公众集群管理的数据处理方法和装置及其设备


[0001]本申请涉及公众集群管理
，特别涉及一种应用于公众集群管理的数据处理方法和装置及其设备。

技术介绍

[0002]公众集群管理一般运用于大型的集群化区域，例如有：医院、车站等，针对于此的公共管理仅能采用数据化处理办法，在现有的数据化处理办法中常见的方式是对数据处理使用抽取
‑
转换
‑
装载(Extract
‑
Transform
‑
Load，简称ETL)的处理工具，可以将分散的数据采集到数据仓库中或者数据管理平台中，但涉及在公众集群管理方面的数据处理过量，存在以下问题：（1）基站分区式数据处理法，即TCCH（TrunkingControlChannel，集群控制信道），通过分区来弱化数据量，分区式管理意味着分别建立对应的分区通道，并需要对数据链进行编排而逐一输出，此种方式占用缓存过多、影响集群化管理平台的单板负荷。
[0003]（2）数据动态分布处理法，扩容存储单元，对数据包进行标定并输出至新的存储单元， 实现集群管理平台的容量均衡，从而提高集群系统的性能，此方法需新增存储单元并扩充通信上下行，即是通过提升成本的方式来实现数据量的均衡输出，保障数据处理稳定。
[0004]为解决上述问题，最优的一种方案是建立相关模型，进行AI智能优化摒弃无用数据流，同时还需要解决建立卷积神经网络模型的复杂过程，基于此：参考专利申请号201810110273.X
‑
基于集群缩放的Spark配置参数自动调优方法，及其相关专利如：201610068611.9
‑
一种Spark平台性能自动优化方法、201611182310.5
‑
一种数据感知的Spark配置参数自动优化方法；通过(1)搭建集群；(2)选择配置参数集合；(3)确定配置参数取值类型和范围；(4)缩放集群；(5)训练随机森林模型；(6)筛选最佳配置；(7)验证配置效果。在应用于海量数据处理
中，通过缩放分布式内存计算框架Spark内存配置参数取值范围和待处理数据量，缩短评价每个配置的时间，通过随机森林模型建立配置与分布式内存计算框架Spark集群性能影响力之间的关系，搜索出使多台硬件配置相同计算机组成的分布式内存计算框架Spark集群性能最佳的配置。
[0005]此先有技术优化了AI智能的建立方式，但从其方案针对的来说，Spark方式的调度方法，是通过优先程度来定义调取的次数，从而确定关键因子的权重，在现在社会的公众集群管理来说，每天的数据输入与输出都存在权重差异，并且所有Spark转换都是惰性的，也就是说，并不会马上发生计算。相反的，它只是记住应用到基础数据集上的这些转换。而这些转换只会在有一个动作发生，要求返回结果给驱动应用时，才真正进行计算。因此，在公众集群管理存在差异化变动，数据量交互大的前提下，如何实现AI模型的建立且其权重值能随差异化而自行转换，从而解决存储占用大的单体主板负荷大的问题是目前公众集群管理所迫切需要的。

技术实现思路

[0006]本申请的目的是提供一种应用于公众集群管理的数据处理方法和装置及其设备，旨在解决业务问题分类存在误差，导致业务问题库中各业务问题占比不精确，以及无法预防意想不到的业务问题的问题。
[0007]为实现上述目的，本申请提供如下技术方案：本申请提供一种应用于公众集群管理的数据处理方法，包括：获取数据库调用指令，并根据指令从预设的数据库中调取与数据库调用指令匹配类型的单体数据，其中所述单体数据包括但不限于为医疗数据资料，且所述单体数据的类型包括视频数据、文本数据以及音频数据的一项或多项；对所述单体数据进行两端向量化，生成正值单体向量和负值单体向量；将所述正值单体向量和负值单体向量分别导入预设的加权层叠坐标框架中，并采用K
‑
means聚类算法分别对正值单体向量和负值单体向量进行聚类处理，以形成在所述加权层叠坐标框架中分别与所述正值单体向量和负值单体向量对应的正向加权曲线和反向加权曲线；通过所述正向加权曲线和反向加权曲线将所述加权层叠坐标框架进行坍缩，使所述正向加权曲线和反向加权曲线载入至匹配的加权坐标系中；再通过所述正向加权曲线和反向加权曲线在加权坐标系中的坐标区间，调用与所述坐标区间对应的注意力算法对正向加权曲线和反向加权曲线进行截断处理，得到正向截断曲线和反向截断曲线；判断预设在数据库中单体数据对应的异常函数与所述正向截断曲线的曲线复合率，同时反推与所述反向加权曲线匹配的单体数据类型；生成视图数据，若所述曲线复合率高于指定阈值，则通过反推后的单体数据类型在所述视图数据中进行特殊显示。
[0008]进一步地，对所述单体数据进行两端向量化，生成正值单体向量和负值单体向量，包括：拆解所述单体数据的第一级类型为视频类型、文本类型和语音类型，同时得到视频数据、文本数据和语音数据；采用小波变换对视频数据和语音数据进行编码化得到量化数据，对所述文本数据进行关键词识别摘取得到文本集合，而后对所述量化数据和文本集合进行向量化，得到所述正值单体向量；对所述正值单体向量进行镜像，得到所述负值单体向量。
[0009]进一步地，采用小波变换对视频数据和语音数据进行编码化得到量化数据，对所述文本数据进行关键词识别摘取得到文本集合，而后对所述量化数据和文本集合进行向量化，包括：归集所述视频数据、文本数据和语音数据，形成初始向量集合；转换所述初始向量集合中的视频数据和语音数据，既包括分解和重构，其中
分解公式;重构公式；进行了视频数据和语音数据的分解与重构后，得到所有数据文本化的中间态向量集合；对所述中间态向量集合进行轻量化，即对视频数据和语音数据进行编码，其中从而生成正值单体向量和负值单体向量。
[0010]进一步地，将所述正值单体向量和负值单体向量分别导入预设的加权层叠坐标框架中，并采用K
‑
means聚类算法分别对正值单体向量和负值单体向量进行聚类处理，以形成在所述加权层叠坐标框架中分别与所述正值单体向量和负值单体向量对应的正向加权曲线和反向加权曲线，包括：建立虚坐标系，将所述正值单体向量和负值单体向量分别完全重合坐标系的一、四坐标系的正X轴和坐标系二、三的负X轴；对所述单体数据中的视频类型、文本类型和语音类型进行第二级类型拆解，得到所述视频数据、文本数据和语音数据中的若干视频节点、若干文本节点和若干语音节点；进行K
‑
means算法对若干视频节点、若干文本节点和若干语音节点进行聚类，通过节点的重复聚合量，将对所述正值单体向量和负值单体向量在虚坐标系中进行调整，从而得到正向加权曲线和反向加权曲线。
[0011]进一步地，通过所述正向加权曲线和反向加权曲线将所述加权层叠坐标框架进行坍缩，使所述正向加权曲线和反向加权曲线载入至匹配的加权坐标系中，包括：判定所述正向加权曲线和反向加权曲线中的曲线数值所匹配的加权坐标系；若匹配成功，则坍缩所述加权层叠坐标框架，从而得到加权坐标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于公众集群管理的数据处理方法，其特征在于，包括：获取数据库调用指令，并根据指令从预设的数据库中调取与数据库调用指令匹配类型的单体数据，其中所述单体数据包括但不限于为医疗数据资料，且所述单体数据的类型包括视频数据、文本数据以及音频数据的一项或多项；对所述单体数据进行两端向量化，生成正值单体向量和负值单体向量；将所述正值单体向量和负值单体向量分别导入预设的加权层叠坐标框架中，并采用K
‑
means聚类算法分别对正值单体向量和负值单体向量进行聚类处理，以形成在所述加权层叠坐标框架中分别与所述正值单体向量和负值单体向量对应的正向加权曲线和反向加权曲线；通过所述正向加权曲线和反向加权曲线将所述加权层叠坐标框架进行坍缩，使所述正向加权曲线和反向加权曲线载入至匹配的加权坐标系中；再通过所述正向加权曲线和反向加权曲线在加权坐标系中的坐标区间，调用与所述坐标区间对应的注意力算法对正向加权曲线和反向加权曲线进行截断处理，得到正向截断曲线和反向截断曲线；判断预设在数据库中单体数据对应的异常函数与所述正向截断曲线的曲线复合率，同时反推与所述反向加权曲线匹配的单体数据类型；生成视图数据，若所述曲线复合率高于指定阈值，则通过反推后的单体数据类型在所述视图数据中进行特殊显示。2.根据权利要求1所述的应用于公众集群管理的数据处理方法，其特征在于，对所述单体数据进行两端向量化，生成正值单体向量和负值单体向量，包括：拆解所述单体数据的第一级类型为视频类型、文本类型和语音类型，同时得到视频数据、文本数据和语音数据；采用小波变换对视频数据和语音数据进行编码化得到量化数据，对所述文本数据进行关键词识别摘取得到文本集合，而后对所述量化数据和文本集合进行向量化，得到所述正值单体向量；对所述正值单体向量进行镜像，得到所述负值单体向量。3.根据权利要求2所述的应用于公众集群管理的数据处理方法，其特征在于，采用小波变换对视频数据和语音数据进行编码化得到量化数据，对所述文本数据进行关键词识别摘取得到文本集合，而后对所述量化数据和文本集合进行向量化，包括：归集所述视频数据、文本数据和语音数据，形成初始向量集合；转换所述初始向量集合中的视频数据和语音数据，既包括分解和重构，其中分解公式;重构公式；
进行了视频数据和语音数据的分解与重构后，得到所有数据文本化的中间态向量集合；对所述中间态向量集合进行轻量化，即对视频数据和语音数据进行编码，其中从而生成正值单体向量和负值单体向量。4.根据权利要求1所述的应用于公众集群管理的数据处理方法，其特征在于，将所述正值单体向量和负值单体向量分别导入预设的加权层叠坐标框架中，并采用K
‑
means聚类算法分别对正值单体向量和负值单体向量进行聚类处理，以形成在所述加权层叠坐标框架中分别与所述正值单体向量和负值单体向量对应的正向加权曲线和反向加权曲线，包括：建立虚坐标系，将所述正值单体向量和负值单体向量分别完全重合坐标系的一、四坐标系的正X轴和坐标系二、三的负X轴；对所述单体数据中的视频类型、文本类型和语音类型进行第二级类型拆解，得到所述视频数据、文本数据和语音数据中的若干视频节点、若干文本节点和若干语音节点；进行K
‑
means算法对若干视频节点、若干文本节点和若干...

【专利技术属性】
技术研发人员：余芳，余聪，徐飞，
申请(专利权)人：江西合一云数据科技股份有限公司，
类型：发明
国别省市：