一种大数据处理方法、处理装置、设备及介质制造方法及图纸

本申请涉及一种大数据处理方法、处理装置、设备及介质。该方法包括，获取待处理的数据并预处理成预设的格式和/或大小的计算单元，将处理完成的数据块存入显存模块，基于GPU阵列调用显存模块中的计算单元，并基于GPU阵列与CPU并行计算的方式批量的进行第一回数据处理，基于F分布的模型筛选第一回数据处理后的数据，以祛除不需要的数据并将其输出，筛选剩余的数据再次存入到显存模块，通过设定的函数打点式的呈现。该方法基于GPU和CPU并行方法进行计算，计算完成的数据则通过设定的函数进行打点式的呈现。该方法实现极快的数据处理能力，达到了边处理数据边呈现的效果，提高了用户体验。户体验。户体验。

【技术实现步骤摘要】
一种大数据处理方法、处理装置、设备及介质


[0001]本专利技术涉及计算机数据处理领域，具体的涉及一种商务大数据处理方法、处理装置、设备及介质。

技术介绍

[0002]伴随着互联网与信息技术不断发展，系统数据量不断增大，数据分析越来越复杂。如何从海量数据中挖掘出有价值的数据信息，辅助科学决策、促进社会经济发展，成为政府行政服务能力一项新考验。商贸流通数据分散在相关地市商务局的各个原有部门，无统一的储存方式和标准，存在”数据散、统计困难、数据展示不直观、数据利用率不高”等问题,需要将分散、异构、多源的数据进行归集处理。市面上对该数据处理的算法，绝大部分基于CPU运算的方式，一些较为快速的算法也只是采用到了CPU算法的并发算法，没有达到高性能运算质的飞跃，某些高端领域会采用CUDA高性能运算，该类算法存在一个显示缓慢的问题。
[0003]因此，需要一种新的针对商贸流通领域大数据的算法来提高运算速率且改善显示缓慢的问题。

技术实现思路

[0004]鉴于此，为解决上述的问题，本申请提出一种商务大数据信息统计分析的方法，该方法运算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据处理方法，其特征在于，所述方法包括：获取待处理的数据并预处理成近似复杂度的计算单元，将处理完成的数据块存入显存模块，基于GPU阵列调用显存模块中的计算单元，并基于GPU阵列与CPU并行计算的方式批量的进行第一回数据处理，基于F分布的模型筛选第一回数据处理后的数据，以祛除不需要的数据并将其输出，筛选剩余的数据再次存入到显存模块，通过设定的函数打点式的呈现。2.如权利要求1所述的大数据处理方法，其特征在于，还包括筛选剩余的数据再次存入到显存模块，基于GPU阵列调用显存模块中的计算单元，并基于GPU阵列与CPU并行计算的方式再次计算，直至结算完成，并通过设定的函数打点式的呈现。3.如权利要求1所述的大数据处理方法，其特征在于，所述预处理包括对获取的数据编译每行数据。4.如权利要求1所述的大数据处理方法，其特征在于，所述预处理过程包括：基于如下的神经网络算法将数据转换成预设格式和/或大小的数据块，基于如下的神经网络算法将数据转换成预设格式和/或大小的数据块，其中，x1代表输入的数据单元；w
T
表示对应数据的权重；b为偏执单元匹配对应数据单元x1，h
j
代表计算输入的数据单元x1之后得到的系统数据；a
i
代表通过神经网络算法的计算后得到的隐藏层数据。5.如权利要求4所述的大数据处理方法，其特征在于，快速计算数据总数后，基于：及进行拆分数据行，
其中，D表示需要处理的数据矩阵，a为数据单元，D...

【专利技术属性】
技术研发人员：颜秋辰，
申请(专利权)人：苏州曲率量子智能科技有限公司，
类型：发明
国别省市：