【技术实现步骤摘要】
基于数据转换的多层次数据分析系统及方法
本专利技术属于数据处理
,具体涉及基于数据转换的多层次数据分析系统及方法。
技术介绍
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来,从而找出所研究对象的内在规律。在实际应用中,数据分析可帮助人们做出判断,以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据,使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期,包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程,以提升有效性。例如设计人员在开始一个新的设计以前,要通过广泛的设计调查,分析所得数 ...
【技术保护点】
1.基于数据转换的多层次数据分析系统,其特征在于,所述系统包括:第一数据转换单元,配置用于将原始数据转换为二进制数据;数据分割单元,配置用于将原始数据对应的二进制数据以8位为间隔,从头至尾进行分割,得到若干数据片段;第二数据转换单元,配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值,每个数据片段对应一个像素点;第三数据转换单元,配置用于将所有转换得到的像素点按照从头至尾的顺序进行排列拼接,得到一张像素点组成的数据图像;图像转换单元,配置用于将组成的数据图像基于预设的不同的三个像素区间进行通道分离,分别得到三个像素空间下的通道图像,所述三个像素区间记为第一像素区间、 ...
【技术特征摘要】
1.基于数据转换的多层次数据分析系统,其特征在于,所述系统包括:第一数据转换单元,配置用于将原始数据转换为二进制数据;数据分割单元,配置用于将原始数据对应的二进制数据以8位为间隔,从头至尾进行分割,得到若干数据片段;第二数据转换单元,配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值,每个数据片段对应一个像素点;第三数据转换单元,配置用于将所有转换得到的像素点按照从头至尾的顺序进行排列拼接,得到一张像素点组成的数据图像;图像转换单元,配置用于将组成的数据图像基于预设的不同的三个像素区间进行通道分离,分别得到三个像素空间下的通道图像,所述三个像素区间记为第一像素区间、第二像素区间和第三像素区间;所述第一像素区间的范围为:0~85;第二像素区间的范围为:86~171;第三像素区间的范围为:172~256;分析单元,配置用于分别基于不同的像素空间下的通道图像分别进行图像分析,得到三个图像分析结果,对所有的图像分析结果进行归一化处理,得到归一化分析结果,作为最终的分析结果。
2.如权利要求1所述的系统,其特征在于,所述对基于第一像素区间得到的通道图像进行图像分析的方法包括:对该通道图像进行直方图均衡,然后得到该通道图像的直方图分析曲线;判断该直方图分析曲线是否提满足异常数据的正态分布,若满足,则获取该直方图分析曲线对应的正态分布函数,并求出所述正态分布函数的上限值及下限值,在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分,找到该异常值部分对应的原始数据的部分,则得到原始数据中的异常值部分。
3.如权利要求2所述的系统,其特征在于,所述对基于第二像素区间得到的通道图像进行图像分析的方法包括:分别提取该通道图像的直方图特征和方差特性曲线;将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对,重合部分将作为该组数据对应的异常值部分,找到该异常值部分对应的原始数据的部分,则得到原始数据中的异常值部分。
4.如权利要求3所述的系统,其特征在于,所述提取第二像素区间得到的通道图像的方差特性曲线的方法包括:使用如下公式,得到第二像素区间得到的通道图像的方差特性曲线:
其中,R表示方差曲线特征的地形样本灰度均值统计分布,rG表示灰度等级G下的样本灰度均值,Size表示该通道图像的分辨率,R′表示方差曲线特征的样本灰度平均占有率统计分布,B表示方差曲线特征的灰度方差统计分布,bG表示灰度等级G下的样本灰度方差,B′表示归一化后的方差曲线特征的灰度方差,Col表示该通道图像的宽,Row表示该通道图像的高。
5.如权利要求4所述的系统,其特征在于,所述对基于第三像素区间得到的通道图像进行图像分析的方法包括:利用第一卷积神经网络对通道图像进行特征提取,获得第一特征图像;将所述第一特征图像在空间维度上划分为多个部分,对每个部分分别进行全局池化,获得多个第一空间特征;利用第二卷积神经网络对所述通道图像的像素进行扩增,获得像素扩增后的第一扩增特征图像;对所述第一扩增特征图像进行全局池化,将池化结果在通道维度上划分为多个第一通道特征;基于所述多个第一空间特征、所述多个第一通道特征或所述多个第一空间特征以及所述多个第一通道特征进行特征融合,获得所述通道图像的特征;将该通道图像的特征与预设的异常数据的特征进行比对,重合部分将作为该组数据对应的异常值部分,找到该异常值部分对应的原始数据的部分,则得到原始数据中的异常值...
【专利技术属性】
技术研发人员:孙全刚,
申请(专利权)人:德州正捷电气有限公司,
类型:发明
国别省市:山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。