数据的去噪方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种数据的去噪方法，包括：获取待处理数据的可视化散点图；计算散点图中的数据点间的距离，将距离大于预设距离阈值的数据点去除，得到预处理后的散点图数据；将预处理后的散点图数据转换到图像像素域，通过图像形态学运算进一步去除图像中的噪声点，得到预处理后的图像；将预处理后的图像与预处理后的散点图数据进行对比，将预处理后的散点图数据中与预处理后的图像非重叠的部分作为噪声数据去除，剩余的重叠部分作为结果数据。通过上述方法，去噪精度高，可扩展性强，且可视化程度高。

Data denoising method, device and storage medium

【技术实现步骤摘要】
数据的去噪方法、装置及存储介质
本专利技术涉及数据处理
，特别涉及一种数据的去噪方法、装置及存储介质。
技术介绍
车辆在实际运行过程中，由于突发状况或反馈延时等问题会出现不可避免的离群点或干扰噪声点，为获得准确实际数据，以进一步实现车辆工况的数据分析与挖掘，通常会对数据进行预处理，剔除数据异常值及噪声点对整体数据的干扰。现有技术中在进行数据处理时，一般都是在数据层面上进行数据预处理，基于统计学的方法对数据进行去噪，算法复杂，且可扩展性不强，不具有通用性。
技术实现思路
本公开实施例提供了一种数据的去噪方法、装置及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。在一些可选地实施例中，一种数据的去噪方法，包括：获取待处理数据的可视化散点图；计算散点图中的数据点间的距离，将距离大于预设距离阈值的数据点去除，得到预处理后的散点图数据；将预处理后的散点图数据转换到图像像素域，通过图像形态学运算进一步去除图像中的噪声点，得到预处理后的图像；将预处理后的图像与预处理后的散点图数据进行对比，将预处理后的散点图数据中与预处理后的图像非重叠的部分作为噪声数据去除，剩余的重叠部分作为结果数据。进一步地，获取待处理数据的可视化散点图之前，还包括：获取待处理的数据，并以散点图的形式将待处理的数据可视化，得到待处理数据的可视化散点图。进一步地，将预处理后的数据转换到图像像素域，通过图像形态学运算进一步去除图像中的噪声点，得到预处理后的图像，包括：对预处理后的数据进行归一化处理，得到归一化后的数据矩阵；对归一化后的数据矩阵进行二值化处理，得到二值化后的图像；对二值化后的图像进行图像形态学运算，去除图像中的噪声点，得到预处理后的图像。进一步地，对预处理后的数据进行归一化处理，得到归一化后的数据矩阵，包括：通过公式对预处理后的数据进行归一化处理，得到归一化后的数据矩阵。其中，Xu表示归一化后的数据矩阵，xi表示预处理后的数据，xmax表示预处理后的数据的最大值，xmin表示预处理后的数据的最小值。进一步地，对归一化后的数据矩阵进行二值化处理，得到二值化后的图像，包括：将归一化后的数据矩阵分离成背景与前景两部分，其中，背景部分的像素值为0，前景部分的像素值为255，得到二值化后的图像。在一些可选地实施例中，一种数据的去噪装置，包括：获取模块，用于获取待处理数据的可视化散点图；预处理模块，用于计算散点图中的数据点间的距离，将距离大于预设距离阈值的数据点去除，得到预处理后的散点图数据；图像域去噪模块，用于将预处理后的散点图数据转换到图像像素域，通过图像形态学运算进一步去除图像中的噪声点，得到预处理后的图像；数据域去噪模块，用于将预处理后的图像与预处理后的散点图数据进行对比，将预处理后的散点图数据中与预处理后的图像非重叠的部分作为噪声数据去除，剩余的重叠部分作为结果数据。进一步地，还包括：第二获取模块，用于获取待处理的数据，并以散点图的形式将待处理的数据可视化，得到待处理数据的可视化散点图。进一步地，图像域去噪模块，包括：归一化单元，用于对预处理后的数据进行归一化处理，得到归一化后的数据矩阵；二值化单元，用于对归一化后的数据矩阵进行二值化处理，得到二值化后的图像；去噪单元，用于对二值化后的图像进行图像形态学运算，去除图像中的噪声点，得到预处理后的图像。在一些可选地实施例中，一种数据的去噪系统，包括处理器和存储有程序指令的存储器，其特征在于，处理器被配置为在执行程序指令时，执行上述实施例提供的数据去噪方法。在一些可选地实施例中，一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种数据去噪方法。本公开实施例提供的技术方案可以包括以下有益效果：本专利技术通过对数据进行预处理，删除待处理数据的可视化散点图中的离群点，然后通过将待处理的数据从数字域转换到图像像素域，运用图像形态学运算进一步去除图像中的噪声点，通过上述方法，去噪精度高，可扩展性强，且可视化程度高。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种数据的去噪方法的流程示意图；图2是根据一示例性实施例示出的一种待处理数据的可视化散点图；图3是根据一示例性实施例示出的一种二值化处理结果的图像示意图；图4是根据一示例性实施例示出的一种图像形态学运算结果的图像示意图；图5是根据一示例性实施例示出的一种数据的去噪装置的结构示意图；图6是根据一示例性实施例示出的一种图像域去噪模块的结构示意图；图7是根据一示例性实施例示出的一种数据的去噪系统的结构示意图。具体实施方式为了能够更加详尽地了解本公开实施例的特点与
技术实现思路
，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。在一些示例性场景中，车辆在实际运行过程中，由于突发状况或反馈延时等问题会出现不可避免的离群点或噪声点，为获得准确实际的数据，以进一步实现车辆工况的数据分析与挖掘，通常会对数据进行去噪处理，首先对数据进行预处理，删除待处理数据的可视化散点图中的离群点，然后通过将待处理的数据从数字域转换到图像像素域，运用图像形态学运算进一步去除图像中的噪声点，并可基于去噪结果进一步作有价值的数据提取工作，例如，发动机特性曲线的提取等。通过上述方法，去噪精度高，可扩展性强，且可视化程度高。图1是根据一示例性实施例示出的一种数据的去噪方法的流程示意图；如图1所示，一种数据的去噪方法包括：步骤S101、获取待处理数据的可视化散点图；具体地，获取待处理数据的可视化散点图之前，还包括：获取待处理的数据，并以散点图的形式将待处理的数据可视化，得到待处理数据的可视化散点图。在一些示例性场景中，对发动机的运行数据进行去噪，通过车辆上安装的车载终端采集发动机工作时的静态信息和动态信息，并通过通信装置发送到车联网平台，实现对发动机运行数据的采集，并从采集的数据中选择待处理的参数数据。例如，待处理的参数数据为发动机的转速、进气量，为了减少环境温度本文档来自技高网...

【技术保护点】
1.一种数据的去噪方法，其特征在于，包括：/n获取待处理数据的可视化散点图；/n计算所述散点图中的数据点间的距离，将距离大于预设距离阈值的数据点去除，得到预处理后的散点图数据；/n将所述预处理后的散点图数据转换到图像像素域，通过图像形态学运算进一步去除图像中的噪声点，得到预处理后的图像；/n将所述预处理后的图像与所述预处理后的散点图数据进行对比，将所述预处理后的散点图数据中与所述预处理后的图像非重叠的部分作为噪声数据去除，剩余的重叠部分作为结果数据。/n

【技术特征摘要】
1.一种数据的去噪方法，其特征在于，包括：
获取待处理数据的可视化散点图；
计算所述散点图中的数据点间的距离，将距离大于预设距离阈值的数据点去除，得到预处理后的散点图数据；
将所述预处理后的散点图数据转换到图像像素域，通过图像形态学运算进一步去除图像中的噪声点，得到预处理后的图像；
将所述预处理后的图像与所述预处理后的散点图数据进行对比，将所述预处理后的散点图数据中与所述预处理后的图像非重叠的部分作为噪声数据去除，剩余的重叠部分作为结果数据。


2.根据权利要求1所述的方法，其特征在于，所述获取待处理数据的可视化散点图之前，还包括：
获取待处理的数据，并以散点图的形式将所述待处理的数据可视化，得到待处理数据的可视化散点图。


3.根据权利要求1所述的方法，其特征在于，所述将所述预处理后的数据转换到图像像素域，通过图像形态学运算进一步去除图像中的噪声点，得到预处理后的图像，包括：
对所述预处理后的数据进行归一化处理，得到归一化后的数据矩阵；
对所述归一化后的数据矩阵进行二值化处理，得到二值化后的图像；
对所述二值化后的图像进行图像形态学运算，去除图像中的噪声点，得到预处理后的图像。


4.根据权利要求3所述的方法，其特征在于，所述对所述预处理后的数据进行归一化处理，得到归一化后的数据矩阵，包括：
通过公式对所述预处理后的数据进行归一化处理，得到归一化后的数据矩阵。
其中，Xu表示归一化后的数据矩阵，xi表示预处理后的数据，xmax表示预处理后的数据的最大值，xmin表示预处理后的数据的最小值。


5.根据权利要求3所述的方法，其特征在于，所述对所述归一化后的数据矩阵进行二值化处理，得到二值化后的图像，包括：
将所述归一化后...

【专利技术属性】
技术研发人员：伦智梅，张博强，张振京，王洋，
申请(专利权)人：潍柴动力股份有限公司，
类型：发明
国别省市：山东;37