【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于机器学习的数据自动化转换方法及装置。
技术介绍
1、随着大数据时代的到来，数据处理、数据分析、数据挖掘和数据可视化等领域对于高效、准确的数据转换技术的需求日益增长，然而，现有的数据转换技术大多依赖人工操作，不仅处理速度慢和容易出错，还容易受到人员技能和经验的影响，此外，只能处理特定的数据类型和格式，对于不同的数据源和目标格式，需要使用不同的转换工具。
技术实现思路
1、有鉴于此，本专利技术提出一种基于机器学习的数据自动化转换方法及装置，可以解决现有技术所存在的处理速度慢、容易出错、以及只能处理特定的数据类型和格式的缺陷。
2、本专利技术的技术方案是这样实现的：
3、一种基于机器学习的数据自动化转换方法，具体包括：
4、从数据源获取原始数据；
5、对原始数据进行标准化处理，得到标准的原始数据；
6、基于机器学习算法从标准的原始数据中进行特征提取，得到特征数据；
7、将特征数据作为训练集输入神经网络模型进行训练，得到数据转换模型；
8、将原始数据输入数据转换模型进行处理，得到目标格式数据，从而实现基于机器学习的数据自动化转换。
9、作为所述基于机器学习的数据自动化转换方法的进一步可选方案，所述对原始数据进行标准化处理，得到标准的原始数据，具体包括：
10、对原始数据进行清洗，得到有效的原始数据；
11、依据z-score标准化方
12、作为所述基于机器学习的数据自动化转换方法的进一步可选方案，所述基于机器学习算法从标准的原始数据中进行特征提取，得到特征数据，具体包括：
13、依据主成分分析方法从原始数据中提取有用的特征，得到候选特征；
14、依据皮尔逊相关系数方法计算候选特征之间的相关性，得到候选特征相关度；
15、依据候选特征相关度生成新的特征，得到关联特征；
16、依据递归特征消除方法进行特征选择，得到特征数据。
17、作为所述基于机器学习的数据自动化转换方法的进一步可选方案，所述方法还包括对数据转换模型进行参数优化，具体公式如下：
18、w_new＝w_old-learning_rate*gradient；
19、其中，w_old是当前权重，w_new是更新后的权重，learning_rate是学习率，gradient是梯度。
20、一种基于机器学习的数据自动化转换装置，包括：
21、获取模块，用于从数据源获取原始数据；
22、预处理模块，用于对原始数据进行标准化处理，得到标准的原始数据；
23、特征模块，用于基于机器学习算法从标准的原始数据中进行特征提取，得到特征数据；
24、训练模块，用于将特征数据作为训练集输入神经网络模型进行训练，得到数据转换模型；
25、转换模块，用于将原始数据输入数据转换模型进行处理，得到目标格式数据，从而实现基于机器学习的数据自动化转换。
26、作为所述基于机器学习的数据自动化转换装置的进一步可选方案，所述预处理模块包括：
27、清洗模块，用于对原始数据进行清洗，得到有效的原始数据；
28、标准化处理模块，用于依据z-score标准化方法或者min-max标准化方法对有效的原始数据进行标准化处理，得到标准的原始数据。
29、作为所述基于机器学习的数据自动化转换装置的进一步可选方案，所述特征提取模块包括：
30、成分分析模块，用于依据主成分分析方法从原始数据中提取有用的特征，得到候选特征；
31、相关性分析模块，用于依据皮尔逊相关系数方法计算候选特征之间的相关性，得到候选特征相关度；
32、生成模块，用于依据候选特征相关度生成新的特征，得到关联特征；
33、选择模块，用于依据递归特征消除方法进行特征选择，得到特征数据。
34、作为所述基于机器学习的数据自动化转换装置的进一步可选方案，所述装置还包括优化模块，所述优化模块用于对数据转换模型进行参数优化，具体公式如下：
35、w_new＝w_old-learning_rate*gradient；
36、其中，w_old是当前权重，w_new是更新后的权重，learning_rate是学习率，gradient是梯度。
37、一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项基于机器学习的数据自动化转换方法的步骤。
38、一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项基于机器学习的数据自动化转换方法的步骤。
39、本专利技术的有益效果是：通过从数据源获取原始数据，对原始数据进行标准化处理，得到标准的原始数据，基于机器学习算法从标准的原始数据中进行特征提取，得到特征数据，将特征数据作为训练集输入神经网络模型进行训练，得到数据转换模型，将原始数据输入数据转换模型进行处理，得到目标格式数据，能够对数据进行自动化处理，这使得数据转换更加高效和准确，避免了人工操作的干扰，从而降低了出错概率，同时，自动化处理可以大大提高数据处理的速度，节省了人力和时间成本。
本文档来自技高网...【技术保护点】
1.一种基于机器学习的数据自动化转换方法，其特征在于，具体包括：
2.根据权利要求1所述的一种基于机器学习的数据自动化转换方法，其特征在于，所述对原始数据进行标准化处理，得到标准的原始数据，具体包括：
3.根据权利要求2所述的一种基于机器学习的数据自动化转换方法，其特征在于，所述基于机器学习算法从标准的原始数据中进行特征提取，得到特征数据，具体包括：
4.根据权利要求3所述的一种基于机器学习的数据自动化转换方法，其特征在于，所述方法还包括对数据转换模型进行参数优化，具体公式如下：
5.一种基于机器学习的数据自动化转换装置，其特征在于，包括：
6.根据权利要求5所述的一种基于机器学习的数据自动化转换装置，其特征在于，所述预处理模块包括：
7.根据权利要求6所述的一种基于机器学习的数据自动化转换装置，其特征在于，所述特征提取模块包括：
8.根据权利要求7所述的一种基于机器学习的数据自动化转换装置，其特征在于，所述装置还包括优化模块，所述优化模块用于对数据转换模型进行参数优化，具体公式如下：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。