基于机器学习的政务大数据处理方法及装置制造方法及图纸

本申请公开了一种基于机器学习的政务大数据处理方法及装置，通过获取政务日志数据，在预设搜索空间中，确定用于对政务日志数据进行预处理的预设数据处理模型，从而使政务日志数据能够在预设搜索空间基于机器学习实现自动化处理；基于调优器技术和评估器技术，对预设数据处理模型进行优化训练，直至得到最优数据处理模型，从而避免传统手动流程容易出错、效率不高且难于管理的问题；最后利用最优数据处理模型，对政务日志数据进行预处理，得到高质量政务数据，以及对高质量政务数据进行存储或可视化展示，提高数据预处理能力，提升实时批量采集、精准过滤的效率。精准过滤的效率。精准过滤的效率。

【技术实现步骤摘要】
基于机器学习的政务大数据处理方法及装置


[0001]本申请涉及大数据
，尤其涉及一种基于机器学习的政务大数据处理方法及装置。

技术介绍

[0002]随着大数据技术的发展，市政务数据逐步汇总到智慧城市政务大数据平台，形成数据获取、计算、加工和分析等配套工具，建立元数据管理、数据共享和数据安全保护等机制，并开展数据创新应用。
[0003]但是智慧城市政务大数据平台也面临挑战：传统数据预处理包括数据清洗、数据采样、数据处理和数据分割等过程，每个过程都有多种备选方法，而在选择方法前，往往需要先对数据进行数据分析，整个数据预处理过程往往重复而耗时，导致政务大数据处理系统的数据预处理效率非常低。

技术实现思路

[0004]本申请提供了一种基于机器学习的政务大数据处理方法及装置，以解决的政务大数据处理系统存在数据预处理效率低的技术问题。
[0005]为了解决上述技术问题，第一方面。本申请实施例提供了一种基于机器学习的政务大数据处理方法，包括：
[0006]获取政务日志数据；
[0007]在预设搜索空间中，确定用于对政务日志数据进行预处理的预设数据处理模型；
[0008]基于调优器技术和评估器技术，对预设数据处理模型进行优化训练，直至得到最优数据处理模型；
[0009]利用最优数据处理模型，对政务日志数据进行预处理，得到高质量政务数据；
[0010]对高质量政务数据进行存储或可视化展示。
[0011]本实施例通过获取政务日志数据，在预设搜索空间中，确定用于对政务日志数据进行预处理的预设数据处理模型，从而使政务日志数据能够在预设搜索空间基于机器学习实现自动化处理；基于调优器技术和评估器技术，对预设数据处理模型进行优化训练，直至得到最优数据处理模型，从而避免传统手动流程容易出错、效率不高且难于管理的问题，并且更好的解决因缺乏配置和优化不同类型算法的专业知识而导致的配置调参困难的问题；最后利用最优数据处理模型，对政务日志数据进行预处理，得到高质量政务数据，以及对高质量政务数据进行存储或可视化展示，提高数据预处理能力，提升实时批量采集、精准过滤的效率。
[0012]在一实施例中，在预设搜索空间中，确定用于对政务日志数据进行预处理的预设数据处理模型，包括：
[0013]在预设搜索空间中，根据政务日志数据，选取包含默认网络结构和超参数的模型文件；
[0014]根据预设的模型损失期望值，确定迭代算法的算法文件，预设数据处理模型包括模型文件和算法文件。
[0015]本实施例通过在预设搜索空间，自动确定模型文件和算法文件，以实现模型选择和算法选择的自动化，提高模型部署训练效率，从而提高数据预处理效率。
[0016]在一实施例中，基于调优器技术和评估器技术，对预设数据处理模型进行优化训练，直至得到最优数据处理模型，包括：
[0017]利用预设的调优器，对预设数据处理模型进行训练，得到目标数据处理模型，目标数据处理模型包括模型参数；
[0018]利用预设的评估器，根据模型参数，对目标数据处理模型进行评估，得到模型评估结果；
[0019]利用调优器，根据模型评估结果，对目标数据处理模型进行初始化；
[0020]基于调优器和评估器，对初始化后的目标数据处理模型进行循环优化，直至目标数据处理模型达到预设收敛条件，得到最优数据处理模型。
[0021]本实施例通过调优器和评估器不断循环优化模型参数，以得到调整采集和过滤大数据处理机制的智能模型，实现模型自动化调参，解决大人工调参因步骤繁杂而出错的问题，节省时间和降低人力成本。
[0022]在一优选实施例中，利用预设的调优器，对预设数据处理模型进行训练，得到目标数据处理模型，包括：
[0023]利用调优器，根据预设优化方式，对预设数据处理模型进行训练，得到目标数据处理模型，预设优化方式包括启发式搜索方式、非导优化方式和强化学习方式。
[0024]本实施例通过启发式搜索方式、非导优化方式或强化学习方式等预设优化方式进行训练，而不需要特定的假设条件且使模型训练更加高效。
[0025]在一优选实施例中，利用预设的评估器，根据模型参数，对目标数据处理模型进行评估，得到模型评估结果，包括：
[0026]利用评估器采用预设辅助评估法，根据模型参数，对目标数据处理模型进行辅助评估，得到模型评估结果，预设辅助评估法包括子取样法、参数复用法和代理评估法。
[0027]本实施例通过子取样法、参数复用法或代理评估法等辅助评估法进行评估，避免因数据量增大和迭代次数增多而增大评估过程的负担，减少了评估过程的资源消耗。
[0028]在一优选实施例中，利用调优器，根据模型评估结果，对目标数据处理模型进行初始化，包括：
[0029]利用调优器采用经验学习算法，确定模型评估结果对应的最优模型参数；
[0030]根据最优模型参数，对目标数据处理模型进行初始化。
[0031]本实施例通过引入机器经验进行调参，以加快网络结构的训练过程，极大提升优化训练的效率。
[0032]第二方面，本申请实施例提供一种基于机器学习的政务大数据处理装置，包括：
[0033]获取模块，用于获取政务日志数据；
[0034]确定模块，用于在预设搜索空间中，确定用于对政务日志数据进行预处理的预设数据处理模型；
[0035]训练模块，用于基于调优器技术和评估器技术，对预设数据处理模型进行优化训
练，直至得到最优数据处理模型；
[0036]处理模块，用于利用最优数据处理模型，对政务日志数据进行预处理，得到高质量政务数据；
[0037]展示模块，用于对高质量政务数据进行存储或可视化展示。
[0038]在一实施例中，训练模块，包括：
[0039]训练单元，用于利用预设的调优器，对预设数据处理模型进行训练，得到目标数据处理模型，目标数据处理模型包括模型参数；
[0040]评估单元，用于利用预设的评估器，根据模型参数，对目标数据处理模型进行评估，得到模型评估结果；
[0041]初始化单元，用于利用调优器，根据模型评估结果，对目标数据处理模型进行初始化；
[0042]循环单元，用于基于调优器和评估器，对初始化后的目标数据处理模型进行循环优化，直至目标数据处理模型达到预设收敛条件，得到最优数据处理模型。
[0043]第三方面，本申请实施例提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的基于机器学习的政务大数据处理方法。
[0044]第四方面，本申请实施例提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于机器学习的政务大数据处理方法。
[0045]需要说明的是，上述第二方面至第四方面的有益效果请参见上述第一方面的相关描述，在此不再赘述。
附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的政务大数据处理方法，其特征在于，包括：获取政务日志数据；在预设搜索空间中，确定用于对所述政务日志数据进行预处理的预设数据处理模型；基于调优器技术和评估器技术，对所述预设数据处理模型进行优化训练，直至得到最优数据处理模型；利用所述最优数据处理模型，对所述政务日志数据进行预处理，得到高质量政务数据；对所述高质量政务数据进行存储或可视化展示。2.如权利要求1所述的政务大数据处理方法，其特征在于，所述在预设搜索空间中，确定用于对所述政务日志数据进行预处理的预设数据处理模型，包括：在所述预设搜索空间中，根据所述政务日志数据，选取包含默认网络结构和超参数的模型文件；根据预设的模型损失期望值，确定迭代算法的算法文件，所述预设数据处理模型包括所述模型文件和所述算法文件。3.如权利要求1所述的政务大数据处理方法，其特征在于，所述基于调优器技术和评估器技术，对所述预设数据处理模型进行优化训练，直至得到最优数据处理模型，包括：利用预设的调优器，对所述预设数据处理模型进行训练，得到目标数据处理模型，所述目标数据处理模型包括模型参数；利用预设的评估器，根据所述模型参数，对所述目标数据处理模型进行评估，得到模型评估结果；利用所述调优器，根据所述模型评估结果，对所述目标数据处理模型进行初始化；基于所述调优器和所述评估器，对初始化后的所述目标数据处理模型进行循环优化，直至所述目标数据处理模型达到预设收敛条件，得到所述最优数据处理模型。4.如权利要求3所述的政务大数据处理方法，其特征在于，所述利用预设的调优器，对所述预设数据处理模型进行训练，得到目标数据处理模型，包括：利用所述调优器，根据预设优化方式，对所述预设数据处理模型进行训练，得到目标数据处理模型，所述预设优化方式包括启发式搜索方式、非导优化方式和强化学习方式。5.如权利要求3所述的政务大数据处理方法，其特征在于，所述利用预设的评估器，根据所述模型参数，对所述目标数据处理模型进行评估，得到模型评估结果，包括：利用所述评估器采用预设辅助评估法，根据所述模型...

【专利技术属性】
技术研发人员：梁明杰，郑鹏，刘志徽，韦静贤，
申请(专利权)人：广西中科曙光云计算有限公司，
类型：发明
国别省市：