本公开提供一种数据处理方法、装置、电子设备和计算机可读存储介质，涉及计算机与互联网技术领域，包括：获取第一网络指标数据集和第一网络指标数据集对应的服务质量标签；获取待训练的第一网络模型；对第一网络指标数据集进行向量化处理，获得第一向量矩阵；通过傅里叶变换将第一向量矩阵映射到频域，获得第一频率矩阵；根据第一频率矩阵对第一网络指标数据集进行质量评估；根据数据质量评估结果对第一网络指标数据集进行数据量调整，获得第二网络指标数据集，以便通过第二网络指标数据集和服务质量标签对第一网络模型进行训练。本公开通过第一网络指标数据集的第一频率矩阵对第一网络指标数据集是否适合作为第一网络模型的训练样本进行评估。训练样本进行评估。训练样本进行评估。
【技术实现步骤摘要】
数据处理方法、装置、电子设备和计算机可读存储介质
[0001]本公开涉及计算机与互联网
，尤其涉及一种数据处理方法及装置、电子设备和计算机可读存储介质。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]在移动通信
中，服务质量是衡量网络服务的一个非常重要的指标。为了较好的衡量网络的服务质量，相关技术通常需要专门设立项目对网络数据进行收集，以便对网络的服务质量进行衡量和评估。
[0004]但是，在通信网络中，某些行业对应的网络数据（如某些工业行业对应的网络数据）的获取难度和代价都是十分高的。例如有的行业（如实体工业）网络数据需要专门设立硬件设备进行收集和处理；有的行业网络数据比较散乱需要大量的人力物力进行整理和脱敏等。
[0005]总之，行业网络数据的收集和处理是非常困难的，这也就决定了在一些行业内，能够收集到的行业网络数据的数据量是非常少。那么如何高效利用网络数据以对网络质量进行准确评估是本申请要解决的技术问题。
技术实现思路
[0006]本公开的目的在于提供一种数据处理方法、装置、电子设备以及计算机可读存储介质，能够通过第一网络指标数据集在频域中对应的第一频率矩阵对第一网络指标数据集的数据质量进行评估，从而根据评估结果对第一网络指标数据集进行高效利用以预测网络的服务质量。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0008]本公开实施例提供了一种数据处理方法，包括：获取第一网络指标数据集和所述第一网络指标数据集对应的服务质量标签；获取待训练的第一网络模型；对所述第一网络指标数据集进行向量化处理，获得第一向量矩阵；通过傅里叶变换将所述第一向量矩阵映射到频域，获得第一频率矩阵；根据所述第一频率矩阵对所述第一网络指标数据集进行数据质量评估；根据数据质量评估结果对所述第一网络指标数据集进行数据量调整，获得第二网络指标数据集，以便通过所述第二网络指标数据集和所述服务质量标签对所述第一网络模型进行训练。
[0009]在一些实施例中，根据所述第一频率矩阵对所述第一网络指标数据集进行数据质量评估，包括：根据所述第一频率矩阵确定所述第一网络指标数据集对应的第一低频阈值；确定所述第一频率矩阵中频率值小于所述第一低频阈值的数据量与所述第一频率矩阵的总数据量的第一比值；如果所述第一比值大于第一比例阈值，则确定所述第一网络指标数
据集蕴含的训练信息不足；其中，根据数据质量评估结果对所述第一网络指标数据集进行数据量调整，获得第二网络指标数据集，包括：向所述第一网络指标数据集中增加数据，以获得所述第二网络指标数据集。
[0010]在一些实施例中，向所述第一网络指标数据集中增加数据，以获得所述第二网络指标数据集，包括：获取第三网络指标数据集；将所述第三网络指标数据集分为多个网络指标数据子集，所述多个网络指标数据子集包括第一网络指标数据子集；通过所述傅里叶变换将所述第一网络指标数据子集映射到频域，获得第二频率矩阵；根据所述第二频率矩阵确定所述第一网络指标数据子集对应的高频分量占比大于第二比例阈值；将所述第一网络指标数据子集添加至所述第一网络指标数据集中，以获得所述第二网络指标数据集。
[0011]在一些实施例中，根据所述第二频率矩阵确定所述第一网络指标数据子集对应的高频分量占比大于第二比例阈值，包括：根据所述第二频率矩阵确定所述第一网络指标数据集对应的第一高频阈值；确定所述第二频率矩阵中频率值大于所述第一高频阈值的数据量与所述第二频率矩阵的总数据量的第二比值；如果所述第二比值大于所述第二比例阈值，则确定所述第一网络指标数据子集对应的高频分量占比大于所述第二比例阈值。
[0012]在一些实施例中，根据所述第一频率矩阵对所述第一网络指标数据集进行数据质量评估，包括：根据所述第一频率矩阵确定所述第一网络指标数据集对应的第二高频阈值；确定所述第一频率矩阵中频率值大于所述第二高频阈值的数据量与所述第一频率矩阵的总数据量的第三比值；如果所述第三比值大于第三比例阈值，则确定所述第一网络指标数据集中蕴含的训练信息过多。
[0013]在一些实施例中，根据数据质量评估结果对所述第一网络指标数据集进行数据量调整，获得第二网络指标数据集，包括：将所述第一网络指标数据集作为所述第二网络指标数据集；其中，所述方法还包括：在确定所述第一网络指标数据集中蕴含的训练信息过多的情况下，在所述第一网络模型中减少正则化单元，获得第二网络模型，其中所述第二网络模型中的模型参数多于所述第一网络模型中的模型参数。
[0014]在一些实施例中，根据所述第一频率矩阵对所述第一网络指标数据集进行数据质量评估，包括：根据所述第一频率矩阵确定所述第一网络指标数据集对应的第三高频阈值和第二低频阈值；确定所述第一频率矩阵中频率值小于或者等于所述第三高频阈值且大于或者等于所述第二低频阈值的数据量与所述第一频率矩阵的总数据量的第四比值；确定所述第四比值大于第四比例阈值，则确定所述第一网络指标数据集中蕴含的训练信息不多且不少；其中，根据数据质量评估结果对所述第一网络指标数据集进行数据量调整，获得第二网络指标数据集，以便通过所述第二网络指标数据集和所述服务质量标签对所述第一网络模型进行训练，包括：将所述第一网络指标数据集作为所述第二网络指标数据集，以便通过所述第二网络指标数据集和所述服务质量标签对所述第一网络模型进行训练。
[0015]本公开实施例提供了一种数据处理装置，包括：数据集获取模块、网络获取模块、向量化处理模块、傅里叶变换处理模块、数据质量评估模块和数据量调整模块。
[0016]其中，所述数据集获取模块用于获取第一网络指标数据集和所述第一网络指标数据集对应的服务质量标签；所述网络获取模块可以用于获取待训练的第一网络模型；所述向量化处理模块可以用于对所述第一网络指标数据集进行向量化处理，获得第一向量矩
阵；所述傅里叶变换处理模块可以用于通过傅里叶变换将所述第一向量矩阵映射到频域，获得第一频率矩阵；所述数据质量评估模块可以用于根据所述第一频率矩阵对所述第一网络指标数据集进行数据质量评估；所述数据量调整模块可以用于根据数据质量评估结果对所述第一网络指标数据集进行数据量调整，获得第二网络指标数据集，以便通过所述第二网络指标数据集和所述服务质量标签对所述第一网络模型进行训练。
[0017]本公开实施例提出一种电子设备，该电子设备包括：存储器和处理器；所述存储器用于存储计算机程序指令；所述处理器调用所述存储器存储的所述计算机程序指令，用于实现上述任一项所述的数据处理方法。
[0018]本公开实施例提出一种计算机可读存储介质，其上存储有计算机程序指令，实现如上述任一项所述的数据处理方法。
[0019]本公开实施例提出一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序指令，该计算机程序指令存储在计算机可读本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取第一网络指标数据集和所述第一网络指标数据集对应的服务质量标签；获取待训练的第一网络模型；对所述第一网络指标数据集进行向量化处理，获得第一向量矩阵；通过傅里叶变换将所述第一向量矩阵映射到频域，获得第一频率矩阵；根据所述第一频率矩阵对所述第一网络指标数据集进行数据质量评估；根据数据质量评估结果对所述第一网络指标数据集进行数据量调整，获得第二网络指标数据集，以便通过所述第二网络指标数据集和所述服务质量标签对所述第一网络模型进行训练。2.根据权利要求1所述方法，其特征在于，根据所述第一频率矩阵对所述第一网络指标数据集进行数据质量评估，包括：根据所述第一频率矩阵确定所述第一网络指标数据集对应的第一低频阈值；确定所述第一频率矩阵中频率值小于所述第一低频阈值的数据量与所述第一频率矩阵的总数据量的第一比值；如果所述第一比值大于第一比例阈值，则确定所述第一网络指标数据集蕴含的训练信息不足；其中，根据数据质量评估结果对所述第一网络指标数据集进行数据量调整，获得第二网络指标数据集，包括：向所述第一网络指标数据集中增加数据，以获得所述第二网络指标数据集。3.根据权利要求2所述方法，其特征在于，向所述第一网络指标数据集中增加数据，以获得所述第二网络指标数据集，包括：获取第三网络指标数据集；将所述第三网络指标数据集分为多个网络指标数据子集，所述多个网络指标数据子集包括第一网络指标数据子集；通过所述傅里叶变换将所述第一网络指标数据子集映射到频域，获得第二频率矩阵；根据所述第二频率矩阵确定所述第一网络指标数据子集对应的高频分量占比大于第二比例阈值；将所述第一网络指标数据子集添加至所述第一网络指标数据集中，以获得所述第二网络指标数据集。4.根据权利要求3所述方法，其特征在于，根据所述第二频率矩阵确定所述第一网络指标数据子集对应的高频分量占比大于第二比例阈值，包括：根据所述第二频率矩阵确定所述第一网络指标数据集对应的第一高频阈值；确定所述第二频率矩阵中频率值大于所述第一高频阈值的数据量与所述第二频率矩阵的总数据量的第二比值；如果所述第二比值大于所述第二比例阈值，则确定所述第一网络指标数据子集对应的高频分量占比大于所述第二比例阈值。5.根据权利要求1所述方法，其特征在于，根据所述第一频率矩阵对所述第一网络指标数据集进行数据质量评估，包括：根据所述第一频率矩阵确定所述第一网络指标数据集对应的第二高频阈值；
确定所述第一频率矩阵中频率值大于所述第二高频阈值的数据量与所述第一频率矩阵的总数据量的第三比值；如果所述第三比值大于第三比例阈值...
【专利技术属性】
技术研发人员：熊奕洋，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。