一种数据检测的方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种数据检测的方法、装置、电子设备及存储介质，该方法包括：根据预设的多个类型的清洗标准对原始数据进行清洗，得到清洗后的待检测数据；根据待检测数据的数量和预设的数量阈值，使用对应的目标分类模型对待检测数据进行分类，得到初选有效数据；根据初选有效数据中包含的用户标识，确定各个用户对应的初选有效数据；若存在目标用户对应有多个连续检测的目标初选有效数据，根据目标初选有效数据所在组内其他初选有效数据，确定出终选有效数据；响应针对终选有效数据的确认操作，在所述终选有效数据确认有效时，根据终选有效数据生成指导意见。本申请方法能够有效去除原始数据中的无效数据，使得生成的指导意见更加的准确。的准确。的准确。

【技术实现步骤摘要】
一种数据检测的方法、装置、电子设备及存储介质


[0001]本申请涉及数据检测
，具体而言，涉及一种数据检测的方法、装置、电子设备及存储介质。

技术介绍

[0002]电子视力表是儿童青少年可实现随时随地自测视力的便捷视力产品。为了关注用户视力变化，适时提醒用户保护视力健康，通过获取视力检测记录以及用屏时长等数据，跟踪用户的用眼习惯和视力变化，分析用户视力变化的周期和可能原因，并对视力不良风险上升的用户进行护眼提醒，培养用户持续使用护眼产品的习惯，持续使用的用户群体往往也会更加重视视力变化并注重眼健康。如此正向循环模式下的电子视力表应用为提升产品定位群体对视力健康的关注度具有显著意义。
[0003]通过电子视力表检测得到的数据对于厂商对于产品升级和科研等项目具有重要意义。但是电子视力表得到的数据中存在异常数据或者无效数据，如果不对这些数据进行区分的话，将会对产品升级和科研工作带来负面的影响，所以对于电子视力表的数据进行检测是非常有必要的。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种数据检测的方法、装置、电子设备及存储介质，以克服现有技术中的问题。
[0005]第一方面，本申请实施例提供了一种数据检测的方法，通过终端设备提供一图形用户界面，所述方法包括：针对所有用户通过电子视力表检测得到的原始数据，根据预设的多个类型的清洗标准对所述原始数据进行清洗，得到清洗后的待检测数据；根据所述待检测数据的数量和预设的数量阈值，使用与该待检测数据对应的目标分类模型对所述待检测数据的有效率性进行分类，得到所述待检测数据的分类结果；所述分类结果包括初选有效数据和无效数据；根据所述初选有效数据中包含的用户标识，确定各个用户对应的所述初选有效数据；若存在任一目标用户对应有多个连续检测的目标初选有效数据，根据所述目标初选有效数据所在组内其他初选有效数据，对该目标用户的多个目标初选有效数据进行筛选，确定出所述目标用户的终选有效数据，并在所述图形用户界面显示所述终选有效数据；响应用户针对所述终选有效数据的确认操作，在所述终选有效数据确认有效时，通过对各个用户的终选有效数据进行分析，为后续工作生成指导意见。
[0006]在本申请一些技术方案中，上述目标分类模型为分类预测模型，所述分类预测模型为组合学习器，所述组合学习器包括多个子学习器；所述根据所述待检测数据的数量和预设的数量阈值，使用与该待检测数据对应的目标分类模型对所述待检测数据的有效率性进行分类，包括：
若所述待检测数据的数量大于等于预设的数量阈值，使用各个子学习器分别对所述待检测数据的有效率性进行判断；根据各个子学习器的判断结果，对所述待检测数据的有效率性进行分类。
[0007]在本申请一些技术方案中，上述方法通过以下方式得到所述分类预测模型：获取训练数据，并根据所述训练数据中首检眼别数据，将所述训练数据划分为正样本数据和负样本数据；根据预设的宽表列表中包含的各个特征，分别确定出所述正样本数据和所述负样本数据中包含的初始特征数据，并从所述初始特征数据中筛选出目标特征数据；根据所述正样本数据的目标特征数据和所述负样本数据的目标特征数据，构建多个训练样本；使用各个训练样本生成对应的决策树，并使用决策树对初始学习器进行训练，得到该决策树对应的子学习器；对各个所述决策树对应的子学习器进行整合，得到所述分类预测模型。
[0008]在本申请一些技术方案中，上述目标分类模型为距离计算模型，所述根据所述待检测数据的数量和预设的数量阈值，使用与该待检测数据对应的目标分类模型对所述待检测数据的有效率性进行分类，包括：若所述待检测数据的数量小于预设的数量阈值，使用预设的所述距离计算模型计算所述待检测数据与预设的对比样本数据之间的距离；根据所述待检测数据与预设的目标对比样本数据之间的距离，对所述待检测数据的有效率性进行分类。
[0009]在本申请一些技术方案中，上述方法通过以下方式得到所述距离计算模型：获取多组训练数据，并计算各组所述训练数据的中心数据与初始计算模型中初始对比样本数据之间的距离；根据该组中心数据的训练属性的类型，对初始对比样本数据进行调整，直至所述中心数据与初始计算模型中初始对比样本数据之间的距离小于等于预设的距离阈值，得到目标对比样本数据；将包含有目标对比样本数据的计算模型作为所述距离计算模型。
[0010]在本申请一些技术方案中，上述根据所述目标初选有效数据所在组内其他初选有效数据，对该目标用户的多个目标初选有效数据进行筛选，确定出所述目标用户的终选有效数据，包括：根据所述目标初选有效数据所在组内其他初选有效数据，确定出异常临界值；将所述目标初选有效数据中未超过所述异常临界值的数据作为第一再选有效数据，并从所述第一再选有效数据中，确定出所述目标用户的终选有效数据；响应针对所述目标初选有效数据中超过所述异常临界值数据的确认操作，确定超过所述异常临界值数据是否为有效数据。
[0011]在本申请一些技术方案中，上述从所述第一再选有效数据中，确定出所述目标用户的终选有效数据，包括；根据所述目标初选有效数据所在组内其他初选有效数据中各个视标对应的迟疑时长，确定出所述目标初选有效数据所在的组对应的迟疑时长变异系数值；
根据各个所述目标初选有效数据中各个视标对应的迟疑时长和所述迟疑时长变异系数值，确定该目标初选有效数据的波动系数阈值；将所述第一再选有效数据中未超过所述波动系数阈值的数据作为第二再选有效数据，并从所述第二再选有效数据中，确定出所述目标用户的终选有效数据；响应针对所述第一再选有效数据中超过所述波动系数阈值数据的确认操作，确定超过所述波动系数阈值数据是否为有效数据。
[0012]在本申请一些技术方案中，上述所述第二再选有效数据中，确定出所述目标用户的终选有效数据，包括：若所述第二再选有效数据与历史有效数据同眼别最值差小于预设置信阈值且与最近一次历史有效数据的时间间隔小于预设的时间区间，将该第二再选有效数据作为所述目标用户的终选有效数据；否则，响应针对第二再选有效数据的确认操作，确定所述第二再选有效数据是否有效。
[0013]第二方面，本申请实施例提供了一种数据检测的装置，所述装置包括：清洗模块，用于针对所有用户通过电子视力表检测得到的原始数据，根据预设的多个类型的清洗标准对所述原始数据进行清洗，得到清洗后的待检测数据；第一筛选模块，用于根据所述待检测数据的数量和预设的数量阈值，使用与该待检测数据对应的目标分类模型对所述待检测数据的有效率性进行分类，得到所述待检测数据的分类结果；所述分类结果包括初选有效数据和无效数据；第二筛选模块，用于根据所述初选有效数据中包含的用户标识，确定各个用户对应的所述初选有效数据；若存在任一目标用户对应有多个连续检测的目标初选有效数据，根据所述目标初选有效数据所在组内其他初选有效数据，对该目标用户的多个目标初选有效数据进行筛选，确定出所述目标用户的终选有效数据，并在所述图形用户界面显示所述终选有效数据；分析模块，用于响应用户针对所述终选有效数据的确认操作，在所述终选有效数据确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据检测的方法，其特征在于，通过终端设备提供一图形用户界面，所述方法包括：针对所有用户通过电子视力表检测得到的原始数据，根据预设的多个类型的清洗标准对所述原始数据进行清洗，得到清洗后的待检测数据；根据所述待检测数据的数量和预设的数量阈值，使用与该待检测数据对应的目标分类模型对所述待检测数据的有效率性进行分类，得到所述待检测数据的分类结果；所述分类结果包括初选有效数据和无效数据；根据所述初选有效数据中包含的用户标识，确定各个用户对应的所述初选有效数据；若存在任一目标用户对应有多个连续检测的目标初选有效数据，根据所述目标初选有效数据所在组内其他初选有效数据，对该目标用户的多个目标初选有效数据进行筛选，确定出所述目标用户的终选有效数据，并在所述图形用户界面显示所述终选有效数据；响应用户针对所述终选有效数据的确认操作，在所述终选有效数据确认有效时，通过对各个用户的终选有效数据进行分析，为后续工作生成指导意见。2.根据权利要求1所述的方法，其特征在于，所述目标分类模型为分类预测模型，所述分类预测模型为组合学习器，所述组合学习器包括多个子学习器；所述根据所述待检测数据的数量和预设的数量阈值，使用与该待检测数据对应的目标分类模型对所述待检测数据的有效率性进行分类，包括：若所述待检测数据的数量大于等于预设的数量阈值，使用各个子学习器分别对所述待检测数据的有效率性进行判断；根据各个子学习器的判断结果，对所述待检测数据的有效率性进行分类。3.根据权利要求2所述的方法，其特征在于，所述方法通过以下方式得到所述分类预测模型：获取训练数据，并根据所述训练数据中首检眼别数据，将所述训练数据划分为正样本数据和负样本数据；根据预设的宽表列表中包含的各个特征，分别确定出所述正样本数据和所述负样本数据中包含的初始特征数据，并从所述初始特征数据中筛选出目标特征数据；根据所述正样本数据的目标特征数据和所述负样本数据的目标特征数据，构建多个训练样本；使用各个训练样本生成对应的决策树，并使用决策树对初始学习器进行训练，得到该决策树对应的子学习器；对各个所述决策树对应的子学习器进行整合，得到所述分类预测模型。4.根据权利要求1所述的方法，其特征在于，所述目标分类模型为距离计算模型，所述根据所述待检测数据的数量和预设的数量阈值，使用与该待检测数据对应的目标分类模型对所述待检测数据的有效率性进行分类，包括：若所述待检测数据的数量小于预设的数量阈值，使用预设的所述距离计算模型计算所述待检测数据与预设的对比样本数据之间的距离；根据所述待检测数据与预设的目标对比样本数据之间的距离，对所述待检测数据的有效率性进行分类。5.根据权利要求4所述的方法，其特征在于，所述方法通过以下方式得到所述距离计算
模型：获取多组训练数据，并计算各组所述训练数据的中心数据与初始计算模型中初始对比样本数据之间的距离；根据该组中心数据的训练属性的类型，对初始对比样本数据进行调整，直至所述中心数据与初始计算模型中初始对比样本数据之间的距离小于等于预设的距离阈值，得到目标对比样本数据；将包含有目标对比样本数据的计算模型作为所述距离计算模型。6.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：洪永婷，张佳翊，梁伟，史磊，温博，李永鹏，
申请(专利权)人：京东方艺云苏州科技有限公司，
类型：发明
国别省市：