【技术实现步骤摘要】
一种数据检测方法及装置
本申请涉及数据检测
，特别涉及一种数据检测方法及装置。
技术介绍
随着智能交通系统的不断发展及广泛应用，其城市交通诱导应用也逐步走向智能化和动态化，在此基础上，智能交通系统通过每隔预定时间(如2分钟或5分钟)获取城市当前的交通数据，并及时发布，以便用户能够及时的了解其所在城市当前的路况信息。由于目前交通数据发布较为频繁，积累了大量的历史交通数据，因此，可以通过对历史交通数据进行不同粒度、不同维度的分析，得到城市道路的交通运行规律，从而为城市交通信息的填补及预测提供重要的依据。目前，直接对城市的所有历史交通数据进行典型性分析，得到每条道路在每一类典型日对应的每个统计时段的交通信息。在实际应用中，由于各种因素(如天气、交通事故等)均会导致城市历史交通数据中的部分数据为异常数据，这部分异常数据实际可能并不能真实反映道路的交通情况，目前的技术方案无法对这些异常数据进行检测，因此，直接对城市的所有历史交通数据进行典型性分析得到每条道路在每一类典型日对应的每个统计时段的交通信息并不准确。
技术实现思路
针对现有技术存在的所述技术问题，在根据历史交通数据分析各道路在每一类典型日对应的每一个统计时段的交通信息之前，本申请提供一种数据检测方法及装置，将城市历史交通数据中的异常数据检测出来，以确保用于分析典型性的历史交通数据均是能够较为真实反映道路交通情况的数据，从而提高分析结果的准确性。本申请提供了一种数据检测方法，包括：获取目标数据，所述目标数据包括一目标道路在预设统计周期内每一天的历史交通数据；按照预置的典型日类型，从所述目标数据中，筛选出发布...
【技术保护点】
一种数据检测方法，其特征在于，包括：获取目标数据，所述目标数据包括一目标道路在预设统计周期内每一天的历史交通数据；按照预置的典型日类型，从所述目标数据中，筛选出发布日期符合所述典型日类型的历史交通数据；对典型日类型相同且在预置的同一统计时段内的历史交通数据进行第一异常检测，得到第一异常检测结果；对发布日期符合典型日类型的每一天的历史交通数据进行第二异常检测，得到第二异常检测结果；将所述第一异常检测结果及所述第二异常检测结果，确定为所述目标数据的异常数据检测结果。
【技术特征摘要】
1.一种数据检测方法，其特征在于，包括：获取目标数据，所述目标数据包括一目标道路在预设统计周期内每一天的历史交通数据；按照预置的典型日类型，从所述目标数据中，筛选出发布日期符合所述典型日类型的历史交通数据；对典型日类型相同且在预置的同一统计时段内的历史交通数据进行第一异常检测，得到第一异常检测结果；对发布日期符合典型日类型的每一天的历史交通数据进行第二异常检测，得到第二异常检测结果；将所述第一异常检测结果及所述第二异常检测结果，确定为所述目标数据的异常数据检测结果；其中，所述统计时段获取方式包括：按照发布时间由早到晚的顺序，依次获取一天发布的所有历史交通数据N个，从第一个历史交通数据开始，计算前两个历史交通数据的标准差，若标准差大于等于预设阈值则将前两个历史交通数据作为一个历史交通数据组合，若标准差小于预设阈值，则加入第三个历史交通数据，计算前三个历史交通数据的标准差，若标准差大于等于预设阈值则将前三个历史交通数据作为一个历史交通数据组合，若小于预设阈值则加入第四个历史交通数据并计算前四个历史交通数据的标准差，依此类推，直到加入第m个历史交通数据之后标准差大于等于预设阈值，此时，将该m个历史交通数据作为一个历史交通数据组合，之后选取第m+1个及第m+2个历史交通数据继续进行下一个历史交通数据组合的确定，直到所述目标数据中每一天的历史交通数据中的所有历史交通数据均被选取处理完毕，将最终得到的每个历史交通数据组合对应的历史交通数据的采集时间点组合成一时间段，每个时间段确定为一个统计时段。2.根据权利要求1所述的方法，其特征在于，所述对典型日类型相同且在预置的同一统计时段内的历史交通数据进行第一异常检测，得到第一异常检测结果，包括：确定典型日类型相同且在预置的同一统计时段内的每个历史交通数据的U统计量及拒绝域临界值；判断所述U统计量是否大于其拒绝域临界值，若是，则确定所述历史交通数据异常，否则，确定所述历史交通数据正常。3.根据权利要求1所述的方法，其特征在于，所述对发布日期符合典型日类型的每一天的历史交通数据进行第二异常检测，得到第二异常检测结果，包括：对发布日期符合典型日类型的每一天的历史交通数据执行以下步骤：将同一天的历史交通数据按照发布时间进行划分，得到历史交通数据序列；确定历史交通数据序列中每个历史交通数据的U统计量及其拒绝域临界值；判断所述U统计量是否大于其拒绝域临界值，若是，则确定所述历史交通数据异常，否则，确定所述历史交通数据正常。4.根据权利要求3所述的方法，其特征在于，将同一天的历史交通数据按照发布时间进行划分，得到历史交通数据序列，包括：将同一天的历史交通数据中，发布时间处于同一发布时间段的历史交通数据划分到同一历史交通数据子序列中；从第一个历史交通数据子序列开始，依次获取相邻两个历史交通数据子序列的历史交通数据均值μ和方差σ，其中，xi为历史交通数据子序列中第i个历史交通数据的取值，n为所述历史交通数据子序列中历史交通数据取值的个数；判断相邻两个历史交通数据子序列的均值μ和方差σ是否均对应相等，若是，将所述两个历史交通数据子序列合并作为一个历史交通数据序列，否则，将上述两个历史交通数据子序列分别作为历史交通数据序列。5.根据权利要求2或3所述的方法，其特征在于，确定历史交通数据的U统计量，包括：根据确定所述历史交通数据的U统计量；其中，U为所述历史交通数据的U统计量，yi为第i个所述历史交通数据的取值，n′为典型日类型相同且在预置的同一统计时段内历史交通数据的个数，或者，n′为数据序列中的历史交通数据的个数，其中其中，确定所述历史交通数据的拒绝域临界值，包括：根据P(|U|＞μα/2)＝α和预置的状态分布表，确定拒绝域临界值μα/2，其中，α为预设的检验水平值。6.根据权利要求1所述的方法，其特征在于，在将所述第一异常检测结果及所述第二异常检测结果，确定为所述目标数据的异常数据检测结果之后，所述方法还包括：根据典型日类型相同且在预置的同一统计时段内的正常的历史交通数据，利用获取均值μ；其中，n″为典型日类型相同且在预置的同一统计时段内的正常历史交通数据的取值个数，zi为第i个所述正常的历史交通数据的取值；将所述均值μ确定为属于所述典型日类型的典型日的所述预置的同一统计时段的交通数据统计值。7.根据权利要求6所述的方法，其特征在于，在将所述均值μ确定为属于所述典型日类型的典型日的所述预置的同一统计时段的交通数据统计值之后，所述方法还包括：对于每个典型日，判断所述典型日的预置的同一统计时段是否缺失交通数据统计值；在所述典型日的预置的同一统计时段缺失交通数据统计值时，依据所述统计时段的前一个统计时段和后一个统计时段的交通数据统计值，填补所述统计时段的交通数据统计值。8.根据权利要求6所述的方法，其特征在于，在将所述均值μ确定为属于所述典型日类型的典型日的所述预置的同一统计时段的交通数据统计值之后，所述方法还包括：对于每个典型日，判断所述典型日的预置的同一统计时段的交通数据统计值是否超出预设的阈值范围；在所述典型日的预置的同一统计时段的交通数据统计值超出预设的阈值范围时，确定所述统计时段的交通数据统计值为突变值，根据该统计时段的前一个统计时段和后一个统计时段的交通数据统计值，对所述统计时段的交通数据统计值进行平滑处理。9.一种数据检测装置，其特征在于，包括：数据获取模块，用于获取目标数据，所述目标数据包括一目标道路在预设统计周期内每一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。