【技术实现步骤摘要】
本专利技术属于智能网联领域，具体涉及一种路侧交通信号灯数据采集设备的数据质量判别方法。
技术介绍
1、随着智能网联汽车技术的快速发展，交通信号灯已成为城市道路交通安全和通行效率的主要控制手段，而信号灯数据也已成为智能网联汽车最迫切需要的路侧数据类型之一。但国内出于信息安全的考虑，很难推动信号灯数据的接口开放，在此背景下，已有越来越多的设备厂商转向投入路侧交通信号灯数据采集设备的研发和生产。
2、如中国专利cn104715609a涉及一种信号灯所在路口通行数据采集系统，包括ccd视觉传感器、去雾霾处理器、拥堵指数分析器、信号灯数据采集器和at89c51单片机，ccd视觉传感器对信号灯所在路口进行拍摄以获得路口图像，去雾霾处理器对路口图像进行清晰化处理以获得清晰化路口图像，拥堵指数分析器对清晰化路口图像进行图像处理以获得路口拥堵指数，信号灯数据采集器用于实时采集信号灯信息，at89c51单片机与拥堵指数分析器和信号灯数据采集器分别连接，以获得路口拥堵指数和信号灯信息。
3、诸如上述设计的路侧交通信号灯数据采集设备层出不穷，且均能够实现在各种天气下对信号灯所在路口通行数据进行采集。然而，目前现有的路侧交通信号灯数据采集设备采集到的部分信号灯数据普遍存在数据缺失率过高、灯色或倒计时跳变比例过高、端到端时延过大等问题，这些数据并不能满足智能网联环境下的数据上车要求。针对此问题，中国专利申请cn114862939a提供了一种数据处理方法，具体实现方案为：获取针对信号灯图像的标注数据；若所述标注数据中的遮挡属性表征信号
4、由于路侧交通信号灯数据采集设备采集到的部分信号灯数据并不能满足智能网联环境下的数据上车要求，此时就需要对接收到的信号灯数据进行数据质量判别，但目前并没有任何方法能够对采集到的信号灯数据进行质量检测。
技术实现思路
1、本申请所要解决的技术问题为：现有信号灯采集设备采集到的部分信号灯数据存在数据缺失率过高、灯色或倒计时跳变比例过高、端到端时延过大等问题，因此这些数据并不能够满足智能网联环境下的数据上车要求，但目前却没有任何方法能够对采集到的信号灯数据进行质量检测。
2、针对上述问题，本申请设计了一种路侧交通信号灯数据采集设备的数据质量判别方法，从数据存在性、数据唯一性、数据完整性、数据准确性和数据时效性、5个维度综合对信号灯数据进行质量判别，进而有效的提高路侧信号灯数据的可靠性及可用性。
3、一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，包括以下步骤：
4、步骤s1、在有信号灯控制的交叉口安装路侧交通信号灯数据采集设备；
5、步骤s2、路侧交通信号灯数据采集设备将采集的信号灯数据处理成结构化数据，并存储；
6、步骤s3、基于上述存储的信号灯数据，从数据存在性、数据唯一性、数据完整性、数据准确性和数据时效性、5个维度综合判断数据质量；
7、步骤s4、若以上5个维度的判别均完成，则结束整个数据质量判别流程，将所有判别的计算结果进行存储和备份。
8、优选的，所述步骤s3中基于结构化的信号灯数据依次进行5个维度的数据质量判别工作，具体包括：
9、步骤s3.1、第一步对数据存在性进行判别，通过采集数据量和理论数据量计算数据缺失率并统计结果；
10、步骤s3.2、第二步对数据唯一性进行判别，通过对关键字段出现重复信息的数据进行判断，计算数据重复率并统计结果；
11、步骤s3.3、第三步对数据完整性进行判别，通过对数据字段的完整性和数据发送间隔两项综合计算数据完整率并统计结果；
12、步骤s3.4、第四步对数据准确性进行判别，基于工程实践经验和用户调研结果，选择10项对智能网联汽车运行安全影响较大的数据质量问题，依次对倒计时跳变、灯色跳变、灯色一致性、灯组一致性、多个灯色开始时间为0、无灯色开始时间为0、灯组未包含3种灯色、倒计时超过阈值、持续时间超过阈值和倒计时持续不变进行判别，综合计算数据准确率并统计结果；若这10条有任意一条不满足，此数据准确性均定义为不满足；
13、步骤s3.5、第五步对数据时效性进行判别，通过对数据从路侧交通信号灯数据采集设备发送到中心端接收中间产生的时间差进行计算，进而计算存在时延问题数据的比例并统计结果。
14、优选的，所述步骤s3.1中的数据存在性的判断方法具体为：针对每个交叉口，计算数据缺失率＝(1-x/n)*100；
15、其中，x为选择时间段内的数据总条数；n为选择时间段内的数据理论条数。
16、优选的，所述步骤s3.2中的数据唯一性判断方法具体为：
17、步骤s3.2.1、若1条数据的灯组编号、数据发送时间完全相同，则判断其为重复数据；
18、步骤s3.2.2、针对每个交叉口，计算数据重复率＝k/x*100；其中，k为选择时间段内的重复数据总条数；x为选择时间段内的数据总条数；
19、优选的，所述步骤s3.3中的数据完整性判断方法包括以下步骤：
20、步骤s3.3.1、针对每个交叉口，判断每条数据的所有字段中是否存在空值或负值，若存在则判断其为字段空值数据；
21、步骤s3.3.2、针对每个交叉口，将同一灯组编号的数据按照数据发送时间升序排列；计算数据发送间隔t，t＝t1-t2；若t超过设定的时间间隔阈值时，则认为该条数据为超时数据；其中，t1为当前数据的发送时间，t2为上一条数据的发送时间，时间间隔阈值为80～120ms；
22、步骤s3.3.3、针对每个交叉口，计算数据完整率，数据完整率＝(i1+i2)/x*100；若1条数据同时判别出多项问题，则在计算完整率时仅计入1次；其中，i1为选择时间段内的字段空值数据总条数，i2为选择时间段内的超时数据总条数，x为选择时间段内的数据总条数。
23、优选的，所述步骤s3.4中的数据准确性的判断方法包括以下步骤：
24、步骤s3.4.1、判别倒计时跳变：针对每个交叉口，将同一灯组编号的数据按照数据发送时间升序排列；计算倒计时差值c，c＝c1-c2；其中，c1为当前数据的倒计时，c2为上一条数据的倒数时；若c超过设定的时间差值阈值时，则认为该条数据存在倒计时跳变；其中，时间差值阈值为0～4s；
25、步骤s3.4.2、判别灯色跳变：针对每个交叉口，将同一灯组编号的数据按照数据发送时间升序排列；判断信号灯灯色的变化顺序是否为“红灯-绿灯-黄灯-红灯”，若不是则认为该条数据本文档来自技高网...
【技术保护点】
1.一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，所述步骤S3中基于结构化的信号灯数据依次进行5个维度的数据质量判别工作，具体包括：
3.根据权利要求2所述的一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，所述步骤S3.1中的数据存在性的判断方法具体为：针对每个交叉口，计算数据缺失率＝(1-x/n)*100；
4.根据权利要求3所述的一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，所述步骤S3.2中的数据唯一性判断方法具体为：
5.根据权利要求3所述的一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，所述步骤S3.3中的数据完整性判断方法包括以下步骤：
6.根据权利要求3所述的一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，所述步骤S3.4中的数据准确性的判断方法包括以下步骤：
7.根据权利要求3所述的一种路侧交通信号灯数据采集设备的数据质
...【技术特征摘要】
1.一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，所述步骤s3中基于结构化的信号灯数据依次进行5个维度的数据质量判别工作，具体包括：
3.根据权利要求2所述的一种路侧交通信号灯数据采集设备的数据质量判别方法，其特征在于，所述步骤s3.1中的数据存在性的判断方法具体为：针对每个交叉口，计算数据缺失率＝(1-x/n)*100；
4.根据权利要求3所述的一种路侧交通信号灯数据采集设备的...
【专利技术属性】
技术研发人员：王逸凡，丁婉婷，苏贵民，黄晓艳，李海勇，李效松，
申请(专利权)人：上海淞泓智能汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。