一种交通共享数据校验方法和系统技术方案

本发明专利技术涉及一种交通共享数据校验方法及系统，包括：通过共享数据采集单元采集交通车辆信息数据，并将交通车辆信息数据发送至共享数据库系统；共享数据库系统接收到交通车辆信息数据并存储所述交通车辆信息数据；数据清洗转换系统提取共享数据库系统内存储的交通车辆信息数据，并清洗所述交通车辆信息数据，得到清洗后的交通车辆信息数据；中央处理终端对所述清洗后的交通车辆信息数据进行集中操控管理处理；交通共享数据质量规则建立单元基于所述清洗后的交通车辆信息数据建立规则；根据建立的规则检查所述清洗后的交通车辆信息数据的合理性和异常状态；基于根据预先配置的规则和质量检查标准，处理过程校验单元对数据处理过程的检查进行核验。理过程的检查进行核验。理过程的检查进行核验。

【技术实现步骤摘要】
一种交通共享数据校验方法和系统


[0001]本专利技术涉及共享数据校验
，具体为一种交通共享数据校验方法和系统。

技术介绍

[0002]交通运输在社会生产中分为生产过程的运输和流通过程的运输。交通的生产活动是实现人和物的位移及信息传输，交通生产设施有固定设施和流动设施之分。固定设施有线路、港、站、场、台，流动设施指车、船、飞机，交通共享数据是指交通中需要使用的数据信息，但现有的交通共享数据在储存时校验检查的效率较低，在对数据进行接收时数据的准确性校验效率较低。

技术实现思路

[0003]为了解决上述
技术介绍
提到的技术问题或者至少部分地解决上述技术问题，本申请提供一种交通共享数据校验方法，包括以下步骤：
[0004]S100、通过共享数据采集单元采集交通车辆信息数据，并将交通车辆信息数据发送至共享数据库系统；
[0005]S200、共享数据库系统接收到交通车辆信息数据并存储所述交通车辆信息数据；
[0006]步骤S200还包括：共享数据库系统接收源系统传输的源接口文件和数据，并传输给源接口数据校验单元进行数据核查，验证数据的差异性；
[0007]S300、数据清洗转换系统提取共享数据库系统内存储的交通车辆信息数据，并清洗所述交通车辆信息数据，得到清洗后的交通车辆信息数据；
[0008]所述清洗所述交通车辆信息数据包括检测和去除数据集中的噪声数据和无关数据，处理遗漏数据，去除空白数据和重复数据；
[0009]S400、中央处理终端对所述清洗后的交通车辆信息数据进行集中操控管理处理；
[0010]所述步骤S400包括以下步骤：
[0011]S410、路网属性数据校验单元将所述清洗后的交通车辆信息数据与原始数据进行比对校验；
[0012]S420、安全验证处理单元建立校验码，通过校验码对通信中的数据进行验证；
[0013]S500、交通共享数据质量规则建立单元基于所述清洗后的交通车辆信息数据建立规则；
[0014]所述交通共享数据质量规则建立单元建立的规则包括规则ID、规则名称、规则算法和规则阈值的判断准则；
[0015]S600、基于共享数据库系统获取共享数据库系统的模型约束、实体属性、实体关系和实体业务特征，并根据步骤S500建立的规则检查所述清洗后的交通车辆信息数据的合理性和异常状态，当所述清洗后的交通车辆信息数据合理且无异常状态时，所述清洗后的交通车辆信息数据正确可用；
[0016]S700、基于根据预先配置的规则和质量检查标准，处理过程校验单元对数据处理
过程的检查进行核验。
[0017]步骤S100具体包括以下步骤：
[0018]S110、采集共享数据；
[0019]S120、验证采集所述共享数据的完整性和接口协议的匹配性；
[0020]S130、对所述共享数据进行验证；
[0021]S140、获取所述共享数据的数据源，并基于所述数据源获取所述共享数据的测试方法；
[0022]S150、基于所述共享数据的测试方法对所述共享数据进行测试。
[0023]步骤S200具体包括以下步骤：
[0024]S210、将路网基本信息、车辆和船舶基本信息、从业人员基本信息存入共享数据库系统的共享数据库中；
[0025]S220、将交通业务数据存入共享数据库系统的业务库中；
[0026]S230、将车辆GPS数据、船舶AIS数据和交通地圈感知数据存入共享数据库系统的位置数据储存库中；
[0027]S240、将常用数据存入共享数据库系统的缓存库中。
[0028]所述步骤S300具体包括以下步骤：
[0029]S310、采用数据库适配器模式对数据进行抽取；
[0030]S320、对不完整数据、错误数据和重复数据进行校验并抽取处理；
[0031]S330、对不一致的数据类型进行转换。
[0032]所述步骤S200中所述源接口数据校验单元进行数据核查，具体包括以下步骤：验证数据的发送位置；在验证数据的发送位置出现异常时进行警报。
[0033]一种交通共享数据校验系统，用于执行本申请所述的一种交通共享数据校验方法，包括：共享数据采集单元、共享数据库系统、数据清洗转换系统、中央处理终端、交通共享数据质量规则建立单元、源接口数据校验单元、数据实体校验单元、处理过程校验单元、路网属性数据校验单元和安全验证处理单元，所述共享数据采集单元的输出端与共享数据库系统的输入端电性连接，所述共享数据库系统的输出端与数据清洗转换系统的输入端电性连接，所述数据清洗转化系统与中央处理终端双向连接，所述中央处理终端的输出端与交通共享数据质量校验规则建立单元的输入端电性连接，所述源接口数据校验单元与共享数据库系统双向连接，所述交通共享数据质量校验规则建立单元的输出端与数据实体校验单元的输入端电性连接，所述数据实体校验单元的输出端与处理过程校验单元的输入端电性连接，所述路网属性数据校验单元与中央处理终端双向连接，所述安全验证处理单元与中央处理终端双向连接。
[0034]所述共享数据采集单元包括共享数据采集测试模块、定义测试建立模块、测试模拟模块和执行测试模块，所述共享数据采集测试模块的输出端与定义测试建立模块的输入端电性连接，所述定义测试建立模块的输出端与测试模拟模块的输入端电性连接，所述测试模拟模块的输出端与执行测试模块的输入端的电性连接。
[0035]所述共享数据库系统包括共享数据库、业务库、位置类数据储存库和缓存库，所述共享数据库与业务库双向连接，所述共享数据库与位置类数据储存库双向连接，所述位置类数据储存库与缓存库双向连接。
[0036]所述数据清洗转换系统包括数据抽取模块、数据质量处理模块和数据转换模块，所述数据抽取模块的输出端与数据质量处理模块的输入端电性连接，所述数据质量处理模块的输出端与数据转换模块的输入端电性连接。
[0037]所述交通共享数据质量规则建立单元包括采集规则模块、监控规则模块、告警规则模块和审计规则模块，所述采集规则模块的输出端与监控规则模块的输入端电性连接，所述监控规则模块的输出端与告警规则模块的输入端电性连接，所述告警规则模块的输出端与审计规则模块的输入端电性连接。
[0038]本专利技术具有以下优点和有益效果：本专利技术通过加入了共享数据采集单元，实现了对接收内部的数据进行数据检测处理，对接收的数据进行校验处理，通过加入了数据清洗转换系统，实现了对不完整数据、错误数据和重复数据进行校验并抽取处理，对数据的准确性进行提升处理，通过加入了源接口数据校验单元，实现了对接入的数据发生异常时进行异常解决处理，对储存的共享数据进行预处理，通过加入了路网属性数据校验单元，实现了对录入的数据进行勘察，结合人工对数据进行检查处理，提高了共享数据的准确性。
附图说明
[0039]图1为本申请实施例提供的一种交通共享数据校验方法的流程示意图。
具体实施方式
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通共享数据校验方法，其特征在于，包括以下步骤：S100、通过共享数据采集单元采集交通车辆信息数据，并将交通车辆信息数据发送至共享数据库系统；S200、共享数据库系统接收到交通车辆信息数据并存储所述交通车辆信息数据；步骤S200还包括：共享数据库系统接收源系统传输的源接口文件和数据，并传输给源接口数据校验单元进行数据核查，验证数据的差异性；S300、数据清洗转换系统提取共享数据库系统内存储的交通车辆信息数据，并清洗所述交通车辆信息数据，得到清洗后的交通车辆信息数据；所述清洗所述交通车辆信息数据包括检测和去除数据集中的噪声数据和无关数据，处理遗漏数据，去除空白数据和重复数据；S400、中央处理终端对所述清洗后的交通车辆信息数据进行集中操控管理处理；步骤S400包括以下步骤：S410、路网属性数据校验单元将所述清洗后的交通车辆信息数据与原始数据进行比对校验；S420、安全验证处理单元建立校验码，通过校验码对通信中的数据进行验证；S500、交通共享数据质量规则建立单元基于所述清洗后的交通车辆信息数据建立规则；所述交通共享数据质量规则建立单元建立的规则包括规则ID、规则名称、规则算法和规则阈值的判断准则；S600、基于共享数据库系统获取共享数据库系统的模型约束、实体属性、实体关系和实体业务特征，并根据步骤S500建立的规则检查所述清洗后的交通车辆信息数据的合理性和异常状态，当所述清洗后的交通车辆信息数据合理且无异常状态时，所述清洗后的交通车辆信息数据正确可用；S700、基于根据预先配置的规则和质量检查标准，处理过程校验单元对数据处理过程的检查进行核验。2.根据权利要求1所述的交通共享数据校验方法，其特征在于，步骤S100具体包括以下步骤：S110、采集共享数据；S120、验证采集所述共享数据的完整性和接口协议的匹配性；S130、对所述共享数据进行验证；S140、获取所述共享数据的数据源，并基于所述数据源获取所述共享数据的测试方法；S150、基于所述共享数据的测试方法对所述共享数据进行测试。3.根据权利要求1所述的交通共享数据校验方法，其特征在于，步骤S200具体包括以下步骤：S210、将路网基本信息、车辆和船舶基本信息、从业人员基本信息存入共享数据库系统的共享数据库中；S220、将交通业务数据存入共享数据库系统的业务库中；S230、将车辆GPS数据、船舶AIS数据和交通地圈感知数据存入共享数据库系统的位置数据储存库中；
S240、将常用数据存入共享数据库系统的缓存库中。4.根据权利要求1所述的交通共享数据校验方法，其特征在于，步骤S300具体包括以下步骤：S310、采用数据库适配器模式对数据进行抽取；S320、对不完整数据、错...

【专利技术属性】
技术研发人员：何铁强，周卫峰，赵峰，王皓，郑倩，阎伟，
申请(专利权)人：天津市智能交通运行监测中心，
类型：发明
国别省市：