一种高速公路路段级数据中台系统技术方案

本说明书一个或多个实施例提供一种高速公路路段级数据中台系统，基于弹性多源异构数据资源的标准化，对路网领域的海量复杂数据提供一种多模处理计算框架，实现多维数据异构数据快速识别、精准融合、高效处理，结合人工智能和机器学习技术，面向高速公路行业提供分析、预测、决策支持服务，为管理部门对于路段交通情况及潜在危险事件的早发现、早预防、早解决提供智能化、强有力的解决手段，基于微服务架构的数据模型与业务模型共享融合、开发服务，支持二次开发和第三方合作伙伴的接入与扩展，形成以数据中台为核心的业务数据生态体系。形成以数据中台为核心的业务数据生态体系。形成以数据中台为核心的业务数据生态体系。

【技术实现步骤摘要】
一种高速公路路段级数据中台系统


[0001]本说明书一个或多个实施例涉及交通数据处理
，尤其涉及一种高速公路路段级数据中台系统。

技术介绍

[0002]我国高速公路经过近20年的发展和建设，到2018年底通车里程已突破14万公里。目前，国内各省高速公路日常运营管理相对比较粗放，各管理系统产生快速、大量、多元和多源异构的数据没有得到充分的挖掘和利用。对大数据分析技术的应用还仅仅局限于特定细分领域的热点问题解决方案探索；
[0003]现交通部2019年发布《数字交通发展规划纲要》，提出“数据为关键要素和核心驱动”。新型信息技术包括云计算、人工智能、数据挖掘、计算机视觉、深度学习等正在得到广泛应用。车路化协同、边缘计算等交通行业新技术的应用都以对海量的数据高效管理和使用为基础，整合交通资源，促进跨领域的资源共享与数据开放，当前高速公路领域信息化建设信息孤岛遍布，管理效率低下，需要构建一体化、人性化、便捷化的高效运营与服务生态系统。

技术实现思路

[0004]有鉴于此，本说明书一个或多个实施例的目的在于提出一种高速公路路段级数据中台系统，以解决高速公路领域信息化建设信息孤岛遍布，管理效率低下的问题。
[0005]基于上述目的，本说明书一个或多个实施例提供了一种高速公路路段级数据中台系统，包括：
[0006]采集模块和多源数据标准化接口，所述采集模块通过所述多源数据标准化接口进行高速公路数据信息的统一化、标准化采集；
[0007]存储模块，用于将所述采集模块采集的多种多样不同结构的高速公路数据进行分布式存储；
[0008]数据管理模块，用于对所述采集模块采集数据和存储模块存储数据进行数据管理，所述数据管理包括但不限于数据资源目录管理、数据质量管理和数据安全管理；
[0009]数据分析模块，用于根据业务需求，结合业务场景，匹配相应的AI算法模型，对存储模块存储的数据进行数据筛查和特征提取，得出分析结果；
[0010]API服务模块，用于向第三方平台提供接口，对各类场景服务的注册、发布、调度进行管理，并对正在运行的所有服务进行监控和管理；
[0011]门户服务模块，集成有应用系统、数据资源和网络资源，用于为数据提供统一的访问接口；
[0012]运维管理模块，用于对系统整体和性能进行监控，获取系统的综合性能指标，对系统使用的各种底层资源提供详细的性能监控。
[0013]优选地，数据来源包括基础数据、外部数据和运算数据，基础数据为高速公路路段
公司自有数据，外部数据为高速公路智能管控提供用户宏观数据信息支持，运算数据用于建立流量智能管控模型算法，形成路段流量预警和管控策略，实现路段交通状态和安全风险评估管理。
[0014]优选地，多源数据标准化接口原则上采用Web Service服务技术，利用SOAP传输协议，数据交换接口规范采用XML/json格式描述，对于二进制数据采用Base64方式进行编码。所述数据规范包括统一的分类编码，统一的数据采集规程，统一的数据质量标准，统一的数据格式，统一的元数据标准等。
[0015]优选地，存储模块，解决了海量数据存储的难题，其所具备的全分布式架构、数据块粒度切分、在线扩容减容、复制备份及普通PC硬件适用性等关键技术，支撑了安全的PB级以上规模数据在线存储，使安全、低成本、可任意扩容的大数据存储成为可能。存储模块还用于将结构化、半结构化、非结构化数据进行存储。存储模块还用于对每个数据区中的数据按照数据主题进行存储，数据主题包括但不限于项目主题、标签库主题。
[0016]优选地，数据资源目录管理包括目录注册、目录更新、元数据同步、主数据同步、目录查询、数据归档及恢复，数据质量管理包括数据质量检查规则、数据问题展示、任务管理，为第三方平台提供链路保障、环境及数据质量监测和定期报告，数据安全管理包括数据库状态监控、数据库审计、数据库风险扫描和访问控制，通过分层建设、分级防护，解决数据脱敏、追溯和审计问题，对敏感信息进行脱敏、变形。
[0017]优选地，数据分析模块还用于，对存储模块存储的数据进行数据筛查后，对筛查出的数据进行预处理，预处理包括：对筛查出的数据、图像、影像进行集合校准，以及转换数据格式。
[0018]优选地，特征提取包括：计算每个筛查后得到的数据的增益值，对每一个筛查后得到的数据的增益值进行从大到小排序，将增益值最大的个特征项输出到文件，将原始文档和待分类文档向量化，计算原始文档和待分类文档向量的夹角的余弦，在训练文本集中选出与新文本最相似的文本，形成特征级融合。
[0019]优选地，运维管理模块包括对集群网络、Hadoop系统、资源作业、Web服务、数据库监控、硬件设备、系统负载的监控，及预警报警和日志统计分析。
[0020]从上面所述可以看出，本说明书一个或多个实施例提供的高速公路路段级数据中台系统，实现高速公路运营管理业务数据数据深度融合组件技术，有利于业务系统以模块化方式在中台沉淀，以融合组件模式共享开放，降低了新增业务模块建设开发的成本与门槛，节省开发时间，并且实现企业经验能力的积累，更好的适应多遍的市场环境，提高应变能力与竞争力。
[0021]实现高速公路路段级数据中台设计方法，有利于通过研究高速公路跨领域、跨部门、跨平台数据中台技术，形成集数据资源管理、数据共享交换、数据标准化开放服务于一体的标准化数据指挥调度服务中枢平台，构筑数据综合指挥调度和分析服务技术基石，推动大数据技术在高速公路日常运营管理决策中的深度应用，有效提升高速公路日常运营管理决策水平。
附图说明
[0022]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将
对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本说明书一个或多个实施例的数据中台系统架构设计图；
[0024]图2为本说明书一个或多个实施例的采集模块、存储模块和数据交换模块的数据交换服务示意图；
[0025]图3为本说明书一个或多个实施例的数据管理模块的数据资源管理流程图；
[0026]图4为本说明书一个或多个实施例的数据分析模块的算法模型应用示例图；
[0027]图5为本说明书一个或多个实施例的API服务模块的应用开发过程管理示意图；
[0028]图6为本说明书一个或多个实施例的门户服务模块的用户服务示意图；
[0029]图7为本说明书一个或多个实施例的运维管理模块的系统安全管控示意图。
具体实施方式
[0030]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本公开进一步详细说明。
[0031]需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高速公路路段级数据中台系统，其特征在于，包括：采集模块和多源数据标准化接口，所述采集模块通过所述多源数据标准化接口进行高速公路数据信息的统一化、标准化采集；存储模块，用于将所述采集模块采集的多种多样不同结构的高速公路数据进行分布式存储；数据管理模块，用于对所述采集模块采集数据和存储模块存储数据进行数据管理，所述数据管理包括但不限于数据资源目录管理、数据质量管理和数据安全管理；数据分析模块，用于根据业务需求，结合业务场景，匹配相应的AI算法模型，对存储模块存储的数据进行数据筛查和特征提取，得出分析结果；API服务模块，用于向第三方平台提供接口，对各类场景服务的注册、发布、调度进行管理，并对正在运行的所有服务进行监控和管理；门户服务模块，集成有应用系统、数据资源和网络资源，用于为数据提供统一的访问接口；运维管理模块，用于对系统整体和性能进行监控，获取系统的综合性能指标，对系统使用的各种底层资源提供详细的性能监控。2.根据权利要求1所述的高速公路路段级数据中台系统，其特征在于，所述数据来源包括基础数据、外部数据和运算数据，所述基础数据为高速公路路段公司自有数据，所述外部数据为高速公路智能管控提供用户宏观数据信息支持，所述运算数据用于建立流量智能管控模型算法，形成路段流量预警和管控策略，实现路段交通状态和安全风险评估管理。3.根据权利要求1所述的高速公路路段级数据中台系统，其特征在于，所述多源数据标准化接口采用Web Service服务技术，利用SOAP传输协议，数据交换接口规范采用XML/json格式描述，对于二进制数据采用Base64方式进行编码，所述数据规范包括统一的分类编码，统一的数据采集规程，统一的数据质量标准，统一的数据格式和统一的元数据标准。4.根据权利要求1所述的高速公路路段级数...

【专利技术属性】
技术研发人员：张威奕，马浩，段洪琳，华翼，王兴成，
申请(专利权)人：招商新智科技有限公司，
类型：发明
国别省市：