国地标数据的转发方法、装置、平台及存储介质制造方法及图纸

技术编号:37766497 阅读:15 留言:0更新日期:2023-06-06 13:27
本申请涉及新能源汽车大数据技术领域,特别涉及一种国地标数据的转发方法、装置、平台及存储介质,其中,方法包括以下步骤:获取目标国地标数据的转发需求;根据转发需求创建目标国地标数据的源端数据源、源端数据集、目标端数据源、目标转发任务,并编辑目标国地标数据的处理节点;若源端数据集中更新有源端数据源发送的目标国地标数据,则触发目标转发任务,利用处理节点对目标国地标数据进行数据处理后,转发目标国地标数据至目标端数据源。由此,解决了相关技术中框架扩展性灵活性较差,难以快速迭代更新等问题。快速迭代更新等问题。快速迭代更新等问题。

【技术实现步骤摘要】
国地标数据的转发方法、装置、平台及存储介质


[0001]本申请涉及新能源汽车大数据
,特别涉及一种国地标数据的转发方法、装置、平台及存储介质。

技术介绍

[0002]随着智联网汽车业务的发展,生态合作成为主流趋势,基于数据共享的业务创新需求日益旺盛。如何将智能网联汽车的数据安全、可控、高效的转发给第三方合作伙伴成为亟待解决的问题。同时,新能源汽车发展迅速保有量日益增加,基于国家监管要求,新能源汽车生产企业需建立新能源汽车产品运行安全状态监测平台,对已销售的全部新能源汽车产品的运行状态进行监测并与国家新能源汽车监管平台以及地方平台对接。
[0003]相关技术中大数据接收系统通过NGINX服务器,接收来自不同前端设备采集的数据,然后对前端数据进行分类清洗,将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅,最后当大数据平台接收到订阅请求时,数据转发系统从kafka中获取订阅数据并发送至大数据平台。但是,该方法整体框架扩展性灵活性差,数据源、数据模型转换、目标平台等转发链路任一节点变化都需要重新设计开发,难以实现快速迭代更新。

技术实现思路

[0004]本申请提供一种国地标数据的转发方法、装置、平台及存储介质,以解决相关技术中框架扩展性灵活性较差,难以快速迭代更新等问题。
[0005]本申请第一方面实施例提供一种国地标数据的转发方法,所述方法应用于国地标数据智能转发平台,包括以下步骤:获取目标国地标数据的转发需求;根据所述转发需求创建所述目标国地标数据的源端数据源、源端数据集、目标端数据源、目标转发任务,并编辑所述目标国地标数据的处理节点;若所述源端数据集中更新有所述源端数据源发送的目标国地标数据,则触发所述目标转发任务,利用所述处理节点对所述目标国地标数据进行数据处理后,转发所述目标国地标数据至所述目标端数据源。
[0006]根据上述技术手段,本申请实施例可以根据目标国地标数据的转发需求创建源端数据源、源端数据集、目标端数据源、目标转发任务并且编辑处理节点,判断当源端数据集中更新有目标国地标数据时,触发转发任务,数据将自动转发至目标数据源,实现快速转发,灵活性好,提高了转发任务构建效率。
[0007]进一步地,所述根据所述转发需求创建所述目标国地标数据的源端数据源、源端数据集、目标端数据源、目标转发任务,包括:识别所述转发需求中的数据类型,根据所述数据源类型配置数据源名称、地址、数据库端口和时区,以创建得到所述源端数据源和所述目标端数据源;根据所述转发需求将图形化节点元素拖拽至预设任务编排画布区域,实现转发任务所有链路节点排布,并根据所述目标国标数据转发任务的数据流向建立源端数据节点,以创建得到所述目标转发任务;加载MongoDB中的集合的schema,将加载后的schema作为元数据存储在预设中间库,并提供预设前端调用接口,以创建得到所述源端数据集。
[0008]根据上述技术手段,本申请实施例可以根据不同的数据源类型进行配置数据源名称,地址,数据库端口,时区等参数,得到源端数据源和目标端数据源,并且可实现转发任务可视化编排以及提供前端调用的接口,灵活可配置,兼容性强,能够满足日益增长的数据转发需求。
[0009]进一步地,所述目标转发任务为:利用第一预设处理节点完成源端数据节点的源端数据格式转化;利用第二预设处理节点筛选符合预设转发范围内车辆采集的目标国地标数据;利用第三预设处理节点转换所述源端数据节点的报文格式;利用所述第一预设处理节点,根据源端采集时间戳和当前时间判断是否大于预设时长、且是否为补发数据,若是,则拼装得到所述目标端数据源的报文头。
[0010]根据上述技术手段,本申请实施例利用不同的处理节点对目标转发任务中的数据进行处理,从而得到所需的目标端数据源的报头文。
[0011]进一步地,在创建得到所述源端数据源和所述目标端数据源之后,还包括:对所述源端数据源和所述目标端数据源进行预设连接通过测试,并在测试通过后,分别配置源端和目标端的账户权限,并启用所述源端数据源和所述目标端数据源。
[0012]根据上述技术手段,本申请实施例在创建源端数据源和目标端数据源后需要进行测试连接后,配置账户权限,启用源端数据源和目标端数据源,避免后续进行目标任务转发时出现错误。
[0013]本申请第二方面实施例提供一种国地标数据的转发装置,所述装置应用于国地标数据智能转发平台,包括:获取模块,用于获取目标国地标数据的转发需求;配置模块,用于根据所述转发需求创建所述目标国地标数据的源端数据源、源端数据集、目标端数据源、目标转发任务,并编辑所述目标国地标数据的处理节点;转发模块,用于若所述源端数据集中更新有所述源端数据源发送的目标国地标数据,则触发所述目标转发任务,利用所述处理节点对所述目标国地标数据进行数据处理后,转发所述目标国地标数据至所述目标端数据源。
[0014]进一步地,所述配置模块用于:识别所述转发需求中的数据类型,根据所述数据源类型配置数据源名称、地址、数据库端口和时区,以创建得到所述源端数据源和所述目标端数据源;根据所述转发需求将图形化节点元素拖拽至预设任务编排画布区域,实现转发任务所有链路节点排布,并根据所述目标国标数据转发任务的数据流向建立源端数据节点,以创建得到所述目标转发任务;加载MongoDB中的集合的schema,将加载后的schema作为元数据存储在预设中间库,并提供预设前端调用接口,以创建得到所述源端数据集。
[0015]进一步地,所述目标转发任务为:利用第一预设处理节点完成源端数据节点的源端数据格式转化;利用第二预设处理节点筛选符合预设转发范围内车辆采集的目标国地标数据;利用第三预设处理节点转换所述源端数据节点的报文格式;利用所述第一预设处理节点,根据源端采集时间戳和当前时间判断是否大于预设时长、且是否为补发数据,若是,则拼装得到所述目标端数据源的报文头。
[0016]进一步地,还包括:测试模块,用于在创建得到所述源端数据源和所述目标端数据源之后,对所述源端数据源和所述目标端数据源进行预设连接通过测试,并在测试通过后,分别配置源端和目标端的账户权限,并启用所述源端数据源和所述目标端数据源。
[0017]本申请第三方面实施例提供一种国地标数据的转发平台,包括:存储器、处理器及
存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的国地标数据的转发方法。
[0018]本申请第四方面实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行,以用于实现如上述实施例所述的国地标数据的转发方法。
[0019]由此,本申请至少具有如下有益效果:
[0020](1)本申请实施例可以根据目标国地标数据的转发需求创建源端数据源、源端数据集、目标端数据源、目标转发任务并且编辑处理节点,判断当源端数据集中更新有目标国地标数据时,触发转发任务,数据将自动转发至目标数据源,实现快速转发,灵活性好,提高了转发任务构建本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种国地标数据的转发方法,其特征在于,所述方法应用于国地标数据智能转发平台,其中,所述方法包括以下步骤:获取目标国地标数据的转发需求;根据所述转发需求创建所述目标国地标数据的源端数据源、源端数据集、目标端数据源、目标转发任务,并编辑所述目标国地标数据的处理节点;若所述源端数据集中更新有所述源端数据源发送的目标国地标数据,则触发所述目标转发任务,利用所述处理节点对所述目标国地标数据进行数据处理后,转发所述目标国地标数据至所述目标端数据源。2.根据权利要求1所述的方法,其特征在于,所述根据所述转发需求创建所述目标国地标数据的源端数据源、源端数据集、目标端数据源、目标转发任务,包括:识别所述转发需求中的数据类型,根据所述数据源类型配置数据源名称、地址、数据库端口和时区,以创建得到所述源端数据源和所述目标端数据源;根据所述转发需求将图形化节点元素拖拽至预设任务编排画布区域,实现转发任务所有链路节点排布,并根据所述目标国标数据转发任务的数据流向建立源端数据节点,以创建得到所述目标转发任务;加载MongoDB中的集合的schema,将加载后的schema作为元数据存储在预设中间库,并提供预设前端调用接口,以创建得到所述源端数据集。3.根据权利要求2所述的方法,其特征在于,所述目标转发任务为:利用第一预设处理节点完成源端数据节点的源端数据格式转化;利用第二预设处理节点筛选符合预设转发范围内车辆采集的目标国地标数据;利用第三预设处理节点转换所述源端数据节点的报文格式;利用所述第一预设处理节点,根据源端采集时间戳和当前时间判断是否大于预设时长、且是否为补发数据,若是,则拼装得到所述目标端数据源的报文头。4.根据权利要求2所述的方法,其特征在于,在创建得到所述源端数据源和所述目标端数据源之后,还包括:对所述源端数据源和所述目标端数据源进行预设连接通过测试,并在测试通过后,分别配置源端和目标端的账户权限,并启用所述源端数据源和所述目标端数据源。5.一种国地标数据的转发装置,其特征在于,所述装置应用于国地标数据智能转发平台,其中,所述装置包括:获取模块,用于获取目标国地标数据的转发需求;配置模块,用于根据所述转发需求创建所述目标国地标数...

【专利技术属性】
技术研发人员:黄晶陈杰段朋龙美元
申请(专利权)人:重庆长安汽车股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1