分布式文件存储及下载方法、装置、设备及介质制造方法及图纸

技术编号:33334064 阅读:21 留言:0更新日期:2022-05-08 09:15
本申请涉及车辆诊断数据存储技术领域,公开了一种分布式文件存储及下载方法、装置、设备及介质,通过对接收的车辆诊断数据进行解析加密,从而对车辆诊断数据加以保护,将车辆诊断数据以元数据和文件数据的形式进行存储,这样能够为服务器减轻运行压力;通过接收请求下载指令,从而可根据请求下载指令获取车辆诊断设备的地址,再根据该地址,基于边缘计算方式,查找与车辆诊断设备的地址最近的节点最为下载节点,再将下载节点上存储的文件数据和/或元数据传输至车辆诊断设备,这样使得车辆诊断设备能够优先从离自己最近的节点下载所需的数据,从而不受限于云服务器的带宽,加快车辆诊断数据存储和下载的速度。诊断数据存储和下载的速度。诊断数据存储和下载的速度。

【技术实现步骤摘要】
分布式文件存储及下载方法、装置、设备及介质


[0001]本申请涉及车辆诊断数据存储
,特别涉及一种分布式文件存储及下载方法、装置、设备及介质。

技术介绍

[0002]分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷。
[0003]随着网络通信速率的提高,以及网络存储的数据量越来越大,随之又产生了新的问题,即需要不断增加存储服务器来存储这些数据,且用户下载存储的数据时,又受限于服务器的带宽,下载缓慢。

技术实现思路

[0004]本申请的主要目的为提供一种分布式文件存储及下载方法,旨在解决现有技术中车辆诊断数据存储以及下载缓慢的技术问题。
[0005]本申请提出一种分布式文件存储及下载方法,应用于云服务器,包括:接收车辆诊断数据;对所述车辆诊断数据进行解析加密,得到元数据与文件数据;对所述元数据进行集中存储,对所述文件数据进行分散存储,其中,进行存储时,所述元数据与文件数据分别存储于云服务器中的多个节点上;接收车辆诊断设备发送的请求下载指令,根据所述请求下载指令获取车辆诊断设备的地址;根据所述车辆诊断设备的地址,基于边缘计算方式查找离所述车辆诊断设备的地址最近的节点作为下载节点;将所述下载节点上存储的文件数据和/或元数据发送至所述车辆诊断设备,以完成所述文件数据的下载。
[0006]作为优选,所述对所述车辆诊断数据进行解析加密,得到元数据与文件数据的步骤,包括:对所述车辆诊断数据按照参数类型进行分类,得到车型数据、故障诊断数据与维修数据;分别对所述车型数据、所述故障诊断数据以及所述维修数据基于预设关键字进行计算分析,得到车型纲要数据、故障诊断纲要数据以及维修纲要数据;获取第一加密秘钥;将所述第一加密秘钥发送至云服务器的多个节点上,其中,每个所述节点设有随机数,多个所述节点根据随机数与第一加密秘钥生成多个不同的第二加密秘钥;
接收多个第二加密秘钥并根据所述第二加密秘钥分别对所述车型数据、故障诊断数据以及维修数据进行加密;获取第三加密秘钥,根据所述第三加密秘钥分别对所述车型纲要数据、故障诊断纲要数据以及维修纲要数据进行加密;获取多份加密的空白数据,并对多个所述空白数据进行文件命名,其中,所述文件命名包括:第一车型数据、第一故障诊断数据以及第一维修数据;分别将所述第一车型数据、所述车型数据与车型纲要数据进行绑定,第一故障诊断数据、故障诊断数据与所述故障诊断纲要数据进行绑定,第一维修数据、维修数据与维修纲要数据进行绑定,得到车辆数据集,故障诊断数据集,故障诊断数据集;将所述车辆数据集,所述故障诊断数据集,所述维修数据集作为文件数据进行标记;对所述第二加密秘钥、所述第三加密秘钥基于SHA

2算法进行运算,得到元数据。
[0007]作为优选,对所述元数据进行集中存储,对所述文件数据进行分散存储的步骤,包括:获取多个节点的容量使用率和储存消耗时间,并对每次获取到的容量使用率进行第一权重值标值,对每次获取到的所述储存消耗时间进行第二权重值标值;根据所述第一权重值以及所述第二权重值计算多个所述节点的使用性能值,得到多个使用性能值;对多个所述使用性能值按照从大到小的顺序依次排序,并计算所述使用性能值的总数;根据所述总数以及多个所述使用性能值,按照预设条件选择至少一个使用性能值对应的节点作为标准节点;根据所述标准节点,对多个节点进行划分,得到多个存储节点区间,其中,多个存储节点区间包括一个优先存储节点区间以及多个次级存储节点区间;将所述元数据集中存储于优先存储节点区间的节点上,将所述文件数据存储于次级存储节点区间的节点上。
[0008]作为优选,所述获取多个节点的容量使用率和储存消耗时间,并对每次获取到的容量使用率进行第一权重值标值,对每次获取到的所述储存消耗时间进行第二权重值标值的步骤,包括:获取每个节点的总容量以及已使用容量;实时获取每次向每个节点发送的数据量;根据所述总容量、已使用容量、数据量计算所述节点的容量使用率,其中,计算公式为:S=(X
a
+X
b
)/X
c
;其中,S表示总容量,X
a
表示已使用容量,X
b
表示数据量;根据多个节点的容量使用率按照预设规则依次对每个节点进行第一权重值标值,其中,所述容量使用率越高的节点所对应的第一权重值越低;获取多个所述节点的平均耗时;向多个所述节点发送同一个空白文件,并获取多个节点存储所述空白文件的第一
耗时;根据所述平均耗时、所述第一耗时以及所述节点的总容量,计算多个所述节点的单位储存耗时,其中,计算公式为:T
d
=(T
e

T
f
)/X
c
;其中,所述T
d
表示单位存储耗时,所述T
e
表示第一耗时,所述T
f
表示平均耗时;根据多个节点的单位储存耗时按照预设规则依次对每个节点进行第二权重值标值,其中,所述单位储存耗时越高的节点所对应的第二权重值越低。
[0009]作为优选,所述接收车辆诊断设备发送的请求下载指令,根据所述请求下载指令获取车辆诊断设备的地址的步骤,包括:接收车辆诊断设备发送的请求下载指令,并对所述请求下载指令进行解析,得到下载需求信息、车辆诊断设备IP地址;根据所述下载需求信息,获取与所述下载需求信息对应的节点,其中,所述节点上存储有与所述下载需求对应的存储信息;将所述节点的信息关联在所述IP地址上,得到包括节点信息的车辆诊断设备的地址。
[0010]作为优选,所述接收车辆诊断设备发送的请求下载指令,根据所述请求下载指令获取车辆诊断设备的地址的步骤之后,还包括:根据所述地址,获取车辆诊断设备的下载路径;根据所述下载路径,获取与所述下载路径对应的可存储容量;判断所述可存储容量是否满足第一预设容量;若所述可存储容量满足第一预设容量,向所述车辆诊断设备发送确认下载指令;若所述可存储容量不满足第一预设容量,获取车辆诊断设备的整体存储容量,并判断所述整体存储容量是否满足第二预设容量;若所述整体存储容量满足第二预设容量,向所述车辆诊断设备发送组合下载指令。
[0011]作为优选,所述根据所述车辆诊断设备的地址,基于边缘计算方式查找离所述车辆诊断设备的地址最近的节点作为下载节点的步骤,包括:获取云服务器中每个所述节点的第二地址;根据所述车辆诊断设备的地址与每个所述节点的第二地址计算所述车辆诊断设备与每个所述节点之间的第一距离,得到多个第一距离值;选择一个第一距离值作为标准距离值,并将小于所述标准距离值的第一距离值对应的节点筛选出来并标记为第一节点,得到第一节点的集合;获取多个所述第一节点的网络状态;判断每一个所述第一节点的网络状态是否满足预设网络状态;若所述第一节点的网络状态满足预设网络状态,将所述第本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种分布式文件存储及下载方法,应用于云服务器,其特征在于,包括:接收车辆诊断数据;对所述车辆诊断数据进行解析加密,得到元数据与文件数据;对所述元数据进行集中存储,对所述文件数据进行分散存储,其中,进行存储时,所述元数据与文件数据分别存储于云服务器中的多个节点上;接收车辆诊断设备发送的请求下载指令,根据所述请求下载指令获取车辆诊断设备的地址;根据所述车辆诊断设备的地址,基于边缘计算方式查找离所述车辆诊断设备的地址最近的节点作为下载节点;将所述下载节点上存储的文件数据和/或元数据发送至所述车辆诊断设备,以完成所述文件数据的下载。2.根据权利要求1所述的分布式文件存储及下载方法,其特征在于,所述对所述车辆诊断数据进行解析加密,得到元数据与文件数据的步骤,包括:对所述车辆诊断数据按照参数类型进行分类,得到车型数据、故障诊断数据与维修数据;分别对所述车型数据、所述故障诊断数据以及所述维修数据基于预设关键字进行计算分析,得到车型纲要数据、故障诊断纲要数据以及维修纲要数据;获取第一加密秘钥;将所述第一加密秘钥发送至云服务器的多个节点上,其中,每个所述节点设有随机数,多个所述节点根据随机数与第一加密秘钥生成多个不同的第二加密秘钥;接收多个第二加密秘钥并根据所述第二加密秘钥分别对所述车型数据、故障诊断数据以及维修数据进行加密;获取第三加密秘钥,根据所述第三加密秘钥分别对所述车型纲要数据、故障诊断纲要数据以及维修纲要数据进行加密;获取多份加密的空白数据,并对多个所述空白数据进行文件命名,其中,所述文件命名包括:第一车型数据、第一故障诊断数据以及第一维修数据;分别将所述第一车型数据、所述车型数据与车型纲要数据进行绑定,第一故障诊断数据、故障诊断数据与所述故障诊断纲要数据进行绑定,第一维修数据、维修数据与维修纲要数据进行绑定,得到车辆数据集,故障诊断数据集,故障诊断数据集;将所述车辆数据集,所述故障诊断数据集,所述维修数据集作为文件数据进行标记;对所述第二加密秘钥、所述第三加密秘钥基于SHA

2算法进行运算,得到元数据。3.根据权利要求1所述的分布式文件存储及下载方法,其特征在于,对所述元数据进行集中存储,对所述文件数据进行分散存储的步骤,包括:获取多个节点的容量使用率和储存消耗时间,并对每次获取到的容量使用率进行第一权重值标值,对每次获取到的所述储存消耗时间进行第二权重值标值;根据所述第一权重值以及所述第二权重值计算多个所述节点的使用性能值,得到多个使用性能值;对多个所述使用性能值按照从大到小的顺序依次排序,并计算所述使用性能值的总数;
根据所述总数以及多个所述使用性能值,按照预设条件选择至少一个使用性能值对应的节点作为标准节点;根据所述标准节点,对多个节点进行划分,得到多个存储节点区间,其中,多个存储节点区间包括一个优先存储节点区间以及多个次级存储节点区间;将所述元数据集中存储于优先存储节点区间的节点上,将所述文件数据存储于次级存储节点区间的节点上。4.根据权利要求3所述的分布式文件存储及下载方法,其特征在于,所述获取多个节点的容量使用率和储存消耗时间,并对每次获取到的容量使用率进行第一权重值标值,对每次获取到的所述储存消耗时间进行第二权重值标值的步骤,包括:获取每个节点的总容量以及已使用容量;实时获取每次向每个节点发送的数据量;根据所述总容量、已使用容量、数据量计算所述节点的容量使用率,其中,计算公式为:S=(X
a
+X
b
)/X
c
;其中,S表示总容量,X
a
表示已使用容量,X
b
表示数据量;根据多个节点的容量使用率按照预设规则依次对每个节点进行第一权重值标值,其中,所述容量使用率越高的节点所对应的第一权重值越低;获取多个所述节点的平均耗时;向多个所述节点发送同一个空白文件,并获取多个节点存储所述空白文件的第一耗时...

【专利技术属性】
技术研发人员:谭斌蒋永鑫
申请(专利权)人:深圳市星卡科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1