一种同步文件的方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种同步文件的方法、装置、设备及存储介质，方法包括：通过响应同步文件的任务指令，获取待同步文件信息，并读取本地的有效文件，针对每个有效文件，若有效文件不与待同步文件信息匹配，且具备基础文件，将有效文件加入增量列表，向计算服务器发送请求，以计算并确定差异文件并上传至存储服务器，通过下载器下载差异文件，根据基础文件和差异文件生成目标文件，并对每个目标文件建立硬链接。可见，将有效文件与待同步文件信息进行比较，方可得知哪些文件需要下载，仅需要在计算服务器中进行少量的文件差量计算即可确定所需下载的差异文件，无需整份文件包下载即可实现文件同步，节省了时间，提高了自动驾驶开发的测试效率。的测试效率。的测试效率。

【技术实现步骤摘要】
一种同步文件的方法、装置、设备及存储介质


[0001]本申请涉及文件下载
，更具体的说，是涉及一种同步文件的方法、装置、设备及存储介质。

技术介绍

[0002]随着智能化技术的发展，自动驾驶已大量展开研究并逐步投入到现实生活中，由于自动驾驶对行驶安全的要求极高，在自动驾驶开发阶段需要严格把控，自动驾驶系统需要进行大量的开发测试。每次测试时，车载终端需要从服务端下载新版本的文件包，以同步本地文件。目前对文件包的下载有两种方式，第一种为全量下载，即将文件包的所有文件全部下载至车载终端然后解压，第二种为rsync的同步下载方式，通过在车载终端以及服务端上进行文件计算，对所需要的文件进行同步。
[0003]然而，所需同步至新版本的文件中可能仅需要一部分更新文件即可实现同步，那么通过全量下载的方式则浪费了大量的时间和流量，而rsync文件同步下载方式需要进行大量的计算，同样需要消耗大量的时间，使得自动驾驶开发测试阶段的效率低下。

技术实现思路

[0004]鉴于上述问题，提出了本申请以便提供一种同步文件的方法、装置、设备及存储介质，以在自动驾驶开发测试阶段高效地实现车载文件的同步。
[0005]为了实现上述目的，现提出具体方案如下：
[0006]一种同步文件的方法，包括：
[0007]响应同步文件的任务指令，获取服务端的待同步版本文件信息集合，并读取本地的本地文件表，并根据所述本地文件表确定若干有效文件，所述待同步版本文件信息集合包括若干待同步文件信息；
[0008]针对每个有效文件，当所述待同步版本文件信息集合中不存在与所述有效文件匹配的待同步文件信息时，判断所述有效文件是否具备与目标同步文件信息对应的基础版本文件，所述目标同步文件信息为所述待同步版本文件信息集合中与所述有效文件匹配的待同步文件信息；
[0009]若是，将所述有效文件加入增量下载文件列表；
[0010]向计算服务器发送包含所述增量下载文件列表的请求信息，以供所述服务器响应所述请求信息，计算并确定每个有效文件与其目标同步文件信息之间的差异文件，将与每个有效文件对应的差异文件上传至存储服务器；
[0011]通过下载器下载所述存储服务器中的差异文件集合，所述差异文件集合包括与每个有效文件对应的差异文件；
[0012]针对每个加入增量下载文件列表的有效文件，根据所述有效文件的基础版本文件和所述有效文件的差异文件，生成所述有效文件的目标文件；
[0013]对每个目标文件建立硬链接，以同步该目标文件。
[0014]可选的，在所述对每个目标文件建立硬链接之后，还包括：
[0015]根据每个已建立硬链接的目标文件，更新所述本地文件表，得到更新后的本地文件表。
[0016]可选的，根据所述本地文件表确定若干有效文件，包括：
[0017]确定所述本地文件表中每个文件地址对应的本地文件；
[0018]若检测到每个本地文件在其最近同步时间之后被修改，确定该个本地文件为无效文件；
[0019]删除各个本地文件中的无效文件，得到若干有效文件。
[0020]可选的，该方法还包括：
[0021]针对每个有效文件，若所述待同步版本文件信息集合中存在与所述有效文件匹配的待同步文件信息，对所述有效文件建立硬链接。
[0022]可选的，该方法还包括：
[0023]针对每个有效文件，当所述待同步版本文件信息集合中不存在与所述有效文件匹配的待同步文件信息时，若所述有效文件不具备与目标同步文件信息对应的基础版本文件，将所述有效文件加入全量下载文件列表；
[0024]根据所述全量下载文件列表，通过所述下载器下载所述存储服务器中的全量文件集合，所述全量文件集合包括与每个有效文件对应的全量文件；
[0025]对每个有效文件对应的全量文件建立硬链接，以同步该全量文件。
[0026]可选的，所述下载器包括写盘器和多个异步网络客户端；
[0027]所述通过下载器下载所述存储服务器中的差异文件集合，包括：
[0028]在差异文件集合被下载时，通过下载器的各个异步网络客户端对所述差异文件集合进行缓存；
[0029]对于每个已满缓存的异步网络客户端，驱动所述下载器的写盘器对所述异步网络客户端所对差异文件集合的缓存内容进行落盘，并释放所述异步网络客户端的缓存。
[0030]可选的，所述对于每个已满缓存的异步网络客户端，驱动所述下载器的写盘器对所述异步网络客户端所对差异文件集合的缓存内容进行落盘，并释放所述异步网络客户端的缓存，包括：
[0031]当每个异步网络客户端的缓存已满时，触发该个异步网络客户端的回调函数；
[0032]通过每个异步网络客户端的回调函数，驱动所述下载器的写盘器对与该回调函数对应的异步网络客户端所对差异文件集合的缓存内容进行落盘，并释放该个异步网络客户端的缓存。
[0033]可选的，所述下载器还包括写盘请求队列；
[0034]所述对于每个已满缓存的异步网络客户端，驱动所述下载器的写盘器对所述异步网络客户端所对差异文件集合的缓存内容进行落盘，并释放所述异步网络客户端的缓存，包括：
[0035]当每个异步网络客户端的缓存已满时，驱动所述写盘请求队列接收该个异步网络客户端请求落盘的任务请求；
[0036]若所述写盘请求队列中任务请求的数量不超过预设任务请求量，驱动所述下载器的写盘器通过接收所述写盘请求队列中的每个任务请求，对该个任务请求对应的异步网络
客户端所对差异文件集合的缓存内容进行落盘，并释放该个异步网络客户端的缓存。
[0037]可选的，该方法还包括：
[0038]若所述写盘请求队列中任务请求的数量超过预设任务请求量，驱动所述写盘请求队列暂停接收任务请求。
[0039]一种同步文件的装置，包括：
[0040]有效文件确定单元，用于响应同步文件的任务指令，获取服务端的待同步版本文件信息集合，并读取本地的本地文件表，并根据所述本地文件表确定若干有效文件，所述待同步版本文件信息集合包括若干待同步文件信息；
[0041]基础文件判断单元，用于针对每个有效文件，当所述待同步版本文件信息集合中不存在与所述有效文件匹配的待同步文件信息时，判断所述有效文件是否具备与目标同步文件信息对应的基础版本文件，若是，执行增量列表添加单元，所述目标同步文件信息为所述待同步版本文件信息集合中与所述有效文件匹配的待同步文件信息；
[0042]所述增量列表添加单元，用于将所述有效文件加入增量下载文件列表；
[0043]请求信息发送单元，用于向计算服务器发送包含所述增量下载文件列表的请求信息，以供所述服务器响应所述请求信息，计算并确定每个有效文件与其目标同步文件信息之间的差异文件，将与每个有效文件对应的差异文件上传至存储服务器；
[0044]差异文件下载单元，用于通过下载器下载所述存储服务器中的差异文件集合，所述差异文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同步文件的方法，其特征在于，包括：响应同步文件的任务指令，获取服务端的待同步版本文件信息集合，并读取本地的本地文件表，并根据所述本地文件表确定若干有效文件，所述待同步版本文件信息集合包括若干待同步文件信息；针对每个有效文件，当所述待同步版本文件信息集合中不存在与所述有效文件匹配的待同步文件信息时，判断所述有效文件是否具备与目标同步文件信息对应的基础版本文件，所述目标同步文件信息为所述待同步版本文件信息集合中与所述有效文件匹配的待同步文件信息；若是，将所述有效文件加入增量下载文件列表；向计算服务器发送包含所述增量下载文件列表的请求信息，以供所述服务器响应所述请求信息，计算并确定每个有效文件与其目标同步文件信息之间的差异文件，将与每个有效文件对应的差异文件上传至存储服务器；通过下载器下载所述存储服务器中的差异文件集合，所述差异文件集合包括与每个有效文件对应的差异文件；针对每个加入增量下载文件列表的有效文件，根据所述有效文件的基础版本文件和所述有效文件的差异文件，生成所述有效文件的目标文件；对每个目标文件建立硬链接，以同步该目标文件。2.根据权利要求1所述的方法，其特征在于，在所述对每个目标文件建立硬链接之后，还包括：根据每个已建立硬链接的目标文件，更新所述本地文件表，得到更新后的本地文件表。3.根据权利要求1所述的方法，其特征在于，根据所述本地文件表确定若干有效文件，包括：确定所述本地文件表中每个文件地址对应的本地文件；若检测到每个本地文件在其最近同步时间之后被修改，确定该个本地文件为无效文件；删除各个本地文件中的无效文件，得到若干有效文件。4.根据权利要求1所述的方法，其特征在于，还包括：针对每个有效文件，若所述待同步版本文件信息集合中存在与所述有效文件匹配的待同步文件信息，对所述有效文件建立硬链接。5.根据权利要求1所述的方法，其特征在于，还包括：针对每个有效文件，当所述待同步版本文件信息集合中不存在与所述有效文件匹配的待同步文件信息时，若所述有效文件不具备与目标同步文件信息对应的基础版本文件，将所述有效文件加入全量下载文件列表；根据所述全量下载文件列表，通过所述下载器下载所述存储服务器中的全量文件集合，所述全量文件集合包括与每个有效文件对应的全量文件；对每个有效文件对应的全量文件建立硬链接，以同步该全量文件。6.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述下载器包括写盘器和多个异步网络客户端；所述通过下载器下载所述存储服务器中的差异文件集合，包括：
在差异文件集合被下载时，通过下载器的各个异步网络客户端对所述差异文件集合进行缓存；对于每个已满缓存的异步网络客户端，驱动所述下载器的写盘器对所述异步网络客户端所对差异文件集合的缓存内容进行落盘，并释放所述异步网络客户端的缓存。7.根据权利要求6所述的方法，其特征在于，所述对于每个已满缓存的异步网络客户端，驱动所述下载器的写盘器对所述异步网络客户端所对差异...

【专利技术属性】
技术研发人员：刘欢，胡双木，李云华，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：