一种数据上传方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种数据上传方法、装置、电子设备和存储介质，涉及人工智能技术领域，尤其涉及自动驾驶领域。具体实现方案为：获取待上传数据的关联信息，并将所述关联信息发送到数据上传管理端；查询所述数据上传管理端中是否存在待执行的数据上传任务；其中，待执行的数据上传任务中包括用户通过访问所述关联信息从所述待上传数据中确定的目标数据，以及用户确定的任务优先级；若存在待执行的数据上传任务，则根据任务优先级执行所述数据上传任务，以对所述数据上传任务中指定的目标数据进行上传。实现了自动驾驶车辆数据的自动上传，相比于通过人工上传的方式，提高了数据上传的效率。效率。效率。

【技术实现步骤摘要】
一种数据上传方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能
，尤其涉及自动驾驶领域，具体涉及一种数据上传方法、装置、电子设备、存储介质和计算机程序产品。

技术介绍

[0002]自动驾驶车辆，也可称为无人驾驶车辆，是指通过各种传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息等，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。
[0003]自动驾驶车辆在运行过程中，车辆状态数据、各种定位装置、雷达、摄像头等传感器采集获得的信息数据均需要及时的记录并存储至磁盘。

技术实现思路

[0004]本公开提供了一种数据上传方法、装置、电子设备、存储介质和计算机程序产品。
[0005]根据本公开的一方面，提供了一种数据上传方法，应用于数据中心中的数据上传终端，所述数据中心包括多个数据上传终端，所述方法包括：
[0006]获取待上传数据的关联信息，并将所述关联信息发送到数据上传管理端；
[0007]查询所述数据上传管理端中是否存在待执行的数据上传任务；其中，待执行的数据上传任务中包括用户通过访问所述关联信息从所述待上传数据中确定的目标数据，以及用户确定的任务优先级；
[0008]若存在待执行的数据上传任务，则根据任务优先级执行所述数据上传任务，以对所述数据上传任务中指定的目标数据进行上传。
[0009]根据本公开的一方面，提供了一种数据上传方法，应用于数据上传管理端，所述方法包括：
[0010]接收并保存数据上传终端发送的待上传数据的关联信息；
[0011]在用户访问所述数据上传管理端中保存的所述关联信息时，响应于所述用户的确定的目标数据和任务优先级，生成待执行的数据上传任务；
[0012]响应于所述数据上传终端对待执行的数据上传任务的查询，将当前存在的待执行的数据上传任务发送给所述数据上传终端，使得所述数据上传终端根据所述数据上传任务开始上传数据。
[0013]根据本公开的另一方面，提供了一种数据上传装置，配置于数据中心中的数据上传终端，所述数据中心包括多个数据上传终端，所述装置包括：
[0014]信息获取模块，用于获取待上传数据的关联信息，并将所述关联信息发送到数据上传管理端；
[0015]查询模块，用于查询所述数据上传管理端中是否存在待执行的数据上传任务；其中，待执行的数据上传任务中包括用户通过访问所述关联信息从所述待上传数据中确定的目标数据，以及用户确定的任务优先级；
[0016]数据上传模块，用于若存在待执行的数据上传任务，则根据任务优先级执行所述数据上传任务，以对所述数据上传任务中指定的目标数据进行上传。
[0017]根据本公开的另一方面，提供了一种数据上传装置，配置于数据上传管理端，所述装置包括：
[0018]信息接收模块，接收并保存数据上传终端发送的待上传数据的关联信息；
[0019]任务生成模块，用于在用户访问所述数据上传管理端中保存的所述关联信息时，响应于所述用户的确定的目标数据和任务优先级，生成待执行的数据上传任务；
[0020]任务下发模块，用于响应于所述数据上传终端对待执行的数据上传任务的查询，将当前存在的待执行的数据上传任务发送给所述数据上传终端，使得所述数据上传终端根据所述数据上传任务开始上传数据。
[0021]根据本公开的另一方面，提供了一种电子设备，包括：
[0022]至少一个处理器；以及
[0023]与所述至少一个处理器通信连接的存储器；其中，
[0024]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所述的数据上传方法。
[0025]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开任意实施例所述的数据上传方法。
[0026]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开任意实施例的数据上传方法。
[0027]根据本公开的技术，实现了自动驾驶车辆数据的自动上传，相比于通过人工上传的方式，提高了数据上传的效率。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是根据本公开实施例的一种数据上传方法的流程示意图；
[0031]图2是根据本公开实施例的另一种数据上传方法的流程示意图；
[0032]图3是根据本公开实施例的另一种数据上传方法的流程示意图；
[0033]图4是根据本公开实施例的另一种数据上传方法的流程示意图；
[0034]图5是根据本公开实施例的另一种数据上传方法的流程示意图；
[0035]图6是根据本公开实施例的另一种数据上传方法的流程示意图；
[0036]图7是根据本公开实施例的另一种数据上传方法的流程示意图；
[0037]图8是根据本公开实施例的一种数据上传方法的逻辑示意图；
[0038]图9是根据本公开实施例的数据上传装置的示意图；
[0039]图10是根据本公开实施例的数据上传装置的示意图；
[0040]图11是用来实现本公开实施例的数据上传方法的电子设备的框图。
具体实施方式
[0041]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0042]本公开实施例中，自动驾驶车辆在运行时，车辆状态数据、各种定位装置、雷达、摄像头等传感器采集获得的信息数据会记录并存储至硬盘或网络存储器设备中，其中，硬盘可选的是固态硬盘(例如SSD(Solid State Drives)硬盘)、非易失性存储硬盘(例如NVME(Non
‑
Volatile Memory express)硬盘)；网络存储器设备可以为NAS(Network Attached Storage)设备。针对存储在硬盘或网络存储器设备中的数据，需要上传到云端，并对云端存储的数据进行处理和入库。目前，常用的数据上传方法是将硬盘插入到数据上传终端中，进而用户通过手动上传的方式，将数据上传到云端。由于这种数据上传方式需要人工手动上传，导致数据上传的效率较低。基于此，本公开方案提出了实现自动驾驶车辆数据自动上传的方法。具体的，本公开方案设计了数据上传终端和数据上传管理端协同作业，以实现数据的自动上传；其中，数据上传终端可以是设置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据上传方法，应用于数据中心中的数据上传终端，所述数据中心包括多个数据上传终端，所述方法包括：获取待上传数据的关联信息，并将所述关联信息发送到数据上传管理端；查询所述数据上传管理端中是否存在待执行的数据上传任务；其中，待执行的数据上传任务中包括用户通过访问所述关联信息从所述待上传数据中确定的目标数据，以及用户确定的任务优先级；若存在待执行的数据上传任务，则根据任务优先级执行所述数据上传任务，以对所述数据上传任务中指定的目标数据进行上传。2.根据权利要求1所述的方法，还包括：将执行数据上传任务所占用的带宽发送到数据上传管理端，使得所述数据上传管理端对所述数据中心内的各数据上传终端的可用带宽进行动态调整。3.根据权利要求2所述的方法，还包括：接收所述数据上传管理端分配的可用带宽；根据所述可用带宽，结合所述数据上传任务对应的任务优先级，调整所述数据上传任务的并发参数；其中，所述并发参数用于确定执行所述数据上传任务时允许并发上传的文件数量。4.根据权利要求3所述的方法，其中，根据所述可用带宽，结合所述数据上传任务对应的任务优先级，调整所述数据上传任务的并发参数，包括：若所述任务优先级为高优先级，则将所述数据上传任务的并发参数设置为固定的初始并发数；若所述任务优先级为低优先级，且根据所述可用带宽确定所述数据上传终端的带宽未被所述数据上传管理端限制，则将所述数据上传任务的并发参数设置为固定的初始并发数；若所述任务优先级为低优先级，且根据所述可用带宽确定所述数据上传终端的带宽被所述数据上传管理端限制，则根据所述可用带宽、数据上传终端当前实际占用的带宽、每个数据上传任务的实际并发数、正在执行的数据上传任务的数量，确定目标并发数；将所述目标并发数和所述初始并发数中的最小值，作为所述数据上传任务的并发参数。5.根据权利要求1所述的方法，还包括：将所述数据上传任务的数据上传进度发送到所述数据上传管理端，使得所述数据上传管理端根据数据上传进度，调整所述数据上传任务的状态。6.根据权利要求1所述的方法，还包括：在对所述数据上传任务中指定的目标数据进行上传时，若所述目标数据中任意目标文件上传失败，则保存上传失败的文件列表；在所述目标数据中其他文件上传完成后，根据所述文件列表，对上传失败的目标文件进行重新上传。7.根据权利要求6所述的方法，还包括：若存在重新上传失败的目标文件，则将所述数据上传任务失败的信息发送到数据上传管理端，使得所述数据上传管理端调整所述数据上传任务的状态。8.根据权利要求1
‑
7中任一项所述的方法，其中，所述待上传数据是自动驾驶车辆运行
过程中通过车载传感器采集的信息数据和车辆状态数据；且所述待上传数据保存在固态硬盘设备、非易失性存储硬盘或网络存储器设备中。9.根据权利要求8所述的方法，其中，获取待上传数据的关联信息，包括：在检测到有固态硬盘设备或非易失性存储硬盘接入时，挂载并扫描固态硬盘设备或非易失性存储硬盘，以获取待上传数据的关联信息；周期性扫描处于指定网络地址段的网络存储器设备，以获取待上传数据的关联信息。10.一种数据上传方法，应用于数据上传管理端，所述方法包括：接收并保存数据上传终端发送的待上传数据的关联信息；在用户访问所述数据上传管理端中保存的所述关联信息时，响应于所述用户的确定的目标数据和任务优先级，生成待执行的数据上传任务；响应于所述数据上传终端对待执行的数据上传任务的查询，将当前存在的待执行的数据上传任务发送给所述数据上传终端，使得所述数据上传终端根据所述数据上传任务开始上传数据。11.根据权利要求10所述的方法，还包括：获取所述数据上传终端执行数据上传任务所占用的带宽；根据每个数据上传终端执行数据上传任务所占用的带宽，对各数据上传终端的可用带宽进行动态调整。12.根据权利要求11所述的方法，其中，根据每个数据上传终端执行数据上传任务所占用的带宽，对各数据上传终端的可用带宽进行动态调整，包括：针对任一数据上传终端，若所述数据上传终端执行的数据上传任务为高优先级任务，则根据数据中心的总带宽和执行高优先级任务的数据上传终端的数量，确定第一带宽；将所述数据上传终端的网卡带宽和第一带宽中的最小值，作为所述数据上传终端的可用带宽。13.根据权利要求11所述的方法，其中，根据每个数据上传终端执行数据上传任务所占用的带宽，对各数据上传终端的可用带宽进行动态调整，包括：针对任一数据上传终端，若所述数据上传终端执行的数据上传任务为低优先级任务，则根据数据中心的总带宽、数据中心中当前执行高优先级任务的数据上传终端的数量、执行高优先级任务的数据上传终端的实际占用带宽、执行高优先级任务的数据上传终端的网卡带宽，以及执行低优先级任务的数据上传终端的数量，确定第二带宽；将所述数据上传终端的网卡带宽和第二带宽中的最小值，作为所述数据上传终端的可用带宽。14.根据权利要求11所述的方法，还包括：针对任一数据上传终端，若所述数据上传终端未执行数据上传任务，则根据数据中心的总带宽、数据中心中当前执行高优先级任务的数据上传终端的数量、执行高优先级任务的数据上传终端的实际占用带宽、执行高优先级任务的数据上传终端的网卡带宽、执行低优先级任务的数据上传终端的实际占用带宽、以及未执行数据上传任务的数据上传终端的数量，确定第三带宽；将所述数据上传终端的网卡带宽和第三带宽中的最小值，作为所述数据上传终端的可用带宽。
15.根据权利要求10所述的方法，还包括：接收所述数据上传终端发送的所述数据上传任务的数据上传进度，并根据所述数据上传进度，调整所述数据上传任务的状态。16.根据权利要求15所述的方法，其中，根据所述数据上传进度，调整所述数据上传任务的状态，包括：若根据所述数据上传进度，确定数据未上传完毕，则将所述数据上传任务的状态标记为上传中；若根据所述数据上传进度，确定数据上传完毕，则将所述数据上传任务的状态标记为上传后处理。17.根据权利要求16所述的方法，还包括：在将所述数据上传任务的状态标记为上传后处理之后，向工作流引擎发出任务触发指令，使得所述工作流引擎对状态为上传后处理的数据上传任务所对应的数据进行数据处理和入库。18.根据权利要求17所述的方法，还包括：针对状态标记为上传后处理的数据上传任务，定期从所述工作流引擎中确定数据处理和入库进度；若完成数据处理和入库，则将所述数据上传任务的状态标记为上传成功。19.一种数据上传装置，配置于数据中心中的数据上传终端，所述数据中心包括多个数据上传终端，所述装置包括：信息获取模块，用于获取待上传数据的关联信息，并将所述关联信息发送到数据上传管理端；查询模块，用于查询所述数据上传管理端中是否存在待执行的数据上传任务；其中，待执行的数据上传任务中包括用户通过访问所述关联信息从所述待上传数据中确定的目标数据，以及用户确定的任务优先级；数据上传模块，用于若存在待执行的数据上传任务，则根据任务优先级执行所述数据上传任务，以对所述数据...

【专利技术属性】
技术研发人员：韦明智，刘存良，
申请(专利权)人：阿波罗智联北京科技有限公司，
类型：发明
国别省市：