本申请公开了一种数据调度的方法、装置、设备及可读存储介质，方法包括：在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长，并与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，当前批量数据的下一批量数据的数据量调度比例，对下一批量数据进行调整，得到待调度批量数据，并对待调度批量数据进行调度。由此可见，根据当前处理批量数据的结果，并将其与最邻近一次处理批量数据的结果进行比较，控制下一批量数据的数据量，以避免数据脱敏系统的负载过高，最后将待调度批量数据调度给数据脱敏处理器，能够高效地对海量图像数据进行脱敏。能够高效地对海量图像数据进行脱敏。能够高效地对海量图像数据进行脱敏。
【技术实现步骤摘要】
一种数据调度的方法、装置、设备及可读存储介质
[0001]本申请涉及数据调度领域，更具体的说，是涉及一种数据调度的方法、装置、设备及可读存储介质。
技术介绍
[0002]随着信息技术的发展，人们对数据的需求量日益增加，如人们需要通过获取图像和文本等去认识当下的世界。这些数据中难免会涉及到敏感信息，如无人驾驶中需要抓拍环境图像而抓拍到路人、车牌等敏感信息，又如招聘系统中获取的个人简历涉及到较多个人信息，需要对敏感数据进行脱敏处理，以去除敏感数据中的隐私信息。
[0003]由于待脱敏的数据量庞大，在数据脱敏的过程中，需要将待脱敏的数据逐批次地调度至脱敏系统进行脱敏，通过优化调度数据过程的效率可以提高数据脱敏的过程的效率。
[0004]目前常用的数据脱敏的调度方法为设置一个划分阈值，将海量图像划分为多个包，然后将各个包交给系统脱敏执行，由于系统的负载是在不断变化的，容易造成系统高负载对单个包长时间处理，使得阻塞了高优先级的包的处理，导致效率低下。
[0005]通过动态调整待调度数据的数据量，避免系统出现高负载的现象，对海量图像数据进行高效脱敏。
技术实现思路
[0006]鉴于上述问题，提出了本申请以便提供一种数据调度的方法、装置、设备及可读存储介质，避免系统出现高负债的现象，对海量图像数据进行高效脱敏。
[0007]为了实现上述目的，现提出具体方案如下：
[0008]一种数据调度的方法，包括：
[0009]在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长；
[0010]比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例；
[0011]按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，并对所述待调度批量数据进行调度。
[0012]可选的，所述批量数据规划调度记录的建立过程，包括：
[0013]根据本地的每一待分配数据的所属目录地址，将各待分配数据进行划分，得到若干批量数据，并确定每一批量数据的数据量；
[0014]确定所述若干批量数据中，每一批量数据的数据调度顺序；
[0015]根据若干批量数据中，每一批量数据的数据量以及每一批量数据的数据调度顺序，建立批量数据规划调度记录。
[0016]可选的，比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数
据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例，包括：
[0017]若所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第一比例；
[0018]若所述第一单位时长，不大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第二比例。
[0019]可选的，按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，包括：
[0020]当所述下一批量数据对应的数据量调度比例为第一比例时，选取所述下一批量数据中的第一部分数据作为待调度批量数据，所述第一部分数据的数据量为所述下一批量数据的数据量与所述第一比例相乘的结果。
[0021]可选的，在选取所述下一批量数据中的第一部分数据作为待调度批量数据之后，还包括：
[0022]将所述下一批量数据中除所述第一部分数据外的数据确定为负载暂缓执行数据，所述负载暂缓执行数据为调度顺序在所述第一部分数据后的数据。
[0023]可选的，按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，包括：
[0024]当所述下一批量数据对应的数据量调度比例为第二比例时，选取所述下一批量数据中的第二部分数据作为待调度批量数据，所述第二部分数据的数据量为所述下一批量数据的数据量与所述第二比例相乘的结果。
[0025]可选的，对所述待调度批量数据进行调度，包括：
[0026]向已有的任务队列添加所述待调度批量数据，以供用于数据脱敏的数据脱敏处理器从所述任务队列中获取所述待调度批量数据。
[0027]可选的，获取当前批量数据进行脱敏处理的第一单位处理时长，包括：
[0028]获取当前批量数据进行脱敏处理的数据量以及处理总时间；
[0029]将所述处理总时间与所述数据量的比值，作为所述当前批量数据进行脱敏处理的第一单位时长。
[0030]可选的，将所述处理总时间与所述数据量的比值，作为所述当前批量数据进行脱敏处理的第一单位时长，包括：
[0031]确定所述处理总时间与所述数据量的比值；
[0032]对所述比值的千分位四舍五入，保留得到在所述比值的千分位之前的估计数值，并将所述估计数值对应的时长作为所述当前批量数据进行脱敏处理的第一单位时长。
[0033]一种数据调度的装置，包括：
[0034]单位时长获取单元，用于在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长；
[0035]调度比例确定单元，用于比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录
中的，所述当前批量数据的下一批量数据的数据量调度比例；
[0036]待调度数据确定单元，用于按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据；
[0037]待调度数据调度单元，用于对所述待调度批量数据进行调度。
[0038]可选的，该装置还包括：
[0039]第一调度记录建立单元，用于根据本地的每一待分配数据的所属目录地址，将各待分配数据进行划分，得到若干批量数据，并确定每一批量数据的数据量；
[0040]第二调度记录建立单元，用于确定所述若干批量数据中，每一批量数据的数据调度顺序；
[0041]第三调度记录建立单元，用于根据若干批量数据中，每一批量数据的数据量以及每一批量数据的数据调度顺序，建立批量数据规划调度记录。
[0042]可选的，所述调度比例确定单元，包括：
[0043]第一比例确定单元，用于若所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第一比例；
[0044]第二比例确定单元，用于若所述第一单位时长，不大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种调度数据的方法，其特征在于，包括：在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长；比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例；按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，并对所述待调度批量数据进行调度。2.根据权利要求1所述的方法，其特征在于，所述批量数据规划调度记录的建立过程，包括：根据本地的每一待分配数据的所属目录地址，将各待分配数据进行划分，得到若干批量数据，并确定每一批量数据的数据量；确定所述若干批量数据中，每一批量数据的数据调度顺序；根据若干批量数据中，每一批量数据的数据量以及每一批量数据的数据调度顺序，建立批量数据规划调度记录。3.根据权利要求1所述的方法，其特征在于，比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例，包括：若所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第一比例；若所述第一单位时长，不大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第二比例。4.根据权利要求3所述的方法，其特征在于，按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，包括：当所述下一批量数据对应的数据量调度比例为第一比例时，选取所述下一批量数据中的第一部分数据作为待调度批量数据，所述第一部分数据的数据量为所述下一批量数据的数据量与所述第一比例相乘的结果。5.根据权利要求4所述的方法，其特征在于，在选取所述下一批量数据中的第一部分数据作为待调度批量数据之后，还包括：将所述下一批量数据中除所述第一部分数据外的数据确定为负载暂缓执行数据，所述负载暂缓执行数据为调度顺序在所述第一部分数据后的数据。6.根据权利要求...
【专利技术属性】
技术研发人员：孙子文，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。