一种数据调度的方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种数据调度的方法、装置、设备及可读存储介质，方法包括：在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长，并与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，当前批量数据的下一批量数据的数据量调度比例，对下一批量数据进行调整，得到待调度批量数据，并对待调度批量数据进行调度。由此可见，根据当前处理批量数据的结果，并将其与最邻近一次处理批量数据的结果进行比较，控制下一批量数据的数据量，以避免数据脱敏系统的负载过高，最后将待调度批量数据调度给数据脱敏处理器，能够高效地对海量图像数据进行脱敏。能够高效地对海量图像数据进行脱敏。能够高效地对海量图像数据进行脱敏。

【技术实现步骤摘要】
一种数据调度的方法、装置、设备及可读存储介质


[0001]本申请涉及数据调度领域，更具体的说，是涉及一种数据调度的方法、装置、设备及可读存储介质。

技术介绍

[0002]随着信息技术的发展，人们对数据的需求量日益增加，如人们需要通过获取图像和文本等去认识当下的世界。这些数据中难免会涉及到敏感信息，如无人驾驶中需要抓拍环境图像而抓拍到路人、车牌等敏感信息，又如招聘系统中获取的个人简历涉及到较多个人信息，需要对敏感数据进行脱敏处理，以去除敏感数据中的隐私信息。
[0003]由于待脱敏的数据量庞大，在数据脱敏的过程中，需要将待脱敏的数据逐批次地调度至脱敏系统进行脱敏，通过优化调度数据过程的效率可以提高数据脱敏的过程的效率。
[0004]目前常用的数据脱敏的调度方法为设置一个划分阈值，将海量图像划分为多个包，然后将各个包交给系统脱敏执行，由于系统的负载是在不断变化的，容易造成系统高负载对单个包长时间处理，使得阻塞了高优先级的包的处理，导致效率低下。
[0005]通过动态调整待调度数据的数据量，避免系统出现高负载的现象，对海量图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调度数据的方法，其特征在于，包括：在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长；比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例；按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，并对所述待调度批量数据进行调度。2.根据权利要求1所述的方法，其特征在于，所述批量数据规划调度记录的建立过程，包括：根据本地的每一待分配数据的所属目录地址，将各待分配数据进行划分，得到若干批量数据，并确定每一批量数据的数据量；确定所述若干批量数据中，每一批量数据的数据调度顺序；根据若干批量数据中，每一批量数据的数据量以及每一批量数据的数据调度顺序，建立批量数据规划调度记录。3.根据权利要求1所述的方法，其特征在于，比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例，包括：若所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第一比例；若所述第一单位时长，不大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第二比例。4.根据权利要求3所述的方法，其特征在于，按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，包括：当所述下一批量数据对应的数据量调度比例为第一比例时，选取所述下一批量数据中的第一部分数据作为待调度批量数据，所述第一部分数据的数据量为所述下一批量数据的数据量与所述第一比例相乘的结果。5.根据权利要求4所述的方法，其特征在于，在选取所述下一批量数据中的第一部分数据作为待调度批量数据之后，还包括：将所述下一批量数据中除所述第一部分数据外的数据确定为负载暂缓执行数据，所述负载暂缓执行数据为调度顺序在所述第一部分数据后的数据。6.根据权利要求...

【专利技术属性】
技术研发人员：孙子文，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：