数据处理方法、调度平台、视频存储平台和视频处理引擎技术

本公开涉及一种数据处理方法、调度平台、视频存储平台和视频处理引擎。该方法应用于调度平台时可以包括：从视频存储平台中获取目标个数的待处理客流视频任务，一个待处理客流视频任务中包括目标时长的待处理客流视频对应的存储信息；确定各个视频处理引擎对应的任务队列，每个视频处理引擎对应的任务队列包括目标个数的待处理客流视频任务中分配给该视频处理引擎的待处理客流视频任务；根据各个视频处理引擎对应的任务队列，为各个视频处理引擎分配待处理客流视频任务。本公开可以根据视频处理引擎的负载动态分配待处理客流视频任务，从而实现最大化利用算力资源，提高数据处理速度。度。度。

【技术实现步骤摘要】
数据处理方法、调度平台、视频存储平台和视频处理引擎


[0001]本公开涉及计算机
，尤其涉及一种数据处理方法、调度平台、视频存储平台和视频处理引擎。

技术介绍

[0002]随着人工智能时代的到来，客流视频数据成为分析目标顾客的真实需求，以及制定有针对性的营销策略的重要技术手段。对防盗、店铺安全运营也有重要的意义。目前，对客流视频数据的数据处理采用实时处理的方式，将监控区域内所有的监控装置全部接入视频处理引擎，以完成对监控区域内客流的实时统计。但是，由于不同时段、不同区域的客流密度不同，对算力资源的需求不同，对客流视频数据进行实时处理的方式无法实现视频处理引擎的负载均衡，导致不同时段、不同区域的客流视频数据的处理进度难以协调。

技术实现思路

[0003]有鉴于此，本公开提出了一种数据处理方法、调度平台、视频存储平台和视频处理引擎，使得可以根据视频处理引擎的负载动态分配待处理客流视频任务，从而实现最大化利用算力资源，提高数据处理速度。
[0004]根据本公开的第一方面，提供了一种数据处理方法，所述方法应用于调度平台，所述方法包括：从视频存储平台中获取目标个数的待处理客流视频任务，一个待处理客流视频任务中包括目标时长的待处理客流视频对应的存储信息，所述视频存储平台中存储有对从客流监控装置采集到的客流视频以所述目标时长为单位进行划分得到的多个待处理客流视频；确定各个视频处理引擎对应的任务队列，每个视频处理引擎对应的任务队列包括所述目标个数的待处理客流视频任务中分配给该视频处理引擎的待处理客流视频任务；根据所述各个视频处理引擎对应的任务队列，为所述各个视频处理引擎分配待处理客流视频任务。
[0005]根据本公开的第二方面，提供了一种数据处理方法，所述方法应用于视频存储平台，所述方法包括：从客流监控装置中采集客流视频；以目标时长为单位对采集到的所述客流视频进行划分，得到多个待处理客流视频；对所述多个待处理客流视频进行存储。
[0006]根据本公开的第三方面，提供了一种数据处理方法，所述方法应用于视频处理引擎，所述方法包括：向调度平台发送任务获取请求；接收所述调度平台返回的待处理客流视频任务，所述待处理客流视频任务中包括目标时长的待处理客流视频对应的存储信息；根据所述存储信息，从视频存储平台中获取所述待处理客流视频；对所述待处理客流视频进行客流统计，得到数据处理结果。
[0007]根据本公开的第四方面，提供了一种数据处理方法，所述方法应用于调度平台，所述方法包括：从视频存储平台中获取目标个数的待处理视频任务，一个待处理视频任务中包括目标时长的待处理视频对应的存储信息，所述视频存储平台中存储有对从监控装置采集到的视频以所述目标时长为单位进行划分得到的多个待处理视频；确定各个视频处理引
擎对应的任务队列，每个视频处理引擎对应的任务队列包括所述目标个数的待处理视频任务中分配给该视频处理引擎的待处理视频任务；根据所述各个视频处理引擎对应的任务队列，为所述各个视频处理引擎分配待处理视频任务，每个视频处理引擎用于根据分配给该视频处理引擎的待处理视频任务中包括的存储信息获取待处理视频，以及对获取到的待处理视频中包括的目标对象进行统计。
[0008]根据本公开的第五方面，提供了一种调度平台，包括：获取模块，用于从视频存储平台中获取目标个数的待处理客流视频任务，一个待处理客流视频任务中包括目标时长的待处理客流视频对应的存储信息，所述视频存储平台中存储有对从客流监控装置采集到的客流视频以所述目标时长为单位进行划分得到的多个待处理客流视频；确定模块，用于确定各个视频处理引擎对应的任务队列，每个视频处理引擎对应的任务队列包括所述目标个数的待处理客流视频任务中分配给该视频处理引擎的待处理客流视频任务；分配模块，用于根据所述各个视频处理引擎对应的任务队列，为所述各个视频处理引擎分配待处理客流视频任务。
[0009]根据本公开的第六方面，提供了一种调度平台，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第一方面所述的数据处理方法。
[0010]根据本公开的第七方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第一方面所述的数据处理方法。
[0011]根据本公开的第八方面，提供了一种视频存储平台，包括：采集模块，用于从客流监控装置中采集客流视频；划分模块，用于以目标时长为单位对采集到的所述客流视频进行划分，得到多个待处理客流视频；存储模块，用于对所述多个待处理客流视频进行存储。
[0012]根据本公开的第九方面，提供了一种视频存储平台，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第二方面所述的数据处理方法。
[0013]根据本公开的第十方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第二方面所述的数据处理方法。
[0014]根据本公开的第十一方面，提供了一种视频处理引擎，包括：发送模块，用于向调度平台发送任务获取请求；接收模块，用于接收所述调度平台返回的待处理客流视频任务，所述待处理客流视频任务中包括目标时长的待处理客流视频对应的存储信息；获取模块，用于根据所述存储信息，从视频存储平台中获取所述待处理客流视频；数据处理模块，用于对所述待处理客流视频进行客流统计，得到数据处理结果。
[0015]根据本公开的第十二方面，提供了一种视频处理引擎，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第三方面所述的数据处理方法。
[0016]根据本公开的第十三方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第三方面所述的数据处理方法。
[0017]根据本公开的第十四方面，提供了一种调度平台，包括：获取模块，用于从视频存
储平台中获取目标个数的待处理视频任务，一个待处理视频任务中包括目标时长的待处理视频对应的存储信息，所述视频存储平台中存储有对从监控装置采集到的视频以所述目标时长为单位进行划分得到的多个待处理视频；确定模块，用于确定各个视频处理引擎对应的任务队列，每个视频处理引擎对应的任务队列包括所述目标个数的待处理视频任务中分配给该视频处理引擎的待处理视频任务；分配模块，用于根据所述各个视频处理引擎对应的任务队列，为所述各个视频处理引擎分配待处理视频任务，每个视频处理引擎用于根据分配给该视频处理引擎的待处理视频任务中包括的存储信息获取待处理视频，以及对获取到的待处理视频中包括的目标对象进行统计。
[0018]根据本公开的第十五方面，提供了一种调度平台，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第四方面所述的数据处理方法。
[0019]根据本公开的第十六方面，提供了一种非易失性计算机可读存储介质，其上存储有计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于调度平台，所述方法包括：从视频存储平台中获取目标个数的待处理客流视频任务，一个待处理客流视频任务中包括目标时长的待处理客流视频对应的存储信息，所述视频存储平台中存储有对从客流监控装置采集到的客流视频以所述目标时长为单位进行划分得到的多个待处理客流视频；确定各个视频处理引擎对应的任务队列，每个视频处理引擎对应的任务队列包括所述目标个数的待处理客流视频任务中分配给该视频处理引擎的待处理客流视频任务；根据所述各个视频处理引擎对应的任务队列，为所述各个视频处理引擎分配待处理客流视频任务。2.根据权利要求1所述的方法，其特征在于，根据所述各个视频处理引擎对应的任务队列，为所述各个视频处理引擎分配待处理客流视频任务，包括：接收目标视频处理引擎发送的任务获取请求，所述目标视频处理引擎为所述各个视频处理引擎中的一个；判断所述目标视频处理引擎对应的任务队列中是否包括待处理客流视频任务，得到第一判断结果；根据所述第一判断结果，为所述目标视频处理引擎分配待处理客流视频任务。3.根据权利要求2所述的方法，其特征在于，所述第一判断结果为：所述目标视频处理引擎对应的任务队列中包括待处理客流视频任务；根据所述第一判断结果，为所述目标视频处理引擎分配待处理客流视频任务，包括：从所述目标视频处理引擎对应的任务队列中拉取一个待处理客流视频任务发送至所述目标视频处理引擎。4.根据权利要求2所述的方法，其特征在于，所述第一判断结果为：所述目标视频处理引擎对应的任务队列中不包括待处理客流视频任务；根据所述第一判断结果，为所述目标视频处理引擎分配待处理客流视频任务，包括：判断所述目标视频处理引擎以外的其它视频处理引擎对应的任务队列中是否包括待处理客流视频任务，得到第二判断结果；根据所述第二判断结果，为所述目标视频处理引擎分配待处理客流视频任务。5.根据权利要求4所述的方法，其特征在于，所述第二判断结果为：所述目标视频处理引擎以外的其它视频处理引擎对应的任务队列中都不包括待处理客流视频任务；根据所述第二判断结果，为所述目标视频处理引擎分配待处理客流视频任务，包括：再次从所述视频存储平台中获取所述目标个数的待处理客流视频任务；再次确定所述各个视频处理引擎对应的任务队列，每个视频处理引擎对应的任务队列包括再次获取的所述目标个数的待处理客流视频任务中分配给该视频处理引擎的待处理客流视频任务；从所述目标视频处理引擎对应的任务队列中拉取一个待处理客流视频任务发送至所述目标视频处理引擎。6.根据权利要求4所述的方法，其特征在于，所述第二判断结果为：所述目标视频处理引擎以外的至少部分其它视频处理引擎对应的任务队列中包括待处理客流视频任务；根据所述第二判断结果，为所述目标视频处理引擎分配待处理客流视频任务，包括：遍历所述目标视频处理引擎以外的其它视频处理引擎对应的任务队列，将任务队列中
包括的待处理客流视频任务最多的视频处理引擎确定为高负载视频处理引擎；判断所述高负载视频处理引擎对应的任务队列中包括的待处理客流视频任务的个数是否大于预设阈值，得到第三判断结果；根据所述第三判断结果，为所述目标视频处理引擎分配待处理客流视频任务。7.根据权利要求6所述的方法，其特征在于，所述第三判断结果为：所述高负载视频处理引擎对应的任务队列中包括的待处理客流视频任务的个数大于所述预设阈值；根据所述第三判断结果，为所述目标视频处理引擎分配待处理客流视频任务，包括：从所述高负载视频处理引擎对应的任务队列中拉取一个待处理客流视频任务发送至所述目标视频处理引擎。8.根据权利要求6所述的方法，其特征在于，所述第三判断结果为：所述高负载视频处理引擎对应的任务队列中包括的待处理客流视频任务的个数小于等于所述预设阈值；根据所述第三判断结果，为所述目标视频处理引擎分配待处理客流视频任务，包括：生成一个空视频任务；将所述空视频任务发送至所述目标视频处理引擎，所述空视频任务用于提示所述目标视频处理引擎当前没有待处理客流视频任务。9.根据权利要求1或5所述的方法，其特征在于，所述视频存储平台中包括所述各个视频处理引擎对应的本地存储装置，所述目标个数的待处理客流视频任务是从所述各个视频处理引擎对应的本地存储装置中获取得到的；其中，针对任一视频处理引擎，从该视频处理引擎对应的本地存储装置中获取到的待处理客流视频任务优先分配给该视频处理引擎对应的任务队列。10.根据权利要求1或5所述的方法，其特征在于，确定各个视频处理引擎对应的任务队列，包括：根据每个待处理客流视频任务的权限信息，确定各个视频处理引擎对应的任务队列，所述每个待处理客流视频任务的权限信息用于指示具备该待处理客流视频任务的处理权限的视频处理引擎，每个视频处理引擎对应的任务队列包括所述目标个数的待处理客流视频任务中分配给该视频处理引擎且该视频处理引擎具备处理权限的待处理客流视频任务。11.根据权利要求1或5所述的方法，其特征在于，从视频存储平台中获取目标个数的待处理客流视频任务，包括：确定所述视频存储平台中存储的每个待处理客流视频的处理优先级；根据处理优先级由高到低，获取所述目标个数的待处理客流视频任务。12.根据权利要求1所述的方法，其特征在于，所述视频存储平台与所述多个视频处理引擎都处于目标局域网中；所述视频存储平台中存储的待处理客流视频在所述目标局域网内共享。13.根据权利要求3、5、7任一项所述的方法，其特征在于，拉取一个待处理客流视频任务发送至所述目标视频处理引擎之后，所述方法还包括：接收所述目标视频处理引擎返回的提示信息，所述提示信息用于指示已完成对接收到的待处...

【专利技术属性】
技术研发人员：朱吉芳，魏建文，丁崔灿，邱开敏，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：