一种集群视频分析方法和系统技术方案

本发明专利技术公开了一种集群视频分析方法和系统，所述方法和系统包括至少一个主计算节点和多个从计算节点，该方法包括：基于待执行视频数据的预定时长，将所述待执行视频数据划分为至少一个数据片段；将所述数据片段插入到执行数据队列；所述从计算节点从所述执行数据队列获取数据片段并对所述数据片段进行处理。本发明专利技术根据时长对数据片段进行划分，使得数据片段的处理时间减少，防止了数据片段的滞留；另外，在排序时，根据数据片段的多个要素进行排序而非单一的根据数据片段的优先级进行排序，能够有效防止数据片段出现混乱；而在计算节点获取数据片段时，通过本发明专利技术所述的调度方法，能够实现合理的任务调度。

【技术实现步骤摘要】

本专利技术属于智能视频分析领域，特别涉及一种集群视频分析方法和系统。
技术介绍
现有技术中，集群分析系统在执行视频分析任务时，通常不会对任务进行划分，即使划分也是粗略划分，不会以任务的执行时间长度为单位进行划分，现有技术的不划分的方案或者粗划分的方案不适用于视频智能分析领域，且容易造成任务的执行时间过长、任务大量排队等问题。另外，在任务进入任务调度队列后，现有技术通常将任务按照优先级顺序进行排序。实际上，视频分析任务有诸多因素需要考虑，例如任务的执行时间、取流时间、硬件资源需求等等。现有技术将任务以优先级作为排序的唯一条件，在实际执行任务时，往往容易造成任务顺序混乱等问题。在执行视频分析任务时，现有技术通常采用主动推送的方式，即任务调度节点将任务主动推送到计算节点，然后计算节点执行该任务。然而，这种主动推送的方式往往会造成计算节点疲于应付任务调度节点的任务推送。现有技术中也有少许方案，采用计算节点主动获取任务的方式，即计算节点主动获取任务调度节点中的任务，但是这种主动获取任务的方式缺少对计算节点内部的任务调度方案。因此，有必要基于现有的集群视频分析方法提出一种新型的集群视频分析方法，降低任务执行时间、防止任务滞留、防止任务顺序混乱以及合理地进行任务调度。
技术实现思路
本专利技术的目的是提供一种集群视频分析方法和系统，本专利技术根据时长对数据片段进行划分，使得数据片段的处理时间减少，防止了数据片段的滞留；另外，在排序时，根据数据片段的多个要素进行排序而非单一地根据数据片段的优先级进行排序，能够防止数据片段出现混乱；而在计算节点获取数据片段时，通过本专利技术所述的调度方法，能够实现合理的任务调度。为实现上述目的，本专利技术的一个方面提供了一种集群视频分析方法，该方法用于集群系统，所述集群系统包括至少一个主计算节点和多个从计算节点，该方法包括：基于待执行视频数据的预定时长，将所述待执行视频数据划分为至少一个数据片段；将所述数据片段插入到执行数据队列；从计算节点从所述执行数据队列获取数据片段并对所述数据片段进行处理。其中，在所述将待执行视频数据划分为至少一个数据片段的步骤之前，还包括：根据预定时长对待分析的视频数据进行划分，以生成下一预定时长的待执行视频数据。其中，所述将数据片段插入到执行数据队列的步骤进一步包括：获取所述数据片段的优先级、预定执行开始时间、预定执行结束时间、所需要的计算节点核数和分辨率的信息；根据获取到的所述信息以确定所述数据片段在执行数据队列中的排序。其中，在所述从计算节点从所述执行数据队列获取数据片段并对所述数据片段进行处理的步骤之前，还包括：从计算节点统计自身计算资源是否有空余，如果有空余则向执行数据队列请求获取数据片段。其中，所述从计算节点从所述执行数据队列获取数据片段并对所述数据片段进行处理的步骤进一步包括：判断所述数据片段所需要的资源是否超过该从计算节点目前空闲量；如果是，则重新进行数据片段的请求，否则获取所述数据片段并对所述数据片段进行处理。其中，所述重新进行数据片段的请求的步骤包括：请求下一个数据片段；或者，选择暂停目前正在执行的数据片段直到该从计算节点的空闲量满足所述数据片段所需要的资源，再对所述数据片段进行请求。其中，该方法还包括：从计算节点实时反馈数据片段执行情况以及上报从计算节点的资源使用情况。根据本专利技术的另一方面，提供了一种集群视频分析系统，所述集群视频分析系统包括至少一个主计算节点和多个从计算节点，所述主计算节点包括：数据片段划分单元，用于基于待执行视频数据的预定时长，将所述待执行视频数据划分为至少一个数据片段；数据片段插入单元，用于将所述数据片段插入到执行数据队列；所述从计算节点包括：数据片段获取单元，用于从所述执行数据队列获取数据片段；数据片段处理单元，用于对所述获取的数据片段进行处理。其中，所述主计算节点还包括周期性划分单元，用于根据预定时长对待分析的视频数据进行划分，以生成下一预定时长的待执行视频数据。其中，所述数据片段插入单元包括：信息获取子单元，用于获取数据片段的优先级、预定执行开始时间、预定执行结束时间、所需要的计算节点核数和分辨率的信息；排序子单元，用于根据获取到的所述信息确定所述数据片段在执行数据队列中的排序。其中，所述从计算节点还包括计算资源统计单元，用于统计自身计算资源是否有空余，如果有空余，所述数据片段获取单元向执行数据队列申请获取数据片段。其中，所述从计算节点还包括资源匹配单元，用于判断所述数据片段所需要的资源是否超过该计算节点目前空闲量；所述数据片段获取单元，在资源匹配单元判断为是的情况下，重新进行数据片段的请求，否则获取所述数据片段。其中，所述数据片段获取单元在资源匹配单元判断为是的情况下，重新进行数据片段的请求，具体为：主动请求下一个数据片段；或者，选择暂停目前正在执行的数据片段直到该从计算节点的空闲量满足所述数据片段所需要的资源，再对所述数据片段进行请求。优选的，所述从计算节点还包括心跳上报单元，用于向主计算节点实时反馈任务执行情况以及上报计算节点的资源使用情况信息。如上所述，本专利技术的集群视频分析方法和系统，能够防止数据片段的滞留和数据片段出现混乱，还能够实现合理的任务调度。附图说明图1是本专利技术的集群视频分析方法的流程示意图；图2是本专利技术的步骤S2的流程示意图；图3是本专利技术的步骤S3的流程示意图；图4、5是本专利技术的集群视频分析系统的结构示意图；图6是本专利技术的数据片段插入单元的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。集群技术(cluster)是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面相对较高的收益，其中的任务调度是集群系统中的核心技术。集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个用户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。主动式计算节点是指通过主动式任务获取方式，由计算节点自主决定是否获取任务，当任务需要的计算节点核数高于计算节点自身计算资源时，由计算节点自行决定是否进行内部任务调整后获取该任务。图1是本专利技术的集群视频分析方法的流程示意图。本专利技术的集群视频分析方法用于集群系统，所述集群系统包括至少一个主计算节点和多个从计算节点。如图1所示，本专利技术的集群视频分析方法包括：步骤S1，基于待执行视频数据的预定时长，将所述待执行视频数据划分为至少一个数据片段。本步骤中，将接收到的待分析的视频数据插入执行计划表中，将执行计划表内所有未标示为结束的待分析的视频数据，根据预定周期对待分析的视频数据进行划分，以生成下一周期(如半小时)的待执行视频数据，将生成的下一周期的待执行视频数据进行划分，划分为至少一个数据片段。其中，所述待执行视频数据的信息包括但不限于待执行视频数据的ID、待执行视频数据的执行时间、待执行视频数据的取流时间、待执行视频数据的优本文档来自技高网...

【技术保护点】
一种集群视频分析方法，该方法用于集群系统，所述集群系统包括至少一个主计算节点和多个从计算节点，该方法包括：基于待执行视频数据的预定时长，将所述待执行视频数据划分为至少一个数据片段；将所述数据片段插入到执行数据队列；所述从计算节点从所述执行数据队列获取数据片段并对所述数据片段进行处理。

【技术特征摘要】
1.一种集群视频分析方法，该方法用于集群系统，所述集群系统包括至少一个主计算节点和多个从计算节点，该方法包括：基于待执行视频数据的预定时长，将所述待执行视频数据划分为至少一个数据片段；将所述数据片段插入到执行数据队列；所述从计算节点从所述执行数据队列获取数据片段并对所述数据片段进行处理。2.根据权利要求1所述的方法，在所述将待执行视频数据划分为至少一个数据片段的步骤之前，还包括：根据预定时长对待分析的视频数据进行划分，以生成下一预定时长的待执行视频数据。3.根据权利要求1或2所述的方法，其中，所述将数据片段插入到执行数据队列的步骤包括：获取所述数据片段的优先级、预定执行开始时间、预定执行结束时间、所需要的计算节点核数和分辨率的信息；根据获取到的所述信息以确定所述数据片段在所述执行数据队列中的排序。4.根据权利要求1或2所述的方法，在所述从计算节点从所述执行数据队列获取数据片段并对所述数据片段进行处理的步骤之前，还包括：从计算节点统计自身计算资源是否有空余，如果有空余则向执行数据队列请求获取数据片段。5.根据权利要求1或2所述的方法，其中，所述从计算节点从所述执行数据队列获取数据片段并对所述数据片段进行处理的步骤包括：判断所述数据片段所需要的资源是否超过该从计算节点目前空闲量；如果是，则重新进行数据片段的请求，否则获取所述数据片段并对所述数据片段进行处理。6.根据权利要求5所述的方法，所述重新进行数据片段的请求的步骤包括：请求下一个数据片段；或者，选择暂停目前正在执行的数据片段直到该从计算节点的空闲量满足所述数据片段所需要的资源，再对所述数据片段进行请求。7.根据权利要求1或2所述的方法，该方法还包括：从计算节点实时反馈数据片段执行情况以及上报计算节点的资源使用情况。8.一种集群视频分析系统，所述集群视频分析系统包括至少一个主计算节点和多个从计算节点，所述主计算节点(1)包括：数据片段划分单元(...

【专利技术属性】
技术研发人员：周明耀，浦世亮，闫春，谢忠贤，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33