关键帧调度方法和装置、电子设备、程序和介质制造方法及图纸

本发明专利技术实施例公开了一种关键帧调度方法和装置、电子设备、程序和介质，其中，方法包括：通过神经网络的第一网络层对当前帧进行特征提取，获得当前帧的低层特征；根据当前帧相邻的前一关键帧的低层特征和当前帧的低层特征，获取当前帧被调度为关键帧的调度概率值；根据当前帧的调度概率值确定当前帧是否被调度为关键帧；若确定当前帧被调度为关键帧，通过神经网络的第二网络层对当前关键帧的低层特征进行特征提取，获得当前关键帧的高层特征；其中，神经网络中，第一网络层的网络深度浅于第二网络层的网络深度。本发明专利技术实施例利用了视频中不同帧之间的低层特征的变化，从而可以快速、准确、自适应的进行关键帧调度，提高了关键帧的调度效率。

【技术实现步骤摘要】
关键帧调度方法和装置、电子设备、程序和介质
本专利技术涉及计算机视觉技术，尤其是一种关键帧调度方法和装置、电子设备、程序和介质。
技术介绍
视频语义分割是计算机视觉和视频语义理解任务中的重要问题。视频语义分割模型在很多领域，例如自动驾驶，视频监控，以及视频目标分析等领域，有重要的应用。视频语义分割速度是视频语义分割任务中最为重要的一方面。由于视频中相邻帧之间的信息冗余，为了减少计算量，目前的快速视频语义分割方法，通常会通过关键帧调度算法稀疏的选择视频中的某些帧作为关键帧，在关键帧上运行代价高的网络进行语义分割，后续帧则使用代价小的网络融合关键帧的语义分割结果。
技术实现思路
本专利技术实施例供一种关键帧调度的技术方案根据本专利技术实施例的一个方面，提供的一种关键帧调度方法，包括：通过神经网络的第一网络层对当前帧进行特征提取，获得当前帧的低层特征；根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，获取所述当前帧被调度为关键帧的调度概率值；其中，所述前一关键帧的低层特征由所述第一网络层对所述前一关键帧进行特征提取得到；根据所述当前帧的调度概率值确定所述当前帧是否被调度为关键帧；若确定所述当前帧被调度为关键帧，通过所述神经网络的第二网络层对当前关键帧的低层特征进行特征提取，获得所述当前关键帧的高层特征；其中，所述神经网络中，所述第一网络层的网络深度浅于所述第二网络层的网络深度。可选地，在本专利技术上述任一方法实施例中，还包括：确定初始关键帧；通过所述第一网络层对所述初始关键帧进行特征提取，获得所述初始关键帧的低层特征并缓存；通过所述第二网络层对所述初始关键帧的低层特征进行特征提取，获得所述初始关键帧的高层特征。可选地，在本专利技术上述任一方法实施例中，还包括：对所述初始关键帧进行语义分割，输出所述初始关键帧的语义标签。可选地，在本专利技术上述任一方法实施例中，若确定所述当前帧被调度为关键帧，还包括：缓存所述当前关键帧的低层特征。可选地，在本专利技术上述任一方法实施例中，根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，获取所述当前帧被调度为关键帧的调度概率值，包括：将所述前一关键帧的低层特征和所述当前帧的低层特征进行拼接，得到拼接特征；通过关键帧调度网络，基于所述拼接特征获取所述当前帧是否应该被调度为关键帧的调度概率值。可选地，在本专利技术上述任一方法实施例中，还包括：对所述当前关键帧进行语义分割，输出所述关键帧的语义标签。根据本专利技术实施例的另一个方面，提供的一种关键帧调度装置，包括：第一特征提取单元，包括神经网络的第一网络层，用于对当前帧进行特征提取，获得前帧的低层特征；调度单元，用于根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，获取所述当前帧被调度为关键帧的调度概率值；其中，所述前一关键帧的低层特征由所述第一网络层对所述前一关键帧进行特征提取得到；确定单元，用于根据所述当前帧的调度概率值确定所述当前帧是否被调度为关键帧；第二特征提取单元，包括所述神经网络的第二网络层，用于根据所述确定单元的确定结果，若确定所述当前帧被调度为关键帧，对当前关键帧的低层特征进行特征提取，获得所述当前关键帧的高层特征；其中，所述神经网络中，所述第一网络层的网络深度浅于所述第二网络层的网络深度。可选地，在本专利技术上述任一装置实施例中，所述前一关键帧包括预先确定的初始关键帧；所述装置还包括：缓存单元，用于缓存关键帧的低层特征和高层特征，所述关键帧包括所述初始关键帧。可选地，在本专利技术上述任一装置实施例中，所述第一特征提取单元，还用于根据所述确定单元的确定结果，在缓存单元中缓存所述当前关键帧的低层特征。可选地，在本专利技术上述任一装置实施例中，所述调度单元包括：拼接子单元，用于将所述前一关键帧的低层特征和所述当前帧的低层特征进行拼接，得到拼接特征；关键帧调度网络，用于基于所述拼接特征获取所述当前帧是否应该被调度为关键帧的调度概率值。可选地，在本专利技术上述任一装置实施例中，还包括：语义分割单元，用于对所述关键帧进行语义分割，输出所述关键帧的语义标签，所述关键帧包括：初始关键帧、所述前一关键帧或者所述当前关键帧。根据本专利技术实施例的又一个方面，提供的一种电子设备，包括：本专利技术任一实施例所述的关键帧调度装置。根据本专利技术实施例的再一个方面，提供的一种电子设备，包括：处理器和本专利技术任一实施例所述的关键帧调度装置；在处理器运行所述关键帧调度装置时，本专利技术任一实施例所述的关键帧调度装置的单元被运行。根据本专利技术实施例的再一个方面，提供的一种电子设备，包括：处理器和存储器；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行本专利技术任一实施例所述的关键帧调度方法中各步骤的操作。根据本专利技术实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现本专利技术任一实施例所述的车辆驾驶模拟方法中各步骤的指令。根据本专利技术实施例的再一个方面，提供的一种计算机可读介质，用于存储计算机可读取的指令，所述指令被执行时实现本专利技术任一实施例所述的关键帧调度方法中各步骤的操作。基于本专利技术上述实施例提供的关键帧调度方法和装置、电子设备、程序和介质，对当前帧进行特征提取，获得当前帧的低层特征，根据相邻的前一关键帧的低层特征和当前帧的低层特征，获取当前帧被调度为关键帧的调度概率值；根据当前帧的调度概率值确定当前帧是否被调度为关键帧；若确定当前帧被调度为关键帧，对当前关键帧的低层特征进行特征提取，获得当前关键帧的高层特征。本专利技术实施例可以根据前一关键帧的低层特征和当前帧的低层特征来获取当前帧相对于前一关键帧低层特征的变化，利用了视频中不同帧之间的低层特征的变化，从而可以快速、准确、自适应的进行关键帧调度，提高了关键帧的调度效率。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明构成说明书的一部分的附图描述了本专利技术的实施例，并且连同描述一起用于解释本专利技术的原理。参照附图，根据下面的详细描述，可以更加清楚地理解本专利技术，其中：图1为本专利技术关键帧调度方法一个实施例的流程图。图2为本专利技术关键帧调度方法另一个实施例的流程图。图3为本专利技术关键帧调度装置一个实施例的结构示意图。图4为本专利技术关键帧调度装置另一个实施例的结构示意图。图5为本专利技术电子设备一个应用实施例的结构示意图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。本专利技术实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务本文档来自技高网...

【技术保护点】
1.一种关键帧调度方法，其特征在于，包括：通过神经网络的第一网络层对当前帧进行特征提取，获得当前帧的低层特征；根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，获取所述当前帧被调度为关键帧的调度概率值；其中，所述前一关键帧的低层特征由所述第一网络层对所述前一关键帧进行特征提取得到；根据所述当前帧的调度概率值确定所述当前帧是否被调度为关键帧；若确定所述当前帧被调度为关键帧，通过所述神经网络的第二网络层对当前关键帧的低层特征进行特征提取，获得所述当前关键帧的高层特征；其中，所述神经网络中，所述第一网络层的网络深度浅于所述第二网络层的网络深度。

【技术特征摘要】
1.一种关键帧调度方法，其特征在于，包括：通过神经网络的第一网络层对当前帧进行特征提取，获得当前帧的低层特征；根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，获取所述当前帧被调度为关键帧的调度概率值；其中，所述前一关键帧的低层特征由所述第一网络层对所述前一关键帧进行特征提取得到；根据所述当前帧的调度概率值确定所述当前帧是否被调度为关键帧；若确定所述当前帧被调度为关键帧，通过所述神经网络的第二网络层对当前关键帧的低层特征进行特征提取，获得所述当前关键帧的高层特征；其中，所述神经网络中，所述第一网络层的网络深度浅于所述第二网络层的网络深度。2.根据权利要求1所述的方法，其特征在于，还包括：确定初始关键帧；通过所述第一网络层对所述初始关键帧进行特征提取，获得所述初始关键帧的低层特征并缓存；通过所述第二网络层对所述初始关键帧的低层特征进行特征提取，获得所述初始关键帧的高层特征。3.根据权利要求1或2所述的方法，其特征在于，还包括：对所述初始关键帧进行语义分割，输出所述初始关键帧的语义标签。4.根据权利要求1-3任一所述的方法，其特征在于，若确定所述当前帧被调度为关键帧，还包括：缓存所述当前关键帧的低层特征。5.一种关键帧调度装置，其特征在于，包括：第一特征提取单元，包括神经网络的第一网络层，用于对当前帧进行特征提取，获得前帧的低层特征；调度单元，用于根据所述当前帧相邻的前...

【专利技术属性】
技术研发人员：石建萍，李玉乐，林达华，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11