特征传播方法和装置、电子设备、程序和介质制造方法及图纸

本发明专利技术实施例公开了一种特征传播方法和装置、电子设备、程序和介质，其中，方法包括：判断当前帧是否为关键帧；响应于所述当前帧为视频中的非关键帧，根据相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征；其中，神经网络中，提取得到所述前一关键帧的低层特征对应的第一网络层的网络深度，浅于提取得到所述前一关键帧的高层特征对应的第二网络层的网络深度。本发明专利技术实施例利用了视频帧之间的一致性信息，利用邻近帧之间的语义标签相近的特点，将视频语义特征从相邻的前一关键帧传播到当前帧，减少了重复计算时间，并且提高了语义分割的准确性。

【技术实现步骤摘要】
特征传播方法和装置、电子设备、程序和介质
本专利技术涉及计算机视觉技术，尤其是一种特征传播方法和装置、电子设备、程序和介质。
技术介绍
视频语义分割是计算机视觉和视频语义理解任务中的重要问题。视频语义分割模型在很多领域，例如自动驾驶，视频监控，以及视频目标分析等领域，有重要的应用。目前，虽然对图像的语义分割技术研究的比较多，但是对视频语义分割技术却研究的比较少。视频语义分割要求较高的实时性，同时能够保证足够的精度。
技术实现思路
本专利技术实施例提供一种视频中的特征传播技术方案。根据本专利技术实施例的一个方面，提供的一种特征传播方法，包括：判断当前帧是否为关键帧；响应于所述当前帧为视频中的非关键帧，根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征；其中，神经网络中，提取得到所述前一关键帧的低层特征对应的第一网络层的网络深度，浅于提取得到所述前一关键帧的高层特征对应的第二网络层的网络深度。可选地，在本专利技术上述任一方法实施例中，所述根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征，包括：根据相邻的前一关键帧的低层特征和所述当前帧的低层特征，获取从所述前一关键帧的低层特征变换到所述当前帧的低层特征的转换权值；根据所述前一关键帧的高层特征和所述转换权值，将所述前一关键帧的高层特征转换为所述当前帧的高层特征。可选地，在本专利技术上述任一方法实施例中，响应于所述当前帧为视频中的非关键帧，还包括：至少基于所述当前帧的高层特征，对所述当前帧进行语义分割，获得所述当前帧的语义标签。可选地，在本专利技术上述任一方法实施例中，所述至少基于所述当前帧的高层特征，对所述当前帧进行语义分割，包括：基于所述当前帧的低层特征和高层特征，对所述当前帧进行语义分割，获得所述当前帧的语义标签。可选地，在本专利技术上述任一方法实施例中，基于所述当前帧的低层特征和高层特征，对所述当前帧进行语义分割，包括：对所述当前帧的低层特征进行转换，获得与所述当前帧的高层特征的通道数一致的特征；将所述当前帧转换得到的特征与所述当前帧的高层特征进行拼接或融合，获得当前帧特征；基于所述当前帧特征，对所述当前帧进行语义分割。可选地，在本专利技术上述任一方法实施例中，所述判断当前帧是否为关键帧，包括：利用关键帧调度策略判断所述当前帧是否为关键帧。可选地，在本专利技术上述任一方法实施例中，所述利用关键帧调度策略判断所述当前帧是否为关键帧，包括：利用固定长度调度法判断所述当前帧是否为关键帧；响应于所述当前帧为视频中的非关键帧，所述方法还包括：对所述当前帧进行特征提取，获得所述当前帧的低层特征。可选地，在本专利技术上述任一方法实施例中，利用关键帧调度策略判断所述当前帧是否为关键帧，包括：对所述当前帧进行特征提取，获得所述当前帧的低层特征；根据所述前一关键帧的低层特征和所述当前帧的低层特征，获取所述当前帧被调度为关键帧的调度概率值；根据所述当前帧的调度概率值确定所述当前帧是否被调度为关键帧。可选地，在本专利技术上述任一方法实施例中，根据所述前一关键帧的低层特征和所述当前帧的低层特征，获取所述当前帧被调度为关键帧的调度概率值，包括：将所述前一关键帧的低层特征和所述当前帧的低层特征进行拼接，得到拼接特征；通过关键帧调度网络，基于所述拼接特征获取所述当前帧是否应该被调度为关键帧的调度概率值。可选地，在本专利技术上述任一方法实施例中，还包括：响应于当前帧为视频中的关键帧，对所述当前帧进行特征提取，获得所述当前帧的低层特征并缓存；对所述当前帧的低层特征进行特征提取，获得所述当前帧的高层特征并缓存。可选地，在本专利技术上述任一方法实施例中，还包括：响应于当前帧为所述视频中的关键帧，基于所述当前帧的高层特征，对所述当前帧进行语义分割，获得所述当前帧的语义标签。根据本专利技术实施例的另一个方面，提供的一种特征传播装置，包括：判断模块，用于判断当前帧是否为关键帧；特征传播模块，用于根据所述判断模块的判断结果，响应于当前帧为视频中的非关键帧，根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征；其中，神经网络中，提取得到所述前一关键帧的低层特征的第一网络层的网络深度，浅于提取得到所述前一关键帧的高层特征对应的第二网络层的网络深度。可选地，在本专利技术上述任一装置实施例中，所述特征传播模块，具体用于：根据所述前一关键帧的低层特征和所述当前帧的低层特征，获取从所述前一关键帧的低层特征变换到所述当前帧的低层特征的转换权值；以及根据所述前一关键帧的高层特征和所述转换权值，将所述前一关键帧的高层特征转换为所述当前帧的高层特征。可选地，在本专利技术上述任一装置实施例中，还包括：语义分割模块，用于根据所述判断模块的判断结果，响应于当前帧为视频中的非关键帧，至少基于所述当前帧的高层特征，对所述当前帧进行语义分割，获得所述当前帧的语义标签。可选地，在本专利技术上述任一装置实施例中，所述语义分割模块至少基于所述当前帧的高层特征，对所述当前帧进行语义分割时，具体用于：基于所述当前帧的低层特征和高层特征，对所述当前帧进行语义分割。可选地，在本专利技术上述任一装置实施例中，所述语义分割模块基于所述当前帧的低层特征和高层特征，对所述当前帧进行语义分割时，具体用于：对所述当前帧的低层特征进行转换，获得与所述当前帧的高层特征的通道数一致的特征；将所述当前帧转换得到的特征与所述当前帧的高层特征进行拼接或融合，获得当前帧特征；以及基于所述当前帧特征，对所述当前帧进行语义分割。可选地，在本专利技术上述任一装置实施例中，所述判断模块，具体用于利用关键帧调度策略判断所述当前帧是否为关键帧。可选地，在本专利技术上述任一装置实施例中，所述判断模块，具体用于利用固定长度调度法判断所述当前帧是否为关键帧；所述装置还包括：第一特征提取模块，用于根据所述判断模块的判断结果，响应于当前帧为视频中的非关键帧，对所述当前帧进行特征提取，获得所述当前帧的低层特征。可选地，在本专利技术上述任一装置实施例中，还包括：第一特征提取模块，用于对所述当前帧进行特征提取，获得所述当前帧的低层特征；获取模块，用于根据相邻的前一关键帧的低层特征和所述当前帧的低层特征，获取所述当前帧被调度为关键帧的调度概率值；所述判断模块，具体用于根据所述当前帧的调度概率值确定所述当前帧是否被调度为关键帧。可选地，在本专利技术上述任一装置实施例中，所述获取模块包括：拼接单元，用于对所述前一关键帧的低层特征和所述当前帧的低层特征进行拼接，得到拼接特征；关键帧调度网络，用于基于所述拼接特征获取所述当前帧是否应该被调度为关键帧的调度概率值。可选地，在本专利技术上述任一装置实施例中，所述第一特征提取模块，还用于根据所述判断模块的判断结果，响应于当前帧为视频中的关键帧，对所述当前帧进行特征提取，获得所述当前帧的低层特征并缓存；所述装置还包括：第二特征提取模块，用于对所述关键帧的低层特征进行特征提取，获得所述关键帧的高层特征并缓存。可选地，在本专利技术上述任一装置实施例中，所述语义分割模块，还用于根据所述判断模块的判断结果，响应于当前帧为视频中的关键帧，基于所述当前帧的高层特征，对所述当本文档来自技高网...

【技术保护点】
1.一种特征传播方法，其特征在于，包括：判断当前帧是否为关键帧；响应于所述当前帧为视频中的非关键帧，根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征；其中，神经网络中，提取得到所述前一关键帧的低层特征对应的第一网络层的网络深度，浅于提取得到所述前一关键帧的高层特征对应的第二网络层的网络深度。

【技术特征摘要】
1.一种特征传播方法，其特征在于，包括：判断当前帧是否为关键帧；响应于所述当前帧为视频中的非关键帧，根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征；其中，神经网络中，提取得到所述前一关键帧的低层特征对应的第一网络层的网络深度，浅于提取得到所述前一关键帧的高层特征对应的第二网络层的网络深度。2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征，包括：根据相邻的前一关键帧的低层特征和所述当前帧的低层特征，获取从所述前一关键帧的低层特征变换到所述当前帧的低层特征的转换权值；根据所述前一关键帧的高层特征和所述转换权值，将所述前一关键帧的高层特征转换为所述当前帧的高层特征。3.根据权利要求1或2所述的方法，其特征在于，响应于所述当前帧为视频中的非关键帧，还包括：至少基于所述当前帧的高层特征，对所述当前帧进行语义分割，获得所述当前帧的语义标签。4.根据权利要求3所述的方法，其特征在于，所述至少基于所述当前帧的高层特征，对所述当前帧进行语义分割，包括：基于所述当前帧的低层特征和高层特征，对所述当前帧进行语义分割，获得所述当前帧的语义标签。将所述当前帧转换得到的特征与所述当前帧的高层特征进行拼接或...

【专利技术属性】
技术研发人员：石建萍，李玉乐，林达华，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11