一种视频处理方法、电子设备和计算机可读存储介质技术

本发明专利技术涉及一种视频处理方法、电子设备和计算机可读存储介质，其中，所述方法包括：以当前帧图像作为语义分割神经网络的输入，获取所述语义分割神经网络在一个或多个操作层输出的当前帧图像的特征图；基于所述语义分割神经网络在任意一个或多个操作层输出的非当前帧图像的特征图，获取待拼接特征图；以及，基于所述当前帧图像的特征图和所述待拼接特征图，获取所述语义分割神经网络针对所述当前帧图像的语义分割结果。本发明专利技术实施例提出的技术方案将非当前帧图像的信息融入当前帧图像的分割，大大提升视频分割效果。

【技术实现步骤摘要】
一种视频处理方法、电子设备和计算机可读存储介质
本专利技术属于用于计算机视频处理
，具体涉及一种视频处理方法、电子设备和计算机可读存储介质。
技术介绍
在计算机视觉领域，目前神经网络的应用主要有图像识别、目标定位与检测和语义分割，其中，图像识别的目的是识别出图像或图像中的目标物是什么，目标定位与检测是明确图像中的目标物在什么位置，而语义分割则是从像素级别解决图像识别和目标定位与检测。专利技术人发现，在视频图像的语义分割中，现有的语义分割仅是针对每一帧图像进行独立分割，导致出现稳定性较差，边缘分割效果差，分割视频抖动，分割不准确等技术问题。
技术实现思路
为了解决上述稳定性较差，边缘分割效果差，分割视频抖动，分割不准确等技术问题，本专利技术实施例提出了一种视频处理方法、电子设备和计算机可读存储介质。在本专利技术的第一方面，提供一种视频处理方法，包括：以当前帧图像作为语义分割神经网络的输入，获取所述语义分割神经网络在一个或多个操作层输出的当前帧图像的特征图；基于所述语义分割神经网络在任意一个或多个操作层输出的非当前帧图像的特征图，获取待拼接特征图；以及，基于所述当前帧图像的特征图和所述待拼接特征图，获取所述语义分割神经网络针对所述当前帧图像的语义分割结果。在某些实施例中，所述基于所述当前帧图像的特征图和所述待拼接特征图，获取所述语义分割神经网络针对所述当前帧图像的语义分割结果，包括：拼接所述当前帧图像的特征图和所述待拼接特征图，得到当前帧图像的拼接特征图，以所述当前帧图像的拼接特征图作为所述语义分割神经网络中后序的操作层的输入，继续所述语义分割神经网络的运算操作，用以获取所述语义分割神经网络针对所述当前帧图像的语义分割结果。在某些实施例中，所述基于所述语义分割神经网络在第一卷积层输出的前一帧图像的第一特征图，获取待拼接特征图；包括：基于存储的所述语义分割神经网络在第一卷积层输出的所述前一帧图像的第一特征图，获取所述待拼接特征图。在某些实施例中，所述以当前帧图像作为语义分割神经网络的输入，获取所述语义分割神经网络在第一卷积层输出的当前帧图像的第一特征图；基于所述语义分割神经网络在第一卷积层输出的前一帧图像的第一特征图，获取待拼接特征图；包括：以所述当前帧图像和所述前一帧图像作为所述语义分割神经网络的输入，获取所述语义分割神经网络在第一卷积层输出的所述当前帧图像的第一特征图和所述前一帧图像的第一特征图；以及，基于所述前一帧图像的第一特征图，获取所述待拼接特征图。在某些实施例中，所述基于所述当前帧图像的第一特征图和所述待拼接特征图，获取所述语义分割神经网络针对所述当前帧图像的语义分割结果，包括：拼接所述当前帧图像的第一特征图和所述待拼接特征图，得到当前帧图像的第一拼接特征图，以所述当前帧图像的第一拼接特征图作为所述语义分割神经网络中位于所述第一卷积层后序的操作层的输入，继续所述语义分割神经网络的运算操作，用以获取所述语义分割神经网络针对所述当前帧图像的语义分割结果。在某些实施例中，所述基于所述语义分割神经网络在第一卷积层输出的前一帧图像的第一特征图，获取待拼接特征图，包括：获取所述语义分割神经网络输出的所述前一帧图像的第一蒙版；基于所述前一帧图像的第一蒙版将所述前一帧图像的第一特征图分割为所述前一帧图像的前景特征图和所述前一帧图像的背景特征图；拼接所述前一帧图像的前景特征图和所述前一帧图像的背景特征图，得到前一帧图像的第二拼接特征图；以及，对所述前一帧图像的第二拼接特征图进行池化，得到的池化特征图为所述待拼接特征图。在某些实施例中，所述视频处理方法还包括：获取并存储所述语义分割神经网络输出的所述当前帧图像的第一蒙版，以便针对所述当前帧图像的后一帧图像进行语义分割时使用。在某些实施例中，所述池化采用平均池化的方法。在本专利技术的第二方面，提供一种计算机可读存储介质，存储有执行如本专利技术第一方面所述方法的计算机程序。在本专利技术的第三方面，提供一种电子设备，包括处理器和操作上与所述处理器连接的如本专利技术第二方面所述的计算机可读存储介质，所述处理器运行执行计算机可读介质中的计算机程序。本专利技术的有益效果：本专利技术实施例提出的视频处理方法、电子设备和计算机可读存储介质将前一帧图像的信息(特别是前一帧图像的前景特征图和背景特征图)融入当前帧图像的分割，大大提升视频分割效果。本专利技术实施例的其他有益效果将在下文中进一步阐述。附图说明图1a是本专利技术实施例提出的视频处理方法的流程框图；图1b是本专利技术实施例提出的优选的视频处理方法的流程框图；图2是本专利技术实施例提出的优选的视频处理方法的一实施例的流程框图；图3是本专利技术实施例提出的优选的视频处理方法的一实施例的流程示意图；图4是本专利技术实施例提出的优选的视频处理方法的获取待拼接特征图的流程框图；图5是本专利技术实施例提出的优选的视频处理方法的另一实施例的流程框图；图6是本专利技术实施例提出的优选的视频处理方法的另一实施例的流程示意图；图7是本专利技术实施例提出的优选的视频处理方法的再一实施例的流程框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。但本领域技术人员知晓，本专利技术并不局限于附图和以下实施例。如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。文中所使用的“第一”、“第二”等表述并不表示任何顺序、数量或者重要性等实质含义，仅是用来区分不同的组成部分。本专利技术实施例涉及视频处理方法和装置、计算机可读存储介质以及电子设备。例如，利用语义分割神经网络进行视频图像分割处理包括训练阶段和图像分割阶段，其中，训练阶段是指事先利用训练图像对语义分割神经网络进行训练，以调整语义分割神经网络的参数；图像分割阶段是指利用训练好的语义分割神经网络对拟进行图像分割处理的视频图像进行语义分割，本专利技术实施例主要侧重于利用训练好的语义分割神经网络对视频图像进行语义分割。需要说明的是，本专利技术实施例中描述的视频表示的是有时间关联关系的多帧视频图像，可以是视频中的一部分或整段视频，也可以是连续拍摄的多幅图像。本专利技术实施例中描述的视频可以来自于摄像头等图像获取设备实时获取的视频，也可以是保存在本地设备或者其他设备中的视频文件。本专利技术实施例中描述的帧图像可以是彩色图像，也可以为灰度图像。参照图1a，本专利技术实施例提出一种视频处理方法，包括：以当前帧图像作为语义分割神经网络的输入，获取所述语义分割神经网络在一个或多个操作层输出的当前帧图像的特征图；基于所述语义分割神经网络在任意一个或多个操作层输出的非本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：/n以当前帧图像作为语义分割神经网络的输入，获取所述语义分割神经网络在一个或多个操作层输出的当前帧图像的特征图；/n基于所述语义分割神经网络在任意一个或多个操作层输出的非当前帧图像的特征图，获取待拼接特征图；以及，/n基于所述当前帧图像的特征图和所述待拼接特征图，获取所述语义分割神经网络针对所述当前帧图像的语义分割结果。/n

【技术特征摘要】
20190401 CN 20191025826201.一种视频处理方法，其特征在于，包括：
以当前帧图像作为语义分割神经网络的输入，获取所述语义分割神经网络在一个或多个操作层输出的当前帧图像的特征图；
基于所述语义分割神经网络在任意一个或多个操作层输出的非当前帧图像的特征图，获取待拼接特征图；以及，
基于所述当前帧图像的特征图和所述待拼接特征图，获取所述语义分割神经网络针对所述当前帧图像的语义分割结果。


2.如权利要求1所述的方法，其特征在于，所述基于所述当前帧图像的特征图和所述待拼接特征图，获取所述语义分割神经网络针对所述当前帧图像的语义分割结果，包括：
拼接所述当前帧图像的特征图和所述待拼接特征图，得到当前帧图像的拼接特征图，以所述当前帧图像的拼接特征图作为所述语义分割神经网络中后序的操作层的输入，继续所述语义分割神经网络的运算操作，用以获取所述语义分割神经网络针对所述当前帧图像的语义分割结果。


3.如权利要求1所述的方法，其特征在于，所述方法包括：
以当前帧图像作为语义分割神经网络的输入，获取所述语义分割神经网络在第一卷积层输出的当前帧图像的第一特征图；
基于所述语义分割神经网络在第一卷积层输出的前一帧图像的第一特征图，获取待拼接特征图；以及，
基于所述当前帧图像的第一特征图和所述待拼接特征图，获取所述语义分割神经网络针对所述当前帧图像的语义分割结果。


4.如权利要求3所述的方法，其特征在于，所述基于所述语义分割神经网络在第一卷积层输出的前一帧图像的第一特征图，获取待拼接特征图；包括：
基于存储的所述语义分割神经网络在第一卷积层输出的所述前一帧图像的第一特征图，获取所述待拼接特征图。


5.如权利要求3所述的方法，其特征在于，所述以当前帧图像作为语义分割神经网络的输入，获取所述语义分割神经网络在第一卷积层输出的当前帧图像的第一特征图；基于所述语义分割神经网络在第一卷积层输出的前一帧图像的第一特征图，获取待拼接特征图；包括：

【专利技术属性】
技术研发人员：赵维杰，富宸，
申请(专利权)人：上海卫莎网络科技有限公司，
类型：发明
国别省市：上海;31