基于视频流的物体分割方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种基于视频流的物体分割方法、装置、设备及存储介质。该方法包括：获取当前视频帧相对于上一视频帧的平均光流；其中，所述光流由视频中目标物体运动而形成；获取上一视频帧中目标物体的分割结果，确定为第一分割结果；根据所述第一分割结果和所述平均光流确定当前视频帧中目标物体的分割结果；所述分割结果由视频帧中每个像素点的灰度值表征。本公开实施例公开的基于视频流的物体分割方法，根据上一视频帧中目标物体的分割结果以及当前视频帧相对于上一视频帧的平均光流确定当前视频帧中对目前物体的分割结果，可以避免相邻视频帧的分割结果出现抖动，可以提高分割视频的平滑性。

Object segmentation method, device, device and storage medium based on video stream

【技术实现步骤摘要】
基于视频流的物体分割方法、装置、设备及存储介质
本公开实施例涉及图像物体分割
，尤其涉及一种基于视频流的物体分割方法、装置、设备及存储介质。
技术介绍
视频物体分割时计算机视频处理领域的热点研究问题之一，视频物体分割有着广泛的应用，例如视频编辑、自动驾驶、视频监控、和基于视频内容的视频编码应用等。现有技术中，对视频中的物体进行分割时，对每一视频帧单独进行物体识别，然后进行分割。当视频中分割的物体处于运动状态，采用这样的分割方式使得相邻视频帧的分割结果出现抖动的情况，使得分割的视频流不平滑。
技术实现思路
本公开实施例提供一种基于视频流的物体分割方法、装置、设备及存储介质，以实现对视频中物体的分割，提高分割视频的平滑性。第一方面，本公开实施例提供了一种基于视频流的物体分割方法，包括：获取当前视频帧相对于上一视频帧的平均光流；其中，所述光流由视频中目标物体运动而形成；获取上一视频帧中目标物体的分割结果，确定为第一分割结果；根据所述第一分割结果和所述平均光流确定当前视频帧中目标物体的分割结果；所述分割结果由视频帧中每个像素点的灰度值表征。第二方面，本公开实施例还提供了一种基于视频流的物体分割装置，包括：平均光流获取模块，用于获取当前视频帧相对于上一视频帧的平均光流；其中，所述光流由视频中目标物体运动而形成；第一分割结果获取模块，用于获取上一视频帧中目标物体的分割结果，确定为第一分割结果；当前视频帧分割结果确定模块，用于根据所述第一分割结果和所述平均光流确定当前视频帧中目标物体的分割结果；所述分割结果由视频帧中每个像素点的灰度值表征。第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理装置；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本公开实施例所述的基于视频流的物体分割方法。第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现如本公开实施例所述的基于视频流的物体分割方法。本公开实施例，获取当前视频帧相对于上一视频帧的平均光流；其中，光流由视频中目标物体运动而形成；获取上一视频帧中目标物体的分割结果，确定为第一分割结果；根据第一分割结果和平均光流确定当前视频帧中目标物体的分割结果；分割结果由视频帧中每个像素点的灰度值表征。本公开实施例公开的基于视频流的物体分割方法，根据上一视频帧中目标物体的分割结果以及当前视频帧相对于上一视频帧的平均光流确定当前视频帧中对目前物体的分割结果，可以避免相邻视频帧的分割结果出现抖动，可以提高分割视频的平滑性。附图说明图1是本公开实施例一中的一种基于视频流的物体分割方法的流程图；图2是本公开实施例一中的一种分割结果的示例图；图3是本公开实施例二中的一种基于视频流的物体分割装置的结构示意图；图4是本公开实施例三中的一种电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。【序数词】需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。实施例一图1为本公开实施例一提供的一种基于视频流的物体分割方法的流程图，本实施例可适用于对视频中物体进行分割的情况，该方法可以由基于视频流的物体分割装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有基于视频流的物体分割功能的设备中，该设备可以是服务器、移动终端或服务器集群等电子设备。如图1所示，该方法具体包括如下步骤：步骤110，获取当前视频帧相对于上一视频帧的平均光流。其中，光流由视频中目标物体运动而形成，具体的，光流可以用来描述相对于观察者的运动所造成的观测物体、表面或边缘的运动。上一视频帧为与当前视频帧相邻的前向视频帧。光流可以采用物体在相邻两个视频帧间的移动矢量来表征。本应用场景下，假设视频帧中的目标物体处于运动状态，背景物体处于静止状态，相邻两视频帧间的平均光流由目标物体对应的像素点的移动矢量与背景物体对应的像素点的移动矢量求取平均值获得。可选的，获取当前视频帧相对于上一视频帧的平均光流的方式可以是：对上一视频帧进行目标物体的检测，获得第一物体检测框；对当前视频帧进行目标物体的检测，获得第二物体检测框；对第一物体检测框和第二物体检测框进行融合；根据融合后的检测框计算当前视频帧相对于上一视频帧的平均光流。其中，对视频帧中的目标物体进行检测的方式可以是将视频帧输入物体识别模型进行检测，获得目标物体在视频帧中的检测框。目标物体例如可以是汽车、动物(如：猫、狗)、人物、树木及石头等各种物体。对第一物体检测框和第二物体检测框进行融合的方式可以是获取第一物体检测框和第二物体检测框围城的最小物体框，假设第一物体检测框的四个顶点的坐标分别为(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)，第二物体检测框的四个顶点的坐标分别为(x5,y5)、(x6,y6)、(x7,y7)和(x8,y8)，那么融合后的检测框的四个顶点的坐标分别为：(min(x1,x2...x8)，min(y1,y2....y8))，(min(x1,x2...x8)，max(y1,y2....y8))，(max(x1,x2...x8)和min(y1,y2....y8))，(max(x1,x2...x8)，max(y1,y2....y8))。具体的，根据融合后的检测框计算当前视频帧相对于上一视频帧的平均光流的方式可以是：在融合后的检测框中计算当前视频帧相对于上一视频帧每个像素点的移动矢本文档来自技高网...

【技术保护点】
1.一种基于视频流的物体分割方法，其特征在于，包括：/n获取当前视频帧相对于上一视频帧的平均光流；其中，所述光流由视频中目标物体运动而形成；/n获取上一视频帧中目标物体的分割结果，确定为第一分割结果；/n根据所述第一分割结果和所述平均光流确定当前视频帧中目标物体的分割结果；所述分割结果由视频帧中每个像素点的灰度值表征。/n

【技术特征摘要】
1.一种基于视频流的物体分割方法，其特征在于，包括：
获取当前视频帧相对于上一视频帧的平均光流；其中，所述光流由视频中目标物体运动而形成；
获取上一视频帧中目标物体的分割结果，确定为第一分割结果；
根据所述第一分割结果和所述平均光流确定当前视频帧中目标物体的分割结果；所述分割结果由视频帧中每个像素点的灰度值表征。


2.根据权利要求1所述的方法，其特征在于，获取当前视频帧相对于上一视频帧的平均光流，包括：
对上一视频帧进行目标物体的检测，获得第一物体检测框；对当前视频帧进行目标物体的检测，获得第二物体检测框；
对所述第一物体检测框和所述第二物体检测框进行融合；
根据融合后的检测框计算当前视频帧相对于上一视频帧的平均光流。


3.根据权利要求2所述的方法，其特征在于，根据融合后的检测框计算当前视频帧相对于上一视频帧的平均光流，包括：
在融合后的检测框中计算当前视频帧相对于上一视频帧每个像素点的移动矢量；
根据每个像素点的移动矢量计算平均移动矢量，将所述平均移动矢量确定为平均光流。


4.根据权利要求2所述的方法，其特征在于，根据所述第一分割结果和所述平均光流确定当前视频帧中目标物体的分割结果，包括：
若所述平均光流小于或等于设定阈值，则将所述第一分割结果确定为当前视频中目标物体的分割结果；
若所述平均光流大于设定阈值，则根据所述第二物体检测框对当前视频帧中的目标物体进行分割，获得第二分割结果；
根据所述第二分割结果和所述第一分割结果确定当前视频帧中目标物体的分割结果。


5.根据权利要求4所述的方法，其特征在于，根据所述第二分割结果和所述第一分割结果确定当前视频帧中目标物体的分割结果，包括：
将所述第二分割结果和所述第一分割结果进行加权计算...

【专利技术属性】
技术研发人员：王旭，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11