一种视频帧中目标对象的拟合方法、系统及设备技术方案

本发明专利技术公开了一种视频帧中目标对象的拟合方法、系统及设备，其中，所述方法包括：在所述视频帧中识别所述目标对象所处的区域；选择若干个几何图形拟合所述目标对象所处的区域，以使得所述若干个几何图形的组合覆盖所述目标对象所处的区域；根据各个所述几何图形的类型以及各个所述几何图形在所述视频帧中的布局参数，生成各个所述几何图形的拟合参数，并将各个所述几何图形的拟合参数的组合作为所述视频帧的拟合参数。本申请提供的技术方案，能够减少拟合后的数据量，从而提高后续的处理效率。

【技术实现步骤摘要】
一种视频帧中目标对象的拟合方法、系统及设备
本专利技术涉及互联网
，特别涉及一种视频帧中目标对象的拟合方法、系统及设备。
技术介绍
随着视频播放技术的不断发展，针对视频画面的图像处理需求也在不断提高。当前，很多应用场景下都需要从视频画面中拟合出主要的目标对象，然后再根据拟合出的目标对象进行后续的处理。例如，一些自媒体需要根据视频的内容，制作出带有配图的剧情大纲。在这种情况下，就需要从视频画面中拟合出主要人物，然后根据拟合出的主要人物以及后期添加的文字来制作视频的剧情大纲。又例如，当视频播放画面中展示弹幕信息时，有时候为了避免弹幕信息对视频画面中的主要对象造成遮挡，也需要先从视频画面中拟合出主要对象，然后再通过弹幕处理技术，避免对拟合出的主要对象造成遮挡。目前，通常是通过二值掩码图的方式对视频帧中的目标对象进行拟合。具体地，可以生成与视频帧一致的二值掩码图，在该二值掩码图中，目标对象所占的区域与其它区域可以具备不同的像素值。这样，后续可以针对二值掩码图进行处理。然而，由于二值掩码图的数据量通常比较大，从而导致按照二值掩码图来拟合目标对象时，会增加后续需要处理的数据量，进而导致处理效率较低。
技术实现思路
本申请的目的在于提供一种视频帧中目标对象的拟合方法、系统及设备，能够减少拟合后的数据量，从而提高后续的处理效率。为实现上述目的，本申请一方面提供一种视频帧中目标对象的拟合方法，所述方法包括：在所述视频帧中识别所述目标对象所处的区域；选择若干个几何图形拟合所述目标对象所处的区域，以使得所述若干个几何图形的组合覆盖所述目标对象所处的区域；根据各个所述几何图形的类型以及各个所述几何图形在所述视频帧中的布局参数，生成各个所述几何图形的拟合参数，并将各个所述几何图形的拟合参数的组合作为所述视频帧的拟合参数。为实现上述目的，本申请另一方面还提供一种视频帧中目标对象的拟合系统，所述系统包括：区域识别单元，用于在所述视频帧中识别所述目标对象所处的区域；几何图形选择单元，用于选择若干个几何图形拟合所述目标对象所处的区域，以使得所述若干个几何图形的组合覆盖所述目标对象所处的区域；拟合参数生成单元，用于根据各个所述几何图形的类型以及各个所述几何图形在所述视频帧中的布局参数，生成各个所述几何图形的拟合参数，并将各个所述几何图形的拟合参数的组合作为所述视频帧的拟合参数。为实现上述目的，本申请另一方面还提供一种视频帧中目标对象的拟合设备，所述设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的拟合方法。由上可见，本申请提供的技术方案，针对视频帧中的目标对象，可以识别出该目标对象所处的区域。然后，可以通过几何图形拟合的方式，采用一个或者多个几何图形的组合来覆盖视频帧中的目标对象。在确定出覆盖目标对象的若干个几何图形后，可以生成这些几何图形的拟合参数，该拟合参数可以表征各个几何图形的类型以及各个几何图形在视频帧中的布局。由于几何图形的拟合参数并非是图像数据，因此所占用的字节通常较小，从而能够减少拟合后的数据量，进而提高后续的处理效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施方式中目标对象的拟合方法示意图；图2是本专利技术实施方式中几何图形拟合目标对象的示意图；图3是本专利技术实施方式中矩形区域的示意图；图4是本专利技术实施方式中椭圆区域的示意图；图5是本专利技术实施方式中掩码信息和视频帧的数据的结构示意图；图6是本专利技术实施方式中辅助标识位的一种实现方式示意图；图7是本专利技术实施方式中目标对象的拟合设备的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。本申请提供一种视频帧中目标对象的拟合方法，所述方法可以应用于具备图像处理功能的设备中。请参阅图1，所述方法包括以下步骤。S1：在所述视频帧中识别所述目标对象所处的区域。在本实施方式中，所述视频帧可以是待解析的视频数据中的任意一个视频帧。所述待解析的视频数据可以是设备中已经完成上传的点播视频的视频数据，也可以是设备接收到的直播视频流的视频数据，所述视频数据中可以包括每一个视频帧的数据。设备可以读取所述待解析的视频数据，并可以针对该视频数据中的每一个视频帧进行处理。具体地，设备可以预先确定视频数据中需要识别的目标对象，所述目标对象例如可以是视频画面中出现的人物。当然，根据视频内容的不同，所述目标对象也可以灵活更改。例如，在一个展现猫的日常生活的直播视频中，所述目标对象便可以是猫。在本实施方式中，针对所述视频数据中的任一视频帧，可以从所述视频帧中识别出所述目标对象所处的区域。具体地，从视频帧中识别目标对象可以采用多种方式来实现。例如，可以通过实例分割(Instancesegmentation)算法或者语义分割(Semanticsegmentation)算法从视频帧中识别出目标对象。在实际应用场景中，可以通过Faster-rcnn、Mask-rcnn等神经网络系统来识别目标对象。具体地，可以将视频帧输入上述的神经网络系统的模型，该模型输出的结果中，可以标注出所述视频帧中包含的目标对象的位置信息。所述位置信息可以通过视频帧中构成所述目标对象的像素点的坐标值来表示。这样，构成所述目标对象的像素点的坐标值的集合便可以表征所述目标对象在视频帧中所处的区域。S3：选择若干个几何图形拟合所述目标对象所处的区域，以使得所述若干个几何图形的组合覆盖所述目标对象所处的区域。在本实施方式中，在确定出所述目标对象在所述视频帧中所处的区域后，可以选用一个或者多个几何图形来共同拟合所述目标对象所处的区域，拟合的结果可以是这一个或者多个几何图形的组合能够刚好覆盖所述目标对象所处的区域。举例来说，请参阅图2，当前视频帧中待识别的目标对象是人体，在从当前视频帧中识别出如图2所示的人体后，可以通过椭圆和矩形来拟合出该人体在视频帧中所处的区域。例如，椭圆可以拟合人体的头部，矩形可以拟合人体的上半身和下半身。在本实施方式中，在确定上述的一个或者多个几何图形时，可以将所述目标对象所处的区域按照所述目标对象的形体特征分割为一个或者多个子区域。具体地，所述形体特征可以根据目标对象的类型而灵活设置。例如，当所述目标对象为人体时，所述形体特征便可以是头部、躯干、四肢等。当然，根据拟合精度的不同，分割得到的子区域的数量也可以不同。例如，当拟合精度的要求不高时，对于躯干和四肢可以无需分割得过于精细，而是可以简单地分为上半身和下半身。在实际应用中，可以通过多种姿态算法来将目标对象所处的区域分割为一个或者多个子区域。所述姿态算法例如可以包括DensePose算法、Open本文档来自技高网...

【技术保护点】
1.一种视频帧中目标对象的拟合方法，其特征在于，所述方法包括：/n在所述视频帧中识别所述目标对象所处的区域；/n选择若干个几何图形拟合所述目标对象所处的区域，以使得所述若干个几何图形的组合覆盖所述目标对象所处的区域；/n根据各个所述几何图形的类型以及各个所述几何图形在所述视频帧中的布局参数，生成各个所述几何图形的拟合参数，并将各个所述几何图形的拟合参数的组合作为所述视频帧的拟合参数。/n

【技术特征摘要】
1.一种视频帧中目标对象的拟合方法，其特征在于，所述方法包括：
在所述视频帧中识别所述目标对象所处的区域；
选择若干个几何图形拟合所述目标对象所处的区域，以使得所述若干个几何图形的组合覆盖所述目标对象所处的区域；
根据各个所述几何图形的类型以及各个所述几何图形在所述视频帧中的布局参数，生成各个所述几何图形的拟合参数，并将各个所述几何图形的拟合参数的组合作为所述视频帧的拟合参数。


2.根据权利要求1所述的方法，其特征在于，在所述视频帧中识别所述目标对象所处的区域之后，所述方法还包括：
生成所述视频帧的二进制掩码图，在所述二进制掩码图中，构成所述目标对象所处的区域的像素点具备第一像素值，其它像素点具备第二像素值，所述第一像素值和所述第二像素值不同。


3.根据权利要求2所述的方法，其特征在于，选择若干个几何图形拟合所述目标对象所处的区域包括：
在所述二进制掩码图中，通过所述若干个几何图形对具备第一像素值的像素点构成的区域进行拟合。


4.根据权利要求1或2所述的方法，其特征在于，选择若干个几何图形拟合所述目标对象所处的区域包括：
将所述目标对象所处的区域按照所述目标对象的形体特征分割为一个或者多个子区域；
针对任一所述子区域，选取与所述子区域相适配的几何图形，并确定所述几何图形的布局参数，以使得按照所述布局参数绘制的所述几何图形覆盖所述子区域。


5.根据权利要求1所述的方法，其特征在于，所述几何图形在所述视频帧中的布局参数通过像素点的坐标值和/或像素点的数量表示。


6.根据权利要求1所述的方法，其特征在于，生成各个所述几何图形的拟合参数包括：
识别所述几何图形的类型对应的预设图形标识，并分别对所述预设图形标识和所述几何图形的布局参数进行编码，并将编码后的数据作为所述几何图形的拟合参数。


7.根据权利要求1所述的方法，其特征在于，生成各个所述几何图形的拟合参数包括：
预先获取所述目标对象的训练样本集，所述训练样本集中包括若干个图像样本，所述若干个图像样本中均包含所述目标对象，并且每个所述图像样本均具备标注标签，所述标注标签用于表征覆盖所述图像样本中的目标对象所需的几何图形的拟合参数；
利用所述训练样本集中的图像样本训练识别模型，以使得在将任一图像样本输入训练后的识别模型后，所述训练后的识别模型输出的预测结果与输入的图像样本的标注标签表征的拟合参数一致；
将所述视频帧输入所述训练后的识别模型，并将所述训练后的识别模型输出的预测结果作为所述视频帧的拟合参数。


8.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：孙磊，王风雷，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海;31