用于处理视频的方法、装置、设备和存储介质制造方法及图纸

根据本公开的示例实施例，提供了用于处理视频的方法、装置、设备和计算机可读存储介质。用于处理视频的方法包括利用参考点检测模型来确定训练视频中的训练对象的参考点在训练帧中的第一位置。该方法还包括基于训练帧和在训练帧之前的包括参考点的关联帧，确定参考点在训练帧中的第二位置。该方法进一步包括基于第一位置和第二位置，更新参考点检测模型。以此方式，能够稳定且高效地检测视频中的对象的参考点，从而提高相关应用场景中的用户体验。

Methods, devices, devices and storage media for video processing

【技术实现步骤摘要】
用于处理视频的方法、装置、设备和存储介质
本公开的实施例主要涉及计算机领域，并且更具体地，涉及用于处理视频的方法、装置、设备和计算机可读存储介质。
技术介绍
随着计算机和互联网的发展，越来越多的场景中需要对图像或视频中的对象(例如，人)进行检测和分析。例如，人体分析技术在安防、娱乐等场景中具有重要应用价值。举例而言，作为众多人体分析技术基础的人体关键点技术旨在对人体的关键骨骼部位进行准确定位检测。一般来说，人体的某一特定的骨骼点通常包括整个部位，即一个片状区域，例如膝盖等，而不是一个特定的精确点。如果待分析的对象位于静态图像中，仅需要所检测出来的点在一个粗略的近似区域内即可，而不会对后续的识别过程造成影响。然而，如果待分析的对象位于视频中，则对于同一个关键点，人体关键点分析系统对视频相邻帧进行分析所输出的关键点位置应该较为接近，而不应具有强烈的抖动。
技术实现思路
根据本公开的示例实施例，提供了一种用于处理视频的方案。在本公开的第一方面中，提供了一种处理视频的方法。该方法包括利用参考点检测模型来确定训练视频中的训练对象的参考点在训练帧中的第一位置。该方法还包括基于训练帧和在训练帧之前的包括参考点的关联帧，确定参考点在训练帧中的第二位置。该方法进一步包括基于第一位置和第二位置，更新参考点检测模型。在本公开的第二方面中，提供了一种用于处理视频的装置。该装置包括第一位置确定模块，被配置为利用参考点检测模型来确定训练视频中的训练对象的参考点在训练帧中的第一位置。该装置还包括第二位置确定模块，被配置为基于训练帧和在训练帧之前的包括参考点的关联帧，确定参考点在训练帧中的第二位置。该装置进一步包括模型更新模块，被配置为基于第一位置和第二位置，更新参考点检测模型在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。附图说明结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；图2示出了根据本公开的实施例的处理视频的过程的流程图；图3示出了图示根据本公开的一些实施例的参考点在帧中的位置的示意图；图4示出了根据本公开的一些实施例的确定第二位置的过程的流程图；图5示出了根据本公开的实施例的用于处理视频的装置的示意性框图；以及图6示出了能够实施本公开的多个实施例的计算设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。在本公开的实施例的描述中，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后基于训练得到的参数集对给定的输入进行处理以生成对应的输出。“模型”有时也可以被称为“神经网络”、“学习模型”、“学习网络”或“网络”。这些术语在本文中可互换地使用。在本公开的实施例的描述中，术语“关键点”可以指代对象的骨骼节点或部位。举例而言，人体关键点可以包括手腕关节点、膝盖、颈部、腰部等。术语“轮廓点”可以指代用于定义对象的整体或一部分的轮廓的预定义部分或部位，例如人体轮廓点、脸部轮廓点等。术语“参考点”可以用于描述或指示对象的一部分或部位。“参考点”可以包括“关键点”、“轮廓点”或者对对象的任意部位(例如，鼻子)的指代或指示中的一项或多项。如上文所提及的，对于同一关键点，期望能够减少由分析系统或模型所检测到的相邻或相近视频帧中的关键点位置的抖动。也就是说，针对视频中的待分析对象，关键点分析系统或模型不仅需要正确给出每个关键点所在的位置，而且对于相邻或相近帧而言，所给出的同一关键点的位置需要具有稳定性。这种稳定性在实际应用中具有重要意义。例如，在人体瘦身应用中，如果人体关键点抖动严重，则会导致瘦身渲染后的人体出现时胖时瘦的效果，严重影响视觉体验。除了关键点检测之外，对视频中待分析对象的轮廓点或其他部位的检测也具有类似的问题。传统上，为了解决这一问题，大多采用平滑后处理的方式。在这种方式中，需要用前一帧的检测结果来平滑(例如，加权平均)当前帧。这种传统方法能达到的稳定性效果有限。另外，由于需要前一帧的检测结果，导致对视频中对象的关键点或轮廓点等的检测或标识总体上具有滞后效应，这在实时性要求高的场景中是不利的，并且会降低用户体验。根据本公开的实施例，提出了一种处理视频的方案。在该方案中，首先获取参考点检测模型和用于对该模型进行训练的训练视频，这些训练视频可以是无标注的。利用参考点检测模型来确定训练对象的参考点在训练视频的训练帧中的第一位置，训练帧可以是训练视频中除第一帧之外的任一帧。然后，基于训练帧和在训练帧之前的包括该参考点的关联帧，确定该参考点在训练帧中的第二位置，在此过程中利用了训练帧与关联帧之间的关联性。基于第一位置和第二位置来训练参考点检测模型，以对参考点检测模型进行更新。以此方式，利用视频帧之间的关联性(诸如，光流)，稳定信息被嵌入到更新后的参考点检测模型中，从而在模型使用阶段无需确定额外信息。因此，利用本公开的方案，能够稳定且高效地检测视频中的对象的参考点，从而提高相关应用场景中的用户体验。以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，由计算设备102处理视频105来更新参考点检测模型103，以将稳定性信息嵌入到模型参数中。应当理解，图1中示出的环境仅是示例性的，还可以使用多个计算设备来更新参考点检测模型103。还应当理解，计算设备102可以是固定式计算设备，也可以是便携式计算设备，诸如移动电话、平板计算机等。计算设备102还可以是分布式计算系统。计算设备102可以获取视频105以用于模型训练或更新。视频105包括多个帧，例如帧110、120、130和140。这些帧中的至少一些包括对象，例如对象101。尽管在图1中将对象101示出为人体，但应当理解对象101可以包括但不限于人、动物、物体，诸如车辆、玩具等。对象101的肢体、姿态或位置在视频的不同帧中可能发生变化。例如，相对于帧110，在帧120本文档来自技高网...

【技术保护点】
1.一种处理视频的方法，包括：利用参考点检测模型来确定训练视频中的训练对象的参考点在训练帧中的第一位置；基于所述训练帧和在所述训练帧之前的包括所述参考点的关联帧，确定所述参考点在所述训练帧中的第二位置；以及基于所述第一位置和所述第二位置，更新所述参考点检测模型。

【技术特征摘要】
1.一种处理视频的方法，包括：利用参考点检测模型来确定训练视频中的训练对象的参考点在训练帧中的第一位置；基于所述训练帧和在所述训练帧之前的包括所述参考点的关联帧，确定所述参考点在所述训练帧中的第二位置；以及基于所述第一位置和所述第二位置，更新所述参考点检测模型。2.根据权利要求1所述的方法，其中更新所述参考点检测模型包括：确定所述第一位置与所述第二位置在所述训练帧中的位置关系；基于所述位置关系，建立针对所述参考点检测模型的目标函数；以及基于所述目标函数，更新所述参考点检测模型的参数集。3.根据权利要求1所述的方法，其中确定所述第二位置包括：利用所述参考点检测模型来确定所述参考点在所述关联帧中的第三位置；获取所述训练帧和所述关联帧中的像素的强度信息；以及基于所述强度信息和所述第三位置来确定所述第二位置。4.根据权利要求3所述的方法，其中基于所述强度信息和所述第三位置来确定所述第二位置包括：基于所述强度信息，确定所述关联帧中与所述第三位置相对应的第一像素的第一强度、以及所述训练帧中与所述第一像素对准的第二像素的第二强度；基于所述第一强度和所述第二强度，确定光流信息，所述光流信息指示所述参考点在所述关联帧与所述训练帧之间的偏移；以及基于所述光流信息和所述第一像素，确定所述训练帧中与所述第二位置相对应的像素。5.根据权利要求1所述的方法，还包括：获取样本图像中的对象的参考点在所述样本图像中的标注位置；以及基于所述样本图像和所述标注位置，生成所述参考点检测模型。6.根据权利要求1所述的方法，还包括：基于更新后的所述参考点检测模型，检测待处理视频的帧中的对象的参考点。7.一种用于处理视频的装置，包括：第一位置确定模块，被配置为利用参考点检测模型来确定训练视频中的训练对象的参考点在训练帧中的第一位置；第二位置确定模块，被配置为基于所述训练帧和在所述训练帧之前的包括所述参考点的关联帧，确定所述参考点在所述训练帧中的第二位置；以及模型更新模块，被配置为基于所述第一位置和所述第二位置，更新所述参考点检测...

【专利技术属性】
技术研发人员：柏提，高原，张演龙，刘霄，张赫男，孙昊，文石磊，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11