用于运动中的对象的由光流辅助的混合视频分割制造技术

方法和系统包括：用特定参数值对输入视频的帧应用伽马调整，以生成至少一组经伽马调整的帧以生成至少一组经伽马调整的帧；将分割技术应用于至少一组经伽马调整的帧以生成分割掩码；将光流技术应用于至少一组经伽马调整的帧以生成光流图；以及组合分割掩码和光流图以生成混合分割掩码。生成混合分割掩码。生成混合分割掩码。

【技术实现步骤摘要】
【国外来华专利技术】用于运动中的对象的由光流辅助的混合视频分割


[0001]本公开涉及视频分割，更具体地说，涉及生成改进的分割掩码。

技术介绍

[0002]常规的使用掩码的基于机器学习(ML)的分割技术可以为非专业媒体内容(诸如社交媒体上的低分辨率视频)生成足够好的结果。然而，分割掩码的质量可能不够高，无法满足专业图像/视频处理任务的要求。例如，边缘清晰度因帧而异，这可能导致在所掩盖的区域中出现错误推断的子像素。因此，在某些情景中，基于ML的分割技术可能无法产生可靠和/或一致的分割掩码。这些情景可能包括：高分辨率图像(例如，HD、4K)；动态场景，尤其是具有快速移动对象的那些场景；颜色分级内容(例如，低亮度、类似纹理)；黑暗场景；以及要独立分割的场景中的多个目标对象。

技术实现思路

[0003]本公开提供生成改进的用于分割运动中的对象的分割掩码。
[0004]在一个实现中，公开了一种方法。该方法包括：用特定参数值对输入视频的帧应用伽马调整，以生成至少一组经伽马调整的帧；将分割技术应用于至少一组经伽马调整的帧以生成分割掩码；将光流技术应用于至本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：用特定参数值对输入视频的帧应用伽马调整，以生成至少一组经伽马调整的帧；将分割技术应用于至少一组经伽马调整的帧以生成分割掩码；将光流技术应用于至少一组经伽马调整的帧以生成光流图；以及组合分割掩码和光流图以生成混合分割掩码。2.根据权利要求1所述的方法，其中，组合分割掩码和光流图包括：将已被应用分割技术的对象的子像素的红色、绿色和蓝色分量的像素级代码值相乘。3.根据权利要求1所述的方法，其中，分割技术包括：将至少一组经伽马调整的帧中的每个帧归类为类；检测每个帧内的对象并绘制对象周围的边界；以及识别每个帧的部分并将每个帧的部分对应于对象。4.根据权利要求3所述的方法，其中，各光流图中的每个流图是至少一组经伽马调整的帧中的连续帧之间的对象的运动的图。5.根据权利要求1所述的方法，其中，至少一组经伽马调整的帧包括第一组经伽马调整的帧和第二组经伽马调整的帧。6.根据权利要求5所述的方法，其中，为分割技术生成第一组经伽马调整的帧。7.根据权利要求5所述的方法，其中，为光流技术生成第二组经伽马调整的帧。8.根据权利要求1所述的方法，还包括：当在分割掩码和光流图之间存在不对齐时，用不同参数值对输入视频的帧应用伽马调整以生成不同组的经伽马调整的帧，并重复分割技术和光流技术的应用和组合。9.一种系统，包括：用于使用一组参数值对输入视频的帧应用伽马调整以生成至少一组经伽马调整的帧的伽马函数应用器；用于将分割技术应用于至少一组经伽马调整的帧以生成分割掩码的分割掩码生成器；用于将光流技术应用于至少一组经伽马调整的帧以生成光流图的光流图生成器；以及用于组合分割掩码和光流图以生成混合分割掩码的组合器。10.根据权利要求9所述的系统，还包括：用于接收混合分割掩码并确定组合器是否在分割掩码和光流图之间产生可接受的对齐的处理器，如果对齐不可接受，则处理器指示伽马函数应用器使用另一组参数值以改进分割掩码和光流图之间的对齐并重复由分割掩码生成器和光流图生成器执行的过程。11.根据权利要求9所述的系统，其中，分割掩码生成器...

【专利技术属性】
技术研发人员：陈梦豫，朱淼琪，高岛芳和，欧阳超，D，
申请(专利权)人：索尼图片娱乐公司，
类型：发明
国别省市：