模糊隐私遮蔽制造技术

本公开涉及模糊隐私遮蔽。具体地，描述了实施并且使用由编码器对包括多个图像帧的视频序列进行编码的技术的方法，装置，包括计算机程序产品。从视频流接收图像帧。接收输入，该输入指示所接收的图像帧中的应当被施加隐私遮蔽的一个或多个区域。该一个或多个区域由一个或多个编码单元表示。图像帧被编码成输出帧，其中，用具有设置为零的变换系数的帧内预测编码单元来代替一个或多个区域中的图像数据，该帧内预测编码单元是从编码器的预测阶段中获得的。

【技术实现步骤摘要】
模糊隐私遮蔽
本专利技术涉及视频编码，并且更具体地涉及对包括一个或多个隐私遮蔽的视频流进行编码。
技术介绍
监视相机被用于许多不同的应用中，在室内和在户外两者，用于监视各种环境。可以由例如操作者或者警卫来监视描绘捕捉的场景的图像。在特定情况下，可能需要与一个部分不同处理所捕捉的图像的另一部分——诸如当例如为了个人诚信而需要排除图像的一部分时。在此类实例中，操作者可以在监控装备的设定期间定义一个或多个隐私遮蔽。隐私遮蔽可以是静态的或动态的。直到操作者决定移动或去除它们之前，静态的隐私遮蔽典型地不移位。动态隐私遮蔽可以随时间而改变，并且操作者也可以定义应当何时施加隐私遮蔽。例如，操作者能够定义动态隐私遮蔽；使得如果在遮蔽的区域内检测到面部，则将面部遮蔽出去，否则将不向该区域施加遮蔽。常常将隐私遮蔽作为覆盖施加到图像。隐私遮蔽常常具有多边形的形状，但是其他形状(其更精密地遵循要隐去的区域的形状)也是可能的。一些隐私遮蔽采取不透明区(例如，均匀黑区)的形式，而其他隐私遮蔽采取其中在隐私遮蔽区域上将图像数据“涂抹”的模糊的形式，或像素化的形式。像素化是单个像素值(常常是编码单元内的多个或所有像素的平均值)替换编码单元中的所有像素的处理。尽管如此，通常，与像素化相比，考虑对隐私遮蔽进行模糊更理想，因为其允许平滑边缘并且因此更好看。然而，与在硬件块中当前经济上可行的相比，模糊更难以实现并且需要更多计算资源来实施。
技术实现思路
本专利技术的目的是提供用于对具有多个图像帧的视频序列进行编码的技术，其使得能够向视频施加有美感的隐私遮蔽，而不会显著增加编码所需要的计算机资源方面的任何成本。此目的以及其他目的通过根据权利要求1所述的方法、根据权利要求8所述的编码器系统、根据权利要求12所述的计算机程序产品以及根据权利要求14所述的存储介质来实现。根据第一方面，在计算机系统中通过用于对具有多个图像帧的视频序列进行编码的方法来全部或至少部分地实现这些和其他目的。该方法包括：●从视频流接收图像帧；●接收输入，该输入指示所接收的图像帧中的应当被施加隐私遮蔽的一个或多个区域，其中，一个或多个区域由一个或多个编码单元表示；●将图像帧编码成输出帧，其中，用具有设置为零的变换系数的帧内预测编码单元来代替一个或多个区域中的图像数据，帧内预测编码单元是从编码器的预测阶段中获得的。这提供使用在视频编码器的预测阶段中可用的信息的方式，并且使用该信息以产生与常规像素化的隐私遮蔽相比更加有美感的模糊的隐私遮蔽。此外，像素化解决方案典型地具有最大尺寸限制，因此它们将仅仅支持高达图像的某部分的遮蔽。当使用根据本专利技术的技术时，此类最大尺寸不存在。使用该方法还允许在不要求任何大量附加的计算资源的情况下来产生隐私遮蔽。此外，能够实现理想的帧同步，并且能够保证编码器不以任何方式改变隐私遮蔽。根据一个实施例，由编码器自动地执行选择编码单元的尺寸的步骤。这允许编码器选择其在质量和比特率之间的最佳折衷选择。根据一个实施例，由用户手动地进行选择编码单元的尺寸的步骤。能够接收用户输入允许用户对编码进行更好的控制，以及覆写由编码器确定的任何设置的能力。在特定情况下可以尤其有用，诸如例如满足特定像素化水平的正式用户需求。根据一个实施例，基于期望的模糊水平来选择编码单元的尺寸。通常，较大的编码单元提供更多的模糊。可能存这样的情形：例如，其中对象位于远方并且较小。在这种情况下，与其中你具有对象的全貌图并且可能需要更多模糊的情形形成对比，较小的模糊可能是理想的，使得对象的特定特征仍然是可区分的。根据一个实施例，从预测阶段获得的图像数据是从在预测阶段的结尾输出的图像帧获得的图像数据，并且该图像帧用作编码器的变换阶段的基础图像帧。能够挖掘和使用已经在常规编码设置中产生的信息、而不是必须执行额外的计算，会节省计算资源并且也使得在不用必须作出任何显著修改的情况下使用常规编码器成为可能。反过来，常规(“符合标准的”)解码器也能够用于对编码的视频流进行解码。根据一个实施例，使用对象检测技术来自动地识别所接收的图像帧中的应当被施加隐私遮蔽的一个或多个区域。这可以提供选择容易识别的大量对象(诸如图像中的停车场中的大量汽车的所有牌照，或穿着红色夹克的任何个体，等等)的有效方式。在特定实施例中，能够通过对象检测技术进行自动选择，并且然后通过人类操作员进行检验，这可以允许有益的协同效果。根据一个实施例，按以下格式之一对视频进行编码：高效图像文件格式、高级视频编码、高效视频编码、H.265、H.266、VP9、VP10和AV1。也就是说，根据本专利技术的方法能够被施加于标准编码格式的范围，并且因此不需要用于解码的任何特殊的定制装备。根据第二方面，本专利技术涉及用于对具有多个图像帧的视频序列进行编码的编码器系统。系统包括接收模块和编码器。接收模块被配置为：从视频流接收图像帧，以及接收输入，该输入指示所接收的图像帧中的应当被施加隐私遮蔽的一个或多个区域，其中，一个或多个区域由一个或多个编码单元表示。编码器被配置为将图像帧编码成输出帧，其中，用具有设置为零的变换系数的帧内预测编码单元来代替一个或多个区域中的图像数据，帧内预测编码单元是从预测阶段获得的。根据第三方面，本专利技术涉及用于对具有多个图像帧的视频序列进行编码的计算机程序。计算机程序包括与以下步骤相对应的指令：●从视频流接收图像帧；●接收输入，该输入指示所接收的图像帧中的应当被施加隐私遮蔽的一个或多个区域，其中，一个或多个区域由一个或多个编码单元表示；●将图像帧编码成输出帧，其中，用具有设置为零的变换系数的帧内预测编码单元来代替一个或多个区域中的图像数据，帧内预测编码单元是从编码器的预测阶段中获得的。根据第四方面，本专利技术涉及包括此类计算机程序的数字存储介质。计算机程序和存储介质涉及与方法的优点相对应的优点并且可以类似地变化。在附图和以下说明书中阐述本专利技术的一个或多个实施例的详情。根据说明书和附图并且根据权利要求，本专利技术的其他特征和优点将是明显的。附图说明图1示出了根据一个实施例的用于对具有多个图像帧的视频序列进行编码的系统。图2示出了根据一个实施例的由监视相机捕捉的场景的图像。图3示出了根据一个实施例的由图2中的相机捕捉的图像的主要结构的示意性示例。图4示出了根据一个实施例的将图3中的图像的像素分组到编码单元中的示意性示例。图5示出了根据一个实施例的用于在所接收的视频流中产生隐私遮蔽的处理。图6示出了根据一个实施例的在被施加隐私遮蔽的情况下的由图2中的相机捕捉的图像。图7示出其中能够实施本专利技术的各个实施例的相机的示意性示例。各个附图中的相似附图标记指示相似的要素。具体实施方式如上所述，本专利技术的各个实施例的一个目标是以更有美感的方式通过使用模糊对具有多个图像帧(其中至少一些图像帧应当包括隐私遮蔽)的视频序列进行编码，同时不显著地增加对计算资源的本文档来自技高网...

【技术保护点】
1.一种由编码器对包括多个图像帧的视频序列进行编码的方法，所述方法包括：/n从视频流接收图像帧；/n接收输入，所述输入指示所接收的图像帧中的应当被施加隐私遮蔽的一个或多个区域，其中，所述一个或多个区域由一个或多个编码单元表示；并且/n将所述图像帧编码成输出帧，其中，用帧内预测编码单元来代替所述一个或多个区域中的图像数据，所述帧内预测编码单元是从所述图像帧的在所述编码器的预测阶段中生成的简化表示获得的。/n

【技术特征摘要】
20190920 EP 19198647.01.一种由编码器对包括多个图像帧的视频序列进行编码的方法，所述方法包括：
从视频流接收图像帧；
接收输入，所述输入指示所接收的图像帧中的应当被施加隐私遮蔽的一个或多个区域，其中，所述一个或多个区域由一个或多个编码单元表示；并且
将所述图像帧编码成输出帧，其中，用帧内预测编码单元来代替所述一个或多个区域中的图像数据，所述帧内预测编码单元是从所述图像帧的在所述编码器的预测阶段中生成的简化表示获得的。


2.根据权利要求1所述的方法，进一步包括：由所述编码器自动地选择所述编码单元的尺寸。


3.根据权利要求1所述的方法，进一步包括：由用户手动地选择所述编码单元的尺寸。


4.根据权利要求1所述的方法，其中，基于期望的模糊水平来选择所述编码单元的尺寸，并且其中，所述编码单元的尺寸和所述期望的模糊水平与所述图像帧的所述简化表示的那些相对应。


5.根据权利要求1所述的方法，其中，所接收的图像帧中的应当被施加隐私遮蔽的所述一个或多个区域是使用对象检测技术来自动地识别的。


6.根据权利要求1所述的方法，其中，按以下格式之一来对所述视频进行编码：高效图像文件格式、高级视频编码、高效视频编码、H.265、H.266、VP9、VP10和AV1。


7.一种用于对包括多个图像帧的视频序列进行编码的编码器系统，包括：
接收模块，所述接收模块被配置为：
从视频流接收图像帧，并且

【专利技术属性】
技术研发人员：维克托·埃德帕尔姆，袁嵩，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典;SE