来自具有广角镜头的相机的图像中的选择性失真或变形校正制造技术

一种方法包括在会议端点处接收使用广角镜头捕捉的视频。该方法进一步包括选择视频的帧中的视图区域。该方法进一步包括基于视图区域的尺寸，对视图区域选择性地应用变形校正或失真校正，以生成经校正的视频帧。该方法进一步包括将经校正的视频帧传送到远程端点。

【技术实现步骤摘要】
【国外来华专利技术】来自具有广角镜头的相机的图像中的选择性失真或变形校正
本公开涉及视频处理，并且更特别地涉及选择性地校正由广角镜头引起的失真或变形。
技术介绍
在视频会议中，可以使用单个相机（诸如广角相机或全景相机）来捕捉包含多个会议参与者的视图馈送，（“房间视图”）。捕捉的馈送的副本可以被裁剪以包含端点处的单个人（诸如已经交谈了一段时间的人）或一组人的放大视图。捕捉的馈送的另一个副本可以被裁剪以包含其他人（或物），例如，在第一个副本中的人之前发言的人。基于由广角弯曲镜头捕捉的数据的各个视图当在平坦表面上显示时将失真和变形。因此，在本领域中有改进的余地。附图说明为了说明的目的，在附图中示出了在本公开中描述的某些实施例。在附图中，类似的数字始终指示类似的元件。应当理解，本文公开的专利技术的全部范围不限于所示的精确布置、维度和仪器。在附图中：图1图示了本公开实施例的操作环境。图2图示了图1的操作环境的组件。图3A图示了根据本公开的实施例的选择性地校正图像中的变形或失真的方法。图3B图示了用于选择性地校正图像中的变形或失真的方法的替代实施方式。图4图示了由变形校正逻辑校正的全帧图像。图5图示了由失真校正逻辑校正的全帧图像。图6图示了经失真和变形校正的视图区域。图7A图示了选择性地校正图像中的变形或失真的另一种方法。图7B图示了用于选择性地校正图像中的变形或失真的另一种方法的替代实施方式。图8图示了由变形校正逻辑校正的全帧图像。图9图示了由失真校正逻辑校正的全帧图像。图10图示了相对靠近图像中心的视图区域的变形校正版本和失真校正版本两者。图11图示了相对靠近图像边界的视图区域的变形校正版本和失真校正版本两者。图12图示了可以用来实践本公开的构思和方法的电子设备。具体实施方式在附图和本文附图的描述中，某些术语仅为了方便而使用，并且不应被视为限制本公开的实施例。在附图和下面的描述中，类似的数字始终指示类似的元件。使用广角镜头捕捉的图像固有地包括失真效果和变形效果。如本文所使用的，失真是指光的弯曲，使得图像中的直线条看起来被弯曲。如本文所使用的，变形是指图像的一部分中的“拉伸”，使得对象在一个或多个维度上看起来比自然的更大。可以通过对图像应用变换来校正图像中的失真或变形。然而，失真和变形可能无法同时在图像中都被校正。在图像的不同视图中，失真和变形可能相对更明显。例如，在图像的裁剪视图中，变形可能比在图像的完整视图中更明显。进一步，与中心相比，在图像边缘处的变形可能更明显。公开了用于选择性地校正图像中的失真和变形的系统和方法。虽然所公开的系统和方法是结合电话会议系统来描述的，但是应当注意，根据本公开，所公开的系统和方法可以根据本公开在其他环境中使用。图1图示了本公开的示例电路的可能操作环境。具体地，图1图示了根据本公开实施例的会议装置或端点10。图1的会议装置或端点10通过网络55与一个或多个远程端点60通信。端点10包括具有音频编解码器32的音频模块30和具有视频编解码器42的视频模块40。这些模块30/40操作地耦合到控制模块20和网络模块50。模块30/40/20/50包括专用硬件、由一个或多个处理器执行的软件、或其组合。在一些示例中，视频模块40对应于图形处理单元（GPU）、由图形处理单元可执行的软件、中央处理单元（CPU）、由CPU可执行的软件、或其组合。在一些示例中，控制模块20包括CPU、由CPU可执行的软件、或其组合。在一些示例中，网络模块50包括一个或多个网络接口设备、CPU、由CPU可执行的软件、或其组合。在一些示例中，音频模块30包括CPU、由CPU可执行的软件、声卡、或其组合。通常，端点10可以是会议设备、视频会议设备、具有音频或视频会议能力的个人计算机、或任何相似类型的通信设备。端点10被配置成生成近端音频和视频，并从远程端点60接收远端音频和视频。端点10被配置成向远程端点60传送近端音频和视频，并启动远端音频和视频的本地呈现。麦克风120捕捉音频并将音频提供给音频模块30和编解码器32来处理。麦克风120可以是桌子或天花板麦克风、麦克风箱（microphonepod）的一部分、或端点的集成麦克风等。还可以提供附加麦克风121。除非以其他方式指示，否则贯穿本公开，与麦克风120相关的所有描述应用于任何附加麦克风121。端点10主要将用麦克风120捕捉的音频用于近端音频。相机46捕捉视频并将捕捉的视频提供给视频模块40和编解码器42来处理以生成近端视频。对于由相机46捕捉的近端视频的每一帧，控制模块20选择视图区域，并且控制模块20或视频模块40将该帧裁剪到视图区域。可以基于由麦克风120和附加麦克风121生成的近端音频、其他传感器数据、或其组合来选择视图区域。例如，控制模块20可以选择帧中描绘当前正在发言的参与者的区域作为视图区域。作为另一个示例，控制模块20可以响应于确定一段时间内没有人已经发言，选择整个帧作为视图区域。因此，控制模块20基于通信会话的上下文选择视图区域。相机46包括广角镜头。由于广角镜头的性质，由相机46捕捉的视频（和静止图像）包括失真效果和变形效果两者。视频模块40包括变形校正逻辑72和失真校正逻辑74。在一些示例中，变形校正逻辑72和失真校正逻辑74对应于映射表，该映射表识别对由相机46捕捉的图像进行的调整。映射表可以基于相机46的镜头的属性，诸如焦距等。对于由相机46捕捉的每一帧视频，视频模块40基于由控制模块20为该帧选择的视图区域的尺寸来选择变形校正逻辑72或失真校正逻辑40，如本文下面进一步描述的。视频模块40然后将所选择的校正逻辑应用于帧的视图区域，以生成经校正的近端视频帧。因此，每个经校正的近端视频帧对应于视频帧的潜在经裁剪和经校正的版本。一起拍摄的经校正的近端视频帧包括经校正的近端视频。端点10使用编解码器32/42来根据任何公共编码标准（诸如，MPEG-1、MPEG-2、MPEG-4、H.261、H.263和H.264）编码近端音频和经校正的近端视频。然后，网络模块50使用任何适当的协议经由网络55向远程端点60输出经编码的近端音频和经校正的视频。相似地，网络模块50经由网络55从远程端点60接收远端音频和视频，并将这些发送到它们相应的编解码器32/42来处理。最终，扬声器130输出（从远程端点接收的）远端音频，并且显示器48输出远端视频。在一些实施例中，显示器48还输出经校正的近端视频。因此，图1图示了选择性地校正由具有广角镜头的由相机捕捉的视频中的变形或失真的设备的示例。特别地，图1的设备可以根据下面参考图3A-B和图7A-B进一步描述的方法之一来操作。如下所描述，这些方法可以改进通信会话期间的视频质量。图2详细图示了图1的会议端点的组件。端点10具有经由总线100耦合的处理单元110、存储器140、网络接口150和通用输入/输出（I/O）接口160。如上，端点10具有基础麦克风120、扬声本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在会议端点处接收使用广角镜头捕捉的视频；/n选择所述视频的帧中的视图区域；/n基于所述视图区域的尺寸，对所述视图区域选择性地应用变形校正或失真校正，以生成经校正的视频帧；以及/n将所述经校正的视频帧传送到远程端点。/n

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：
在会议端点处接收使用广角镜头捕捉的视频；
选择所述视频的帧中的视图区域；
基于所述视图区域的尺寸，对所述视图区域选择性地应用变形校正或失真校正，以生成经校正的视频帧；以及
将所述经校正的视频帧传送到远程端点。


2.根据权利要求1所述的方法，其中基于所述视图区域的尺寸选择性地应用变形校正或失真校正包括响应于确定所述视图区域的尺寸小于阈值尺寸，将所述变形校正应用于所述视图区域。


3.根据权利要求2所述的方法，其中所述阈值尺寸对应于所述视频的帧的一半尺寸。


4.根据权利要求1所述的方法，其中选择所述视频的帧中的所述视图区域包括在所述会议端点处检测会议中的活跃参与者，并将所述帧裁剪到所述活跃参与者周围的区域。


5.根据权利要求1所述的方法，其中所述变形校正对应于第一表格映射，所述第一表格映射指示要应用于所述视图区域以校正所述视图区域中的变形效果的一个或多个第一变换，并且所述失真校正对应于第二表格映射，所述第二表格映射指示要应用于所述视图区域以校正所述视图区域中的失真效果的一个或多个第二变换。


6.根据权利要求1所述的方法，其中基于所述视图区域的尺寸，选择性地应用所述变形校正或所述失真校正进一步包括：
识别所述视图区域中描绘的面部在所述帧中的位置，以及；
响应于确定所述面部的位置在所述帧的边界的阈值范围内并且所述视图区域的尺寸小于阈值尺寸，应用所述变形校正。


7.根据权利要求1所述的方法，其中基于所述视图区域的尺寸，选择性地应用所述变形校正或所述失真校正进一步基于所述变形校正或所述失真校正是否被应用于前一帧。


8.一种计算机可读存储设备，存储由一个或多个处理器可执行的指令，以：
接收使用广角镜头捕捉的视频；
选择所述视频的帧中的视图区域；
基于所述视图区域的尺寸，对所述视图区域选择性地应用变形校正或失真校正，以生成经校正的视频帧；以及
将所述经校正的视频帧传送到远程端点。


9.根据权利要求8所述的计算机可读存储设备，其中基于所述视图区域的尺寸选择性地应用变形校正或失真校正包括响应于确定所述视图区域的尺寸小于阈值尺寸，将所述变形校正应用于所述视图区域。


10.根据权利要求9所述的计算机可读存储设备，其中所述阈值尺寸对应于所述视频的帧的一半尺寸。


11.根据权利要求8所述的计算机可读存储设备，其中选择所述视频的帧中的所述视图区域包括检测会议中的活跃参与者，并将所述帧裁剪到所述活跃参与者周围...

【专利技术属性】
技术研发人员：王天然，宋海林，何文学，
申请(专利权)人：宝利通公司，
类型：发明
国别省市：美国;US