利用自适应镜头失真校正和图像变形减少的视频会议制造技术

本发明专利技术涉及利用自适应镜头失真校正和图像变形减少的视频会议。视频会议端点可以取决于对象离相机的距离以及对象离相机的视场的中央的径向距离来针对镜头失真和图像变形进行自适应调整。行自适应调整。行自适应调整。

【技术实现步骤摘要】
利用自适应镜头失真校正和图像变形减少的视频会议
[0001]相关申请的交叉引用本申请涉及于2018年11月28日提交的标题为“SELECTIVE DISTORTION OR DEFORMATION CORRECTION IN IMAGES FROM A CAMERA WITH A WIDE ANGLE LENS”的国际专利申请号PCT/CN2018/117141，并且其通过引用完全并入于此。


[0002]本公开大体上涉及视频会议，并且具体地涉及用于校正脸部成像中的变形的混合方法。

技术介绍

[0003]对校正由广角镜头捕获的图像的图像失真和图像变形两者的尝试都不是完全令人满意的。因此，本领域中存在改进的空间。
附图说明
[0004]为了说明，在附图中示出了本公开中描述的某些示例。在附图中，相同的标号始终指示相同的元件。本文公开的专利技术的全部范围不限于所示的精确布置、尺寸和仪器。在附图中：图1图示了根据本公开的示例的视频会议端点；图2图示了根据本公开的示例的图1的视频会议端点的各方面；图3图示了根据本公开的示例的已经针对失真进行校正的图像；图4图示了根据本公开的示例的原始房间视角图像和其中原始房间视角中的失真已经减少的房间视角图像；图5图示了根据本公开的示例的失真校正之前和之后的讲话者视角；图6图示了根据本公开的示例的坐在不同位置处的对象的放大；图7图示了根据本公开的示例的接收由相机捕获的脸部数据的帧的处理器；图8图示了根据本公开的示例的自适应地校正脸部图像变形的方法；图9图示了根据本公开的示例的具有变形减少的高级镜头失真校正方法的图；图10图示了根据本公开的示例的多个聚焦视角图像；图11图示了根据本公开的示例的用于广角相机的视场和用于对应于其细分的表图表；图12图示了根据本公开的示例的视频会议设备；和图13图示了根据本公开的示例的减少由宽视角相机捕获的图像中的偏差的方法。
具体实施方式
[0005]在本文的附图和附图描述中，某些术语仅出于方便而使用，而不应被视为限制本公开的示例。在附图和以下描述中，相同的标号始终指示相同的元件。
[0006]简介
使用广角镜头捕获的图像固有地包括失真（405）效果和变形效果。如本文所使用的，失真（405）是指光的弯曲，使得直线在图像中看起来是弯曲的。如本文所使用的，变形是指在图像的部分中的“拉伸”，使得物体在一个或多个尺寸上看起来比自然的大。如本文所使用的，术语偏差包括失真（405）和变形两者。可以通过对图像应用变换来在图像中校正失真（405）和/或变形。然而，失真校正（508）可能加剧变形。失真（405）和变形可能在图像的不同部分中相对更明显。例如，在图像的裁剪视角中，变形可能比在图像的全视角中更明显。此外，与更接近中央（304）的区域相比，在图像（403）的边缘处变形可能更明显。公开了用于选择性地校正图像中的失真（405）和变形的系统和方法（800）。虽然结合电话会议系统描述了所公开的系统和方法（800），但应注意，所公开的系统和方法（800）可以用于根据本公开的其他上下文中。
[0007]讨论图1图示了根据本公开的示例的会议装置或视频会议端点10。图1的会议装置或视频会议端点10通过网络55与一个或多个远程视频会议端点60通信。视频会议端点10包括具有音频编解码器32的音频模块30、以及具有视频编解码器42的视频模块40。这些模块30/40可操作地耦合到控制模块20和网络模块50。模块30/40/20/50包括专用硬件、由一个或多个处理器（1220）执行的软件、或其组合。在一些示例中，视频模块40对应于图形处理单元（GPU）、可由图形处理单元执行的软件、中央处理单元（CPU）、可由CPU执行的软件、或其组合。在一些示例中，控制模块20包括CPU、可由CPU执行的软件、或其组合。在一些示例中，网络模块50包括一个或多个网络接口设备、CPU、可由CPU执行的软件、或其组合。在一些示例中，音频模块30包括CPU、可由CPU执行的软件、声卡、或其组合。
[0008]通常，视频会议端点10可以是会议设备、视频会议设备、具有音频或视频会议能力的个人计算机、或任何类似类型的通信设备。视频会议端点10被配置成生成近端音频和视频并从远程视频会议端点60接收远端音频和视频。视频会议端点10被配置成将近端音频和视频发送到远程视频会议端点60并发起远端音频和视频的本地呈现。
[0009]麦克风120捕获音频并将音频提供给音频模块30和编解码器32以进行处理。麦克风120可以是台式或悬挂式麦克风、麦克风架的部分、到视频会议端点10的整体麦克风等。还可以提供附加麦克风121。在整个本公开中，除非另有说明，否则与麦克风120相关的所有描述都适用于任何附加麦克风121。视频会议端点10将利用麦克风120捕获的音频主要用于近端音频。相机46捕获视频并将捕获的视频提供给视频模块40和编解码器42以进行处理以生成近端视频。对于由相机46捕获的近端视频的每个帧（705），控制模块20选择视角区域，并且控制模块20或视频模块40将帧（705）裁剪为视角区域。可以基于由麦克风120和附加麦克风121生成的近端音频、其他传感器数据、或其组合来选择视角区域。例如，控制模块20可以选择描绘当前正在讲话的参与者的帧（705）的区域作为视角区域。作为另一示例，控制模块20可以响应于确定在一段时间内没有人讲话而选择整个帧（705）作为视角区域。因此，控制模块20基于通信会话的上下文而选择视角区域。
[0010]相机46包括广角镜头。由于广角镜头的性质，由相机46捕获的视频（和静止图像）包括失真（405）和变形（507）效果两者。视频模块40包括变形减少（1050）逻辑72和失真校正（508）逻辑74。在一些示例中，变形减少（1050）逻辑72和失真校正（508）逻辑74对应于映射表（例如，807、809、811），其标识对由相机46捕获的图像进行的调整。在本公开的至少一个
示例中，映射表基于相机46的镜头的属性，诸如焦距等。对于由相机46捕获的视频的每个帧（705），视频模块40基于由控制模块20针对该帧（705）如下文进一步描述的那样选择的视角区域的大小来选择变形减少（1050）逻辑72或失真校正（508）逻辑40。然后，视频模块40将所选择的校正逻辑应用于帧（705）的视角区域，以生成经校正的近端视频帧（705）。因此，每个经校正的近端视频帧（705）对应于视频帧（705）的潜在裁剪和校正版本。一起取得的经校正的近端视频帧（705）包括经校正的近端视频。
[0011]视频会议端点10使用编解码器32/42以根据诸如MPEG-1、MPEG-2、MPEG-4、H.261、H.263和H.264的常见编码标准中的任何一种对近端音频和经校正的近端视频进行编码。然后，网络模块50使用任何适当的协议经由网络55将经编码的近端音频和经校正的视频输出到远程视频会议端点60。类似地，网络模块50经由网络55从远程视频会议端点60接收远端音频和视频，并将这些发送到它们各自的编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于减少由广角相机捕获的图像中的偏差的方法，包括：在处理器处接收对应于第一视角的第一帧；使用处理器渲染对应于第一帧的第一宽视角图像，第一宽视角图像具有中央区域；使用处理器检测第一宽视角图像的第一脸部分中的脸，第一脸部分具有中央；使用处理器确定第一脸部分的中央在第一宽视角图像的中央区域外部；使用处理器并基于第一脸部分的中央在第一宽视角图像的中央区域外部的确定来确定第一脸部分的尺寸；使用处理器确定第一脸部分的尺寸小于预定阈值；和使用处理器渲染对应于第一脸部分的第一聚焦视角图像，其中渲染第一聚焦视角图像包括对第一脸部分施加一定程度的失真校正并对第一脸部分施加一定程度的变形减少。2.根据权利要求1所述的方法，还包括：在处理器处接收对应于第二视角的第二帧；使用处理器渲染对应于第二帧的第二宽视角图像，第二宽视角图像具有中央区域；使用处理器检测第二宽视角图像的第二脸部分中的第二脸，第二脸部分具有中央；使用处理器确定第二脸部分的中央在第二宽视角图像的中央区域外部；使用处理器并基于第二脸部分的中央在第二宽视角图像的中央区域外部的确定来确定第二脸部分的尺寸；使用处理器确定第二脸部分的尺寸大于或等于所述预定阈值；使用处理器渲染对应于第二脸部分的第二聚焦视角图像，其中渲染第二聚焦视角图像包括对第二脸部分施加一定程度的失真校正并对第二脸部分施加一定程度的变形减少，其中对第二脸部分施加的失真校正的程度低于对第一脸部分施加的失真校正的程度，并且其中对第二脸部分施加的变形减少的程度大于对第一脸部分施加的变形减少的程度。3.根据权利要求2所述的方法，还包括：在处理器处接收对应于第三视角的第三帧；使用处理器渲染对应于第三帧的第三宽视角图像，第三宽视角图像具有中央区域；使用处理器检测第三宽视角图像的第三脸部分中的第三脸，第三脸部分具有中央；使用处理器确定第三脸部分的中央在第三宽视角图像的中央区域的内部；使用处理器并基于第三脸部分的中央在第三宽视角图像的中央区域外部的确定来渲染对应于第三脸部分的第三聚焦视角图像，其中，渲染第三聚焦视角图像包括对第三脸部分施加一定程度的失真校正并对第三脸部分施加一定程度的变形减少，其中，对第三脸部分施加的失真校正的程度大于对第一脸部分施加的失真校正的程度，并且其中对第三脸部分施加的变形减少的程度低于对第一脸部分施加的变形减少的程度。4.根据权利要求3所述的方法，其中，第一帧、第二帧和第三帧是相同的，并且其中第一宽视角图像、第二宽视角图像和第三宽视角图像是不同的。5.根据权利要求3所述的方法，其中：对第一脸部分施加一定程度的失真校正并对第一脸部分施加一定程度的变形减少包括从第一查找表取得值；对第二脸部分施加一定程度的失真校正并对第二脸部分施加一定程度的变形减少包
括从第二查找表取得值；对第三脸部分施加一定程度的失真校正并对第三脸部分施加一定程度的变形减少包括从第三查找表取得值，并且其中，第一查找表中的一些值基于第三查找表中的一些值的外推，并且第一查找表中的一些值基于第二查找表中的一些值的内插。6.根据权利要求1所述的方法，其中，第一宽视角图像的中央区域具有在第一宽视角图像中居中的700个像素的半径。7.根据权利要求1所述的方法，其中，所述第一脸部分的尺寸是宽度，并且所述预定阈值是250个像素。8.根据权利要求1所述的方法，还包括使用广角镜头捕获对应于第一帧的图像数据。9.根据权利要求1所述的方法，其中，使用具有大于一百五十九度且小于一百八十度的视场的图像传感器来捕获对应于第一帧的图像数据。10.根据权利要求1所述的方法，其中，渲染第一宽视角图像包括使用第一显示设备显示第一宽视角图像，并且其中渲染第一聚焦视角图像包括使用第二显示设备显示第一聚焦视角图像的至少一些。11.根据权利要求10...

【专利技术属性】
技术研发人员：王天然，徐海，黄星月，宋海林，
申请(专利权)人：普兰特龙尼斯公司，
类型：发明
国别省市：