基于深度相机的图像稳定制造技术

处理设备收集源设备向目标设备提供的视频流的图像序列中的帧的深度数据作为通信会话的一部分。深度数据由源设备的深度感知相机创建。处理设备使用深度数据来将帧中的对象的特征的特征位置映射到其他帧中的所述对象的所述特征的特征位置，使用所映射的特征位置确定帧之间的重叠帧区块，基于重叠帧区块在图像序列中修改与帧对应的图像集合，以创建视频流的稳定图像流，并且在视频流中提供稳定图像流作为通信会话的一部分。

Image stabilization based on depth camera

The processing device collects the depth data of frames in the image sequence of the video stream provided by the source device to the target device as part of a communication session. Depth data is created by the depth perception camera of the source device. The processing device uses the depth data to map the feature positions of the features of the objects in the frame to the feature positions of the described features of the objects in the other frames, determine the overlapped frame blocks between the frames using the mapping feature positions, and modify the image set corresponding to the frame in the image sequence based on the overlapped frame blocks to create the view. Frequency streams stabilize the image flow and provide stable image streams in video streams as part of communication sessions.

【技术实现步骤摘要】
【国外来华专利技术】基于深度相机的图像稳定
本公开的方面和实施方式涉及图像稳定，并且更具体地涉及基于深度相机的图像稳定。
技术介绍
录制视频并与朋友分享视频已成为当今社交传播领域的公认准则。诸如手机、眼镜等各种手持设备都配备了视频相机，其可让用户录制视频并与他们的朋友和家人分享该视频。视频相机也可用于通过互联网实现视频协作(例如，视频聊天、视频会议、远程医疗等)。然而，通常用户记录的视频内容的质量是非最佳的。例如，视频相机可能摇晃并导致视频中可见的帧间抖动。
技术实现思路
以下呈现本公开的各个方面的简化
技术实现思路
以便提供对这些方面的基本理解。本
技术实现思路
并非所有考虑方面的广泛概述，并且意欲既不在于识别关键或重要要素，也不描述这些方面的范围。其目的是以简化的形式呈现本公开的一些概念来作为稍后呈现的更详细的描述的前序。在本公开的一个方面，由处理设备收集源设备向目标设备提供的视频流的图像序列中的各帧的深度数据作为所述源设备的用户与所述目标设备的用户之间的通信会话的一部分。所述深度数据由所述源设备的深度感知相机创建。使用所述深度数据来将所述图像序列中的帧中的对象的一个或多个特征的特征位置映射到在所述图像序列中的至少一个其他帧中的所述对象的所述一个或多个特征的特征位置。使用所映射的特征位置确定在所述帧与所述至少一个其他帧之间的一个或多个重叠帧区块。基于所述重叠帧区块在所述图像序列中修改与所述帧和所述至少一个其他帧相对应的图像集合，以针对所述视频流创建稳定图像流。在所述视频流中提供稳定图像流作为所述通信会话的一部分。所述处理设备可以是包括在源设备中的处理器，其可以是包括在目标设备中的处理器，或者其可以是包括在与源设备和目标设备分离的设备中的处理器。在一个实施方式中，所述对象包括面部或面部特征的至少一部分。只有在收到来自用户的明确授权后，才能执行对用户的面部或面部特征的辨识。在一个实施方式中，所述处理设备修改所述图像集合包括：将所述图像中的人识别为前景对象；将所述图像集合中除所述人以外的一个或多个对象识别为背景对象；以及，去除所述各帧中与包含所述背景对象的所述图像集合对应的一个或多个区块。在一个实施方式中，处理设备将使用所映射的特征位置来对齐所述帧和所述至少一个其他帧；以及，将所述帧的前景部分中的一个或多个区块和所述至少一个其他帧的前景部分中的一个或多个区块识别为所述重叠帧区块，所述至少一个其他帧包括相同对象或对象的相同部分中的至少一个。在一个实施方式中，所述重叠帧区块包括人的至少一部分，并且处理设备通过下述方式来修改所述图像集合以创建所述稳定图像流：裁剪所述帧的所述重叠帧区块和所述至少一个其他帧的所述重叠帧区块；创建所述帧和所述至少一个其他帧的副本；在不修改所述帧的背景部分和所述至少一个其他帧的背景部分的情况下用所述重叠帧区块替换所述帧的副本中包含所述人的所述部分的区块在一个实施方式中，所述通信会话是经由移动设备的视频聊天(例如，提供视频流的源设备可以是移动设备)。还描述了一种提供基于深度相机的图像稳定的装置。所述装置包括收集源设备向目标设备提供的视频流的图像序列中的各帧的深度数据作为所述源设备的用户与所述目标设备的用户之间的通信会话的一部分的装置。所述深度数据由所述源设备的深度感知相机创建。所述装置包括：用于使用所述深度数据来将所述图像序列中的帧中的对象的一个或多个特征的特征位置映射到在所述图像序列中的至少一个其他帧中的所述对象的所述一个或多个特征的特征位置的装置；用于使用所映射的特征位置确定在所述帧与所述至少一个其他帧之间的一个或多个重叠帧区块的装置；用于基于所述重叠帧区块在所述图像序列中修改与所述帧和所述至少另一帧相对应的图像集合，以针对所述视频流创建稳定图像流的装置；以及，用于在所述视频流中提供稳定图像流作为所述通信会话的一部分的装置。在一个实施方式中，对象是面部或面部特征的至少一部分。只有在收到来自用户的明确授权后，才能执行对用户的面部或面部特征的辨识。在一个实施方式中，用于修改所述图像集合的装置包括：用于将图像中的人物识别为前景对象的装置；将所述图像集合中除所述人以外的一个或多个对象识别为背景对象的装置；以及，去除所述各帧中与包含所述背景对象的所述图像集合对应的一个或多个区块的装置。在一个实施方式中，用于确定一个或多个重叠帧区块的装置包括：用于使用所映射的特征位置来对齐所述帧和所述至少一个其他帧的装置；以及，用于将所述帧的前景部分中的一个或多个区块和所述至少一个其他帧的前景部分中的一个或多个区块识别为所述重叠帧区块的装置，所述至少一个其他帧包括相同对象或对象的相同部分中的至少一个。在一个实施方式中，所述重叠区块包括人的至少一部分，并且用于修改所述图像集合以创建稳定图像流的装置包括：用于裁剪所述帧的所述重叠帧区块和所述至少一个其他帧的所述重叠帧区块的装置；用于创建所述帧和所述至少一个其他帧的副本的装置；以及，用于在不修改所述帧的背景部分和所述至少一个其他帧的背景部分的情况下用所述重叠帧区块替换所述帧的副本中包含所述人的所述部分的区块的装置。在另外的实施方式中，还实现用于执行上述实施方式的操作的计算设备。另外，在本公开的实施方式中，计算机可读存储介质可以存储用于执行本文描述的实施方式的操作的指令。计算机可读存储介质可以是非暂时性计算机可读存储介质。将意识到，各方面和实施方式可以被组合，并且在一个方面或实施方式的场境中描述的特征可以在其他方面或实施方式的场境中实现。附图说明根据以下给出的详细描述以及本公开的各个方面和实施方式的附图，将更全面地理解本公开的方面和实施方式，然而，本公开的各个方面和实施方式不应被视为将本公开限制为特定方面或实施方式，但仅用于解释和理解。图1描绘了根据本公开的一个实施方式的说明性系统架构。图2描绘了根据本公开的一个实施方式的用于使用基于深度相机的数据的视频通信的图像序列中的示例帧。图3描绘了根据本公开的一个实施方式的用于在通信会话期间使用基于深度相机的数据来稳定用于视频通信的图像的方法的方面的流程图。图4描绘了根据本公开的一个实施方式的用于使用基于深度相机的数据的视频通信的图像序列中的示例帧。图5描绘了根据本公开的一个实施方式的用于使用基于深度相机的数据的视频通信的图像序列中的示例帧。图6描绘了根据本公开的一个实施方式的用于使用基于深度相机的数据的视频通信的图像序列中的示例帧。图7描绘了根据本公开的一个实施方式的用于使用基于深度相机的数据的视频通信的图像序列中的示例帧。图8描绘了根据本公开的一个实施方式的用于在通信会话期间使用基于深度相机的数据来映射视频的帧集合中的对象的特征的方法的各方面的流程图。图9描绘了根据本公开的一个或多个方面操作的示例计算设备的框图。具体实施方式本公开的方面和实施方式涉及基于深度相机的图像稳定。捕捉视频的图像序列的相机可能不稳定，并可以导致视频中可见的帧到帧抖动。视频帧是组成运动画面(以下称为“视频”)的许多静止图像之一。抖动指的是组件中的振动或例如，捕捉视频的源设备的用户的不稳定手导致的结果。因此，本文在各种实施方式中描述的是能够实现实时基于深度相机的图像稳定的技术。例如，所公开的实施方式可以被应用到例如，通过视频消息应用、音频和/或视频会议、音频和/或视频聊天、音频本文档来自技高网...

【技术保护点】
1.一种方法，包括：由处理设备收集源设备向目标设备提供的视频流的图像序列中的各帧的深度数据作为所述源设备的用户与所述目标设备的用户之间的通信会话的一部分，所述深度数据由所述源设备的深度感知相机创建；使用所述深度数据来将所述图像序列中的帧中的对象的一个或多个特征的特征位置映射到在所述图像序列中的至少一个其他帧中的所述对象的所述一个或多个特征的特征位置；使用所映射的特征位置确定在所述帧与所述至少一个其他帧之间的一个或多个重叠帧区块；基于所述重叠帧区块在所述图像序列中修改与所述帧和所述至少另一帧相对应的图像集合，以针对所述视频流创建稳定图像流；以及在所述视频流中提供所述稳定图像流作为所述通信会话的一部分。

【技术特征摘要】
【国外来华专利技术】2015.11.06 US 14/935,0921.一种方法，包括：由处理设备收集源设备向目标设备提供的视频流的图像序列中的各帧的深度数据作为所述源设备的用户与所述目标设备的用户之间的通信会话的一部分，所述深度数据由所述源设备的深度感知相机创建；使用所述深度数据来将所述图像序列中的帧中的对象的一个或多个特征的特征位置映射到在所述图像序列中的至少一个其他帧中的所述对象的所述一个或多个特征的特征位置；使用所映射的特征位置确定在所述帧与所述至少一个其他帧之间的一个或多个重叠帧区块；基于所述重叠帧区块在所述图像序列中修改与所述帧和所述至少另一帧相对应的图像集合，以针对所述视频流创建稳定图像流；以及在所述视频流中提供所述稳定图像流作为所述通信会话的一部分。2.根据权利要求1所述的方法，其中，所述对象包括面部或面部特征的至少一部分。3.根据权利要求1或2所述的方法，其中，修改所述图像集合包括：将所述图像中的人识别为前景对象；将所述图像集合中除所述人以外的一个或多个对象识别为背景对象；以及去除所述各帧中与包含所述背景对象的所述图像集合对应的一个或多个区块。4.根据权利要求1、2或3所述的方法，其中，确定所述一个或多个重叠帧区块包括：使用所映射的特征位置来对齐所述帧和所述至少一个其他帧；以及将所述帧的前景部分中的一个或多个区块和所述至少一个其他帧的前景部分中的一个或多个区块识别为所述重叠帧区块，所述至少一个其他帧包括相同对象或对象的相同部分中的至少一个。5.根据权利要求4所述的方法，其中，所述重叠帧区块包括人的至少一部分，并且修改所述图像集合以创建所述稳定图像流包括：裁剪所述帧的所述重叠帧区块和所述至少一个其他帧的所述重叠帧区块；创建所述帧和所述至少一个其他帧的副本；在不修改所述帧的所述副本的背景部分的情况下，用所述重叠帧区块替换所述帧的所述副本中包含所述人的所述部分的区块；以及在不修改所述至少一个其他帧的所述副本的背景部分的情况下，用所述重叠帧区块替换所述至少一个其他帧的所述副本中包含所述人的所述部分的区块。6.根据权利要求1所述的方法，其中，所述视频流是由移动源设备提供的。7.一种系统，包括：存储器；以及耦合到所述存储器的处理设备，被适配来：收集源设备向目标设备提供的视频流的图像序列中的各帧的深度数据作为所述源设备的用户与所述目标设备的用户之间的通信会话的一部分，所述深度数据由所述源设备的深度感知相机创建；使用所述深度数据来将所述图像序列中的帧中的对象的一个或多个特征的特征位置映射到在所述图像序列中的至少一个其他帧中的所述对象的所述一个或多个特征的特征位置；使用所映射的特征位置确定在所述帧与所述至少一个其他帧之间的一个或多个重叠帧区块；基于所述重叠帧区块在所述图像序列中修改与所述帧和所述至少另一帧相对应的图像集合，以针对所述视频流创建稳定图像流；以及在所述视频流中提供稳定图像流作为所述通信会话的一部分。8.根据权利要求7所述的系统，其中，所述对象包括面部或面部特征的至少一部分。9.根据权利要求7或8所述的系统，其中，为了修改所述图像集合，所述处理设备被适配来：将所述图像中的人识别为前景对象；将所述图像集合中除所述人以外的一个或多个对象识别为背景对象；以及去除所述各帧中与包含所...

【专利技术属性】
技术研发人员：格雷戈里·M·伯吉斯，托尔·卡朋特，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US