用于图像处理的集成视觉惯性里程计和图像稳定制造技术

一种用于图像处理的示例方法包括：接收第一信息集合，第一信息集合基于设备跨越由设备捕获的当前帧和由设备捕获的后续帧的位置变化来指示设备的角速度和移动；对第一信息集合进行滤波以补偿设备的无意移动以生成第二信息集合，第二信息集合指示在没有无意移动的情况下设备的角速度和移动；基于第一信息集合和第二信息集合两者来对当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出经图像稳定的当前帧以用于显示。的当前帧以用于显示。的当前帧以用于显示。

【技术实现步骤摘要】
【国外来华专利技术】用于图像处理的集成视觉惯性里程计和图像稳定


[0001]本公开内容涉及图像处理。

技术介绍

[0002]相机设备包括捕获帧(例如，图像和/或视频)的一个或多个相机。相机设备的示例包括独立的数字相机或数字视频摄像机、配备有相机的无线通信设备手机(诸如具有一个或多个相机的移动电话)、蜂窝或卫星无线电电话、配备有相机的个人数字助理(PDA)、面板或平板设备、游戏设备、包括相机的计算机设备(诸如所谓的“网络摄像头”)或具有数字成像或视频能力的任何设备。
[0003]相机设备可以被配置为执行视觉惯性里程计(VIO)，其用于基于由相机设备捕获的图像来估计相机设备的姿态和速度。相机设备还可以被配置为执行图像稳定以减少在曝光期间由相机设备的运动引起的模糊效应。

技术实现思路

[0004]概括而言，本公开内容描述了通过利用补偿相机设备的无意移动的跟踪滤波器来集成视觉惯性里程计(VIO)和图像稳定的技术。滤波的结果可以是在没有无意移动的情况下的角速度和移动信息以对帧执行图像稳定。相机设备然后可以利用经图像稳定的帧来确定相机设备的位置和朝向作为VIO的一部分。
[0005]通过集成VIO和图像稳定，示例技术可以提高整体图像稳定，从而导致更好的图像质量和更少的模糊度，并且改善经由VIO获得的位置和朝向(姿态)信息。此外，由于集成，可以共享用于VIO和图像稳定的计算资源，从而导致更好的操作相机设备(例如，具有更少的功率利用率和更少的计算资源)。
[0006]在一个示例中，本公开内容描述了一种用于图像处理的设备，包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：接收第一信息集合，所述第一信息集合基于所述设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出所述经图像稳定的当前帧以用于显示。
[0007]在另一示例中，本公开内容描述了一种用于图像处理的方法，所述方法包括：接收第一信息集合，所述第一信息集合基于设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出所述经图像稳定的当前帧
以用于显示。
[0008]在另一示例中，本公开内容描述了一种在其上存储指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器进行以下操作：接收第一信息集合，所述第一信息集合基于设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出所述经图像稳定的当前帧以用于显示。
[0009]在另一示例中，本公开内容描述了一种用于图像处理的设备，包括：用于接收第一信息集合的单元，所述第一信息集合基于所述设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；用于对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合的单元，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；用于基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧的单元；以及用于输出所述经图像稳定的当前帧以用于显示的单元。
[0010]在附图和以下描述中阐述了一个或多个示例的细节。根据描述、附图以及权利要求书，其它特征、目的和优点将是显而易见的。
附图说明
[0011]图1是被配置为执行在本公开内容中描述的示例技术中的一种或多种示例技术的设备的框图。
[0012]图2是进一步详细地示出图1的图像稳定和视觉惯性里程计(VIO)单元的示例的框图。
[0013]图3是进一步详细地示出图2的跟踪滤波器单元的示例的框图。
[0014]图4A和4B是示出根据在本公开内容中描述的一种或多种示例技术执行图像稳定的示例方式的概念图。
[0015]图5是示出根据在本公开内容中描述的一个或多个示例的示例操作方法的流程图。
[0016]图6是示出根据在本公开内容中描述的一个或多个示例的另一示例操作方法的流程图。
具体实施方式
[0017]在本公开内容中描述的示例技术涉及图像稳定和视觉惯性里程计(VIO)。VIO是通过使用由设备的相机捕获的图像和指示设备的角速度和/或移动的信息(例如，基于来自惯性测量单元(IMU)和/或加速度计的输出)来估计设备的状态(例如，位置和朝向(姿态)以及速度)的技术。设备的移动可能导致高速运动抖动和随机噪声，这导致用于VIO的图像是模糊的。因为用于VIO的图像是模糊的，所以在设备的定位方面可能存在误差。在设备的定位方面的误差可以是指在确定设备的姿态和速度方面的误差或甚至失败以及在确定图像中的其它对象的所在处(location)和位置(position)方面的误差或甚至失败。
[0018]在VIO技术中，基于IMU的针对图像数据的两个连续帧的输出，设备有可能确定设备的姿态。此外，设备可能能够估计特征点在下一帧中的像素坐标。以这种方式，设备执行特征跟踪，这对于快速运动来说可能是有用的。基于特征跟踪，设备可以确定其当前姿态和对象在帧中的所在处以用于映射在设备周围的区域。作为一个示例，来自IMU(例如，IMU的加速度计)的重力向量可以用于将设备的所估计的位置转换为用于导航的世界坐标系。
[0019]然而，如果存在模糊的图像，则可能存在依赖于来自IMU的输出的针对VIO技术的误差。例如，IMU中的松散连接可能导致振动。此外，在模糊的图像中对特征点的跟踪可能是不可靠的。
[0020]图像稳定是降低图像的模糊度的示例方式，并且通常是与VIO分离的操作。例如，图像稳定(IS)降低了在曝光期间由设备的运动或图像捕获引起的模糊效应。存在光学图像稳定(OIS)和电子图像稳定(EIS)。光学图像稳定在与相机设备的移动相反的方向上移动相机并且是基于硬件的解决方案。电子图像稳定提供了基于软件的解决方案来补偿相机的移动。例如，EIS单元可以确定有意移动和无意移动，并且然后利用图像扭曲来调整每个帧。与OIS相比，EIS可以相对容易实现，因为EIS是软件驱动的，并且可以不像OIS技术可能的那样受到硬件故障的影响。然而，使用EIS技术，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于图像处理的设备，所述设备包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：接收第一信息集合，所述第一信息集合基于所述设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出所述经图像稳定的当前帧以用于显示。2.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：基于所述经图像稳定的当前帧和所述后续帧来确定所述设备的速度、位置和朝向；以及输出指示所确定的速度、位置和朝向的信息以用于增强现实或虚拟现实。3.根据权利要求1所述的设备，其中，接收所述第一信息集合包括接收统一变换矩阵中的所述信息，所述统一变换矩阵具有被集成到所述统一变换矩阵中的、指示所述设备的角速度和移动的信息。4.根据权利要求1所述的设备，其中，接收所述第一信息集合包括：接收所述设备在欧几里得空间中的角速度和移动；以及利用李群变换来将所述设备在欧几里得空间中的所述角速度和移动变换到指数流形空间，以生成所述第一信息集合。5.根据权利要求1所述的设备，其中，对所述第一信息集合进行滤波包括：接收指示所述设备的先前确定的位置和朝向的信息；将所接收的指示所述设备的先前确定的位置和朝向的信息与所述第一信息集合进行混合，以生成所述设备的角速度和移动的混合估计；将一个或多个扩展卡尔曼滤波器(EKF)应用于所述混合估计以生成一个或多个经建模的运动；确定所述一个或多个经建模的运动的模型概率；以及对所述模型概率和所述一个或多个经建模的运动进行融合以生成所述第二信息集合。6.根据权利要求1所述的设备，其中，执行图像稳定包括确定：A*(T)
‑1*T
IM
*A
‑1*[u0,v0,1]
T
，其中，A是内参矩阵，T是基于所述第一信息集合的矩阵，T
IM
是基于所述第二信息集合的矩阵，[u0,v0,1]表示在图像稳定之前的所述当前帧中的像素的坐标位置。7.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为：从惯性移动单元(IMU)接收角速度和移动信息，并且对所述角速度和移动信息进行滤波以生成所述第一信息集合。8.根据权利要求1所述的设备，其中，所述设备包括具有一个或多个相机的移动电话。9.一种用于图像处理的方法，所述方法包括：接收第一信息集合，所述第一信息集合基于设备跨越由所述设备捕获的当前帧和由所
述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出所述经图像稳定的当前帧以用于显示。10.根据权利要求9所述的方法，还包括：基于所述经图像稳定的当前帧和所述后续帧来确定所述设备的速度、位置和朝向；以及输出指示所确定的速度、位置和朝向的信息。11.根据权利要求9所述的方法，其中，接收所述第一信息集合包括接收统一变换矩阵中的所述信息，所述统一变换矩阵具有被集成到所述统一变换矩阵中的、指示所述设备的角速度和移动的信息。12.根据权利要求9所述的方法，其中，接收所述第一信息集合包括：接收所述设备在欧几里得空间中的角速度和移动；以及利用李群变换来将所述设备在欧几里得空间中的所述角速度和移动变换到指数流形空间，以生成所述第一信息集合。13.根据权利要求9所述的方法，其中，对所述第一信息集合进行滤波包括：接收指示所述设备的先前确定的位置和朝向的信息；将所接收的指示所述设备的先前确定的位置和朝向的信息与所述第一信息集合进行混合，以生成所述设备的角速度和移动的混合估计；将一个或多个扩展卡尔曼滤波器(EKF)应用于所述混合估计以生成一个或多个经建模的运动；确定所述一个或多个经建模的运动的模型概率；以及对所述模型概率和所述一个或多个经建模的运动进行融合以生成所述第二信息集合。14.根据权利要求9所述的方法，其中，执行图像稳定包括确定：A*(T)
‑1*T
IM
*A
‑1*[u0,v0,1]
T
，其中，A是内参矩阵，T是基于所述第一信息集合的矩阵，T
IM
是基于所述第二信息集合的矩阵，[u0,v0,1]表示在图像稳定之前的所述当前帧中的像素的坐标位置。15.根据权利要求9所述的方法，还包括：从惯性移动单元(IMU)接收角速度和移动信息，并且对所述角速度和移动信息进行滤波以生成所述第一信息集合。16.一种在其上存储指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器进行以下操作：接收第一信息集合，所述第一信息集合基于设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合，所述第二信息集合指示在没有无意...

【专利技术属性】
技术研发人员：X，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：