基于面部取向检测的图像取向制造技术

呈现用于图像处理和利用的方法、系统、计算机可读媒体和设备。在一些实施例中，可以使用移动装置获得含在用户的面部处的图像。可以使用所述移动装置确定所述用户的所述面部在所述图像内的取向。所述用户的所述面部的所述取向可以使用多个阶段确定：(a)旋转阶段，用于控制应用于所述图像的一部分的旋转，以产生经旋转图像部分，以及(b)取向阶段，用于控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向。可以利用所述用户的所述面部的所述所确定的取向作为控制输入，来修改所述移动装置的显示画面旋转。装置的显示画面旋转。装置的显示画面旋转。

【技术实现步骤摘要】
基于面部取向检测的图像取向
[0001]本申请是申请日为2017年7月12日、申请号为：201780036542.6、专利技术名称为“基于面部取向检测的图像取向”的专利技术专利申请的分案申请。

技术介绍

[0002]本公开的方面涉及检测和利用与由移动装置所捕获的图像相关联的对象取向。根据本公开的实施例，可以不同方式利用所检测到的取向。一个实例是由移动装置自动控制呈现给用户的显示画面的旋转。评定合适显示画面旋转可以是具有挑战性的任务。就精度和计算效率来说，目前的技术在许多方面都缺乏。举例来说，实施在移动装置中的简单自动显示画面旋转特征通常利用如使用加速度计所测量的重力方向来控制呈现给用户的显示画面的旋转(例如，“纵向”对“横向”旋转)。然而，有时无法通过简单地使用重力方向来准确地确定适当显示画面旋转。举例来说，如果移动装置在桌子上平坦放置，显示器向上朝向天空，那么重力向量朝着与显示器平面垂直的方向指向，并且因此不能提供用于呈现给用户的显示画面适当旋转的有用指示。通常，使用装置平放之前显示器的上一个取向，其可能不是可用于用户适当查看的合适旋转。作为另一实例，如果用户在侧躺(例如，在床上)时将移动装置握持在他的面前，那么重力向量控制的自动显示画面旋转技术将通常导致从用户视角来看的不正确显示画面旋转。此处，显示画面可能在甚至较小移动下不当地自动旋转。这是因为仅使用重力向量的系统将仅感测到移动装置已从直立位置移动到俯卧位置，且得出作为响应必须旋转显示画面(例如，从“纵向”到“横向”旋转)的结论。然而，系统将不能感测到用户也从直立移动到俯卧位置，并且因此事实上应不需要对显示画面的旋转。现存系统的这些和其它缺点突出了对于用于图像相关的取向检测和利用的改进技术的需要。

技术实现思路

[0003]描述某些实施例以用于改进基于图像处理的显示画面旋转。方法可包括使用移动装置，获得包含所述移动装置的使用者的面部的图像。方法可以进一步包括使用移动装置确定所述用户的所述面部在所述图像内取向。可以使用多个阶段确定所述用户的所述面部在所述图像内的所述取向，其可包括：(a)旋转阶段，用于控制应用于所述图像的一部分的旋转，以产生经旋转图像部分；以及(b)取向阶段，用于控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向。方法可以进一步包括作为控制输入，利用所述用户的所述面部的所述所确定的取向，以修改所述移动装置的显示画面旋转。
[0004]在一个实施例中，所述经旋转图像部分存储在旋转缓冲器中。在一个实施例中，所述取向特定特征检测是使用计算机视觉(computer vision；CV)计算单元执行。在一个实施例中，所述用户的所述面部在所述图像内的所述取向是基于多种模式确定。所述多个模式可包括：(a)检测模式，其用于检测所述用户的所述面部在初始图像内的初始取向；以及(b)跟踪模式，其用于使用所述所检测的初始取向，跟踪所述用户的所述面部在后续图像内的所述取向。
[0005]根据一个实施例，在所述检测模式中，通过在第一多个假设角度执行特征检测，检
测所述使用者的所述面部在所述图像内的所述初始取向。在同一实施例中，在跟踪模式中，通过在第二多个假设角度处执行特征检测，跟踪所述用户的所述面部在所述后续图像内的所述取向，所述第二多个少于所述第一多个。
[0006]根据另一实施例，在跟踪模式中，在检测到与非图像传感器相关联的触发条件时，跟踪所述用户的所述面部在所述后续图像内的所述取向。举例来说，非图像传感器可包括加速度计。
附图说明
[0007]本公开的方面是作为实例而说明。在图示中，相似附图标记指示类似元件。在下文简要地描述图示：
[0008]图1A描绘移动装置平坦放置在桌子上且被用户查看的情形；
[0009]图1B是图1A中描绘的情形的不同视图，展示移动装置显示器的取向和用户的位置；
[0010]图2A描绘后续情形，其中移动装置在桌子上保持在同一位置，但用户已移动以从不同用户位置，即，从桌子的不同侧，查看移动装置；
[0011]图2B是图2A中描绘的情形的不同视图，展示回应于改变的用户位置，移动装置的显示器的取向；
[0012]图3A描绘潜在的令人沮丧情形，其中用户在侧躺(例如，在床上)时，查看他的手中握持的移动装置上的不当地自动旋转的显示画面；
[0013]图3B描绘改进情形，其中用户在侧躺(例如，在床上)时，查看他的手中握持的移动装置上的正确地自动旋转的显示画面；
[0014]图3C描绘与图3B类似的情形，其中用户在另一侧躺下；
[0015]图4是根据本公开的各种实施例展示用于检测和利用图像中的一或多个对象的取向的系统的高阶框图；
[0016]图5是根据本公开的某些实施例的更详细框图，其展示对象取向检测器(例如图4中展示的那一个)内的示范性组件；
[0017]图6根据本公开的某些实施例，说明由加速的计算机视觉(CV)计算单元(例如图5中展示的那一个)执行的取向特定特征检测的实例；
[0018]图7为根据各种实施例展示借助(1)图像旋转和(2)CV单元输入取向的各种组合实现的各种假设特征角度的表格；
[0019]图8根据各种实施例展示取向检测控制器的不同状态，各状态表示(1)图像旋转和(2)CV单元输入取向的不同组合；
[0020]图9根据本公开的实施例说明取向跟踪技术的触发操作中建立的迟滞函数；
[0021]图10为根据本公开的至少一个实施例展示用于执行图像处理和利用的过程中的说明性步骤的流程图；以及
[0022]图11说明可用于实施本公开的特征的实例计算机系统1100。
具体实施方式
[0023]现在将关于形成说明性实施例的一部分的附图来描述若干说明性实施例。虽然下
文描述可在其中实施本公开的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本公开的范围或所附权利要求书的精神的情况下进行各种修改。
[0024]说明性使用情况
[0025]图1A描绘移动装置平坦放置在桌子上且被用户查看的情形。此处，用户正在查看移动装置的显示器。显示器以“横向”显示画面旋转呈现户外场景。
[0026]图1B是图1A中描绘的情形的不同视图，展示移动装置显示器的取向和用户的位置。如图示中所展示，用户能够在查看以“横向”显示画面旋转呈现的户外场景。
[0027]图2A描绘后续情形，其中移动装置在桌子上保持在同一位置，但用户已移动以从不同用户位置，即，从桌子的不同侧，查看移动装置。根据本公开的实施例，响应于新用户位置，移动装置自动调节显示画面的旋转，来以“纵向状”显示画面旋转展示户外场景。显示画面旋转不仅改变为“纵向状”，还匹配用户的新位置。即，用户看见的不是户外场景的上下颠倒的“纵向”视图，而是正面朝上“纵向”视图。根据本公开的实施例，移动装置使用前置摄像头(即，朝向用户的摄像头)捕获用户的图像。移动装置执行图像处理以确定用户的面部在所捕获图像内的取向。用户的面部所确定的取向随后被用于自动调整本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像处理和利用的方法，其包括：使用移动装置，获得含有所述移动装置的用户的面部的图像；使用所述移动装置，确定所述用户的所述面部在所述图像内的取向，其中所述用户的所述面部在所述图像内的所述取向是使用多个阶段确定，所述多个阶段包括：(a)旋转阶段，用于控制应用于所述图像的一部分的旋转，以产生经旋转图像部分；以及(b)取向阶段，用于控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向；以及利用所述用户的所述面部的所述所确定的取向作为控制输入来修改所述移动装置的显示画面旋转。2.根据权利要求1所述的方法，其中所述经旋转图像部分存储在旋转缓冲器中。3.根据权利要求1所述的方法，其中所述取向特定特征检测是使用计算机视觉CV计算单元执行。4.根据权利要求1所述的方法，其中所述用户的所述面部在所述图像内的所述取向是基于多种模式确定，所述多种模式包括：(a)检测模式，用于检测所述用户的所述面部在初始图像内的初始取向；以及(b)跟踪模式，用于使用所述所检测的初始取向，跟踪所述用户的所述面部在后续图像内的所述取向。5.根据权利要求4所述的方法，其中在所述检测模式中，通过在第一多个假设角度执行特征检测，检测所述用户的所述面部在所述图像内的所述初始取向；且其中在所述跟踪模式中，通过在第二多个假设角度执行特征检测，跟踪所述用户的所述面部在所述后续图像内的所述取向，所述第二多个少于所述第一多个。6.根据权利要求4所述的方法，其中在所述跟踪模式中，在检测到与非图像传感器相关联的触发条件时，跟踪所述用户的所述面部在所述后续图像内的所述取向。7.根据权利要求6所述的方法，其中所述非图像传感器包括加速度计。8.一种用于图像处理和利用的设备，其包括：图像传感器，其经配置以获得至少含有移动装置的用户的面部的图像；对象取向检测器，其经配置以确定所述用户的所述面部在所述图像内的取向，其中所述对象取向检测器经配置以使用多个阶段确定所述用户的所述面部在所述图像内的所述取向，所述多个阶段包括：(a)旋转阶段，其经配置以控制应用于所述图像的一部分的旋转，以产生经旋转图像部分；以及(b)取向阶段，其经配置以控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向；以及对象取向接收器，其经配置以作为控制输入接收和组织所述用户的所述面部的所述所确定的取向，以修改所述移动装置的显示画面旋转。9.根据权利要求8所述的设备，其进一步包括：
旋转缓冲器，其经配置以存储所述经旋转图像部分。10.根据权利要求8所述的设备，其进一步包括：计算机视觉CV计算单元，其经配置以执行所述取向特定特征检测。11.根据权利要求8所述的设备，其中所述对象取向检测器经配置以在多种模式中确定所述用户的所述面部的所述取向，所述多种模式包括：(a)检测模式，其用于检测所述用户的所述面部在初始图像内的初始取向；以及(b)跟踪模式，其用于使用所述所检测的初始取向，跟踪所述用户的所述面部在后续图像内的所述取向。12.根据权利要求11所述的设备，其中在所述检测模式中，所述对象取向检测器经配置以通过在第一多个假设角度执行特征检测，检测所述用户的所述面部在所述图像内的所述初始取向；且其中在所述跟踪模式中，所述对象取向检测器经配置以通过在第二多个假设角度执行特征检测，跟踪所述用户的所述面部在所述后续图像内的所述取向，所述第二多个少于所述第一多个。13.根据权利要求11所述的设备，其中在所述跟踪模式中，所述对象取向检测器经配置以在检测到与非图像传感器相关联的触发条件时，跟踪所述用户的所述面部在所述后续图像内的所述取向。14.根据权利要求13所述的设备，其中所述非图像传感器包括加速度计。15.一种非暂时性计算机可读媒...

【专利技术属性】
技术研发人员：埃德温钟宇朴，拉古拉曼克里希纳穆尔蒂，文卡特兰加，纳尔逊拉斯奎因哈，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：