使用具有图像传感器的便携式装置进行显示控制的方法制造方法及图纸

一种使用具有图像传感器的便携式装置（６０２）进行显示控制的方法，包括：一系列图像的捕获，在便携式装置移动中做出的运动估计，以及根据该运动估计的显示调整，根据本发明专利技术，运动估计包括：ａ）选择至少一个第一（１０）和至少一个第二图像，ｂ）向第一图像实施一组预测位移（１０ｄ，１０ｇ，１０ｈ，１０ｂ，１０ｎｄ，１０ｂｄ，１０ｈｇ，１０ｂｇ），ｃ）计算和比较使用每个预测位移分别指定的第一图像的至少一个特征值以及第二图像的相同特征值，以及ｄ）判定导致与第二图像的特征值最接近的特征值的预测位移（ｄｐ），ｅ）使用步骤ｄ中判定的预测位移作为运动估计。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种。便携式装置指具有自带电源且用户可以拿在手上的任意装置，例如移动电话、照相机、个人管理器或计算机。便携式装置一般具有显示屏。该屏幕的尺寸与装置的尺寸相关，因此显示区域小。为了提供改善的视觉舒适度，装置一般具有显示模式，其中待显示的图像并不完全地显示，而是部分地显示。更精确地说，图像的所选部分被放大地显示。然后，控制使得可以对待显示的图像部分进行选择，这样可以使用比屏幕大的尺寸“浏览”图像。如有必要，模拟控制还能使得指针以类似于计算机鼠标的方式在图像和所选图像部分中移动。就本专利技术而言，这些控制实施了显示控制。本专利技术应用在改善便携式装置的显示控制方面，并可以如自由控制鼠标一样使用。
技术介绍
便携式装置的显示控制通常使用接触板实施，或更朴实地使用一个或更多方向选择按钮-上、下、右和左来实施。由于装置的便携式属性，这些控制设备例如显示屏是很小的。因此显示控制通常是困难且不精确的。说明书的结尾引用的文献(1)和(2)提出了一种显示模式，能够使用便携式装置的运动在图像中实现测览，该便携式装置作为显示控制的控制设备。例如使用加速器，考虑便携式装置的运动。然而，特定的移动传感器例如加速器的存在，具有增加便携式装置的复杂度和成本的影响。也在说明书结尾引用的文献(3)提出了一种“浏览”图像的方法，例如，通过使用便携式装置内置的图像传感器，浏览几何地图的图像。使用图像传感器捕获的图像实时地执行移动的监控。实际上，使用捕获的图像确立的便携式装置的移动用于控制屏幕上出现的图像的一部分的显示。所考虑的移动是便携式装置和位于图像传感器视野中的预定目标之间的相对移动。具体而言，该目标可以是用户身体的一部分，例如他们的头或他们衣服的一部分。
技术实现思路
本专利技术源于实施上述方法，尤其是使用监控目标的浏览方法的实施中可能出现的很多难点的辨别。第一难点包括在具有图像传感器的便携式通讯器上实施该方法。一般而言，这些设备具有与图像传感器相对放置的显示屏。因此，当用户观看显示屏时，很难监控附着在用户上的目标。另一难点涉及用户倾斜便携式装置时目标的辨别和“丢失”目标的风险。事实上，当用户给予便携式装置的移动范围意味着辨别的目标离开了图像传感器的视野时，发生目标的丢失。另一难点涉及目标识别。如果目标不被识别或辨认，显然不可能进行监控。本专利技术的目的是提供一种使用具有图像传感器的便携式装置的显示控制方法，其中上述困难被克服。更具体而言，本专利技术的一个目的是提供这样一种方法其中运动估计与监控目标无关。另一目的是提供一种控制方法，它是鲁棒的，但对光、移动或图像内容的界面变化不是很敏感，所述内容能够影响用于估计运动的传感器捕获的图像。为获得这些目的，本专利技术更具体地涉及一种使用具有图像传感器的便携式装置实施显示控制的方法，包括-在邀请用户移动便携式装置的捕获模式中捕获一系列图像，-在便携式装置位移的同时做出运动估计，以及-根据该运动估计调整显示，其特征在于运动估计包括a)选择图像序列的至少一个第一和至少一个第二图像，该第二图像后于第一图像捕获，b)向第一图像实施对应于不同位移方向的一组预测位移，c)计算和比较根据每个预测位移分别指定的第一图像的至少一个特征值以及第二图像的相同特征值，以及d)判定导致与第二图像的特征值最接近的特征值的预测位移，e)选择步骤d中判定的预测位移作为运动估计。当仅用两个获取的图像进行运动估计时，优选地，通过使用一系列第一图像和此后的一系列第二图像，一个接一个地，分别使用第一图像连续地执行该方法。当便携式装置的计算容量充足时，可以预想这种执行其中每个获取的图像相对于前面一个图像用作“第二图像”，且相对于图像流的下一个图像用作“第一图像”。图像的更严格取样也可能是恰当的。使用本专利技术，可以获得运动估计，而不使用目标，且没有失效目标辨别的风险以及目标“丢失”的风险。此外，该方法可以使用以下两种便携式装置实施图像传感器位于控制屏的相同一面的便携式装置以及传感器位于承载控制屏的相对一面的便携式装置。后面一种情况对于通讯器来说是更常见的。预测位移的判定、使用位移指定的第一图像的特征计算以及第二图像的特征计算，可以使用第一和第二图像的所有像素执行。为减少所需的计算量，还可以以较小数目的像素执行这些操作。可以在五个像素中仅选择一个像素的计算帧或在十个像素中选出一个像素的计算帧。相同的方法应用于预测位移。预测位移可以在很多方向且以很多幅度执行。然而，这需要很大的计算量。如果预测位移仅在减少的方向子集或以减少的幅度子集发生，则减少的计算量也是够用的。例如，可以将预测位移限制在以各向异性方式分布、以45°为步长的八个方向上。对于每次位移，可以以5、10或20个像素的步长，仅检测少量的位移幅度。还可以预想单一幅度的预测位移。最相关的预测位移是最能表达便携式装置在第一和第二图像捕获之间运动的位移。例如，对于每个预测位移，对该位移指定的第一图像的特征值以及第二图像的相同特征值进行比较，发现该预测位移。例如，它是选自局部光强、光强总量、光强组合、色彩或色彩组合、局部空间频率或局部空间频率组合的一个特征。如上所述，可以为图像的所有像素或仅仅像素的子集计算这些特征值。根据该方法的特殊实施方案，考虑的特征是光强。则该方法步骤的c)和d)包括，根据下面的公式发现相似函数的整体最小值D(dp)=Σp(I1(p+dp)-I2(p))2]]>其中dp是第一和第二图像之间的预测位移的向量，其中对第一和第二图像的一组预定像素p求和，其中I1(p+dp)和I2(p)分别表示相对于像素p偏移dp的像素在第一图像中强度值以及像素p在第二图像中的强度值。该方法的步骤d)中，判定预测位移dp，对于该dp，函数D是最小值。认为导致函数D最小值的预测位移dp是最相关的。它用于估计移动和调整显示。例如平方差的和可以被差的绝对值的和或更一般地被相关函数代替。位移dp可以是常量，或可以使用参数模型建模，该参数模型使用的参数数量可以使需要考虑的运动具有更多或更少的复杂度。具体而言，通过使用具有4或6个参数的精炼模型可以表征缩放。可以为所有图像像素或图像像素的子集实施对p的求和。具体而言，可以为预定的有限个像素计算函数D，这些像素不相连并分布在第一图像的帧中，优选地分布在中央区域中。函数D的最小值表示最相关的预测位移dp。在不均匀场景的情况，最小值还可以给出预测的相关程度的指示。这样，根据本专利技术的特殊方案，函数D的最小值与一阈值进行比较，当函数D的最小值大于该阈值时，用户被警告。这种情况，可以不考虑估计的运动来修改显示。实际上，当D的最小值高，即大于阈值时，意味着预测位移指定的第一图像都不接近第二图像的特性。这样，通过给定相对于便携式装置的新的位移移动，被警告的用户可以重复他们的控制。例如通过使用更复杂的移动模型，例如更适合表征时间变化的参数模型，使用相同的一对图像可以重复运动估计。为了补偿任何反常运动，显示调整不需要考虑使用每对第一和第二图像做出的单独的运动估计，而是使用更全面的估计。例如，使用一系列捕获的图像，可以建立一系列单独的运动估计，然后通过过滤该单独的估计来计算整体运动估计。例如，过滤是Kalman型的，考虑与每个新的单独运动估计相关的一个分本文档来自技高网...

【技术保护点】
一种使用具有图像传感器（６０４）的便携式装置（６０２）进行显示控制的方法，包括：－在邀请用户移动便携式装置的捕获模式中捕获一系列图像（１００），－在便携式装置位移的同时做出运动估计（６２０），以及－根据该运动估计调整 显示（６４０），其特征在于运动估计包括：ａ）选择（６１０）图像序列的至少一个第一（１０）和至少一个第二图像（１２），该第二图像后于第一图像捕获，ｂ）向第一图像实施对应于不同位移方向的一组预测位移（１０ｄ，１０ｇ，１０ ｈ，１０ｂ，１０ｎｄ，１０ｂｄ，１０ｈｇ，１０ｂｇ），ｃ）计算和比较根据每个预测位移分别指定的第一图像的至少一个特征值以及第二图像的相同特征值，以及ｄ）判定导致与第二图像的特征值最接近的特征值的预测位移（ｄｐ），ｅ） 使用步骤ｄ中判定的预测位移作为运动估计。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：JM沃，E马塞拉，OAC菲龙，OMA里戈，T勒比亨，CEM帕平，NPB图沙尔，OLR塞尼奥尔，
申请(专利权)人：伊斯曼柯达公司，
类型：发明
国别省市：US[美国]