分析由头戴式设备的相机记录的图像中的对象的方法技术

公开了一种分析由头戴式设备的相机记录的图像中的对象的方法。该方法包括在记录图像时执行眼动追踪；基于眼动追踪来确定图像的感兴趣区域；根据感兴趣区域生成边界框；基于边界框裁剪图像以生成裁剪后的图像；对裁剪后的图像执行精细裁剪；以及检测裁剪后的图像中的对象。还公开了一种用于分析由头戴式设备的相机记录的图像中的对象的电子设备。

【技术实现步骤摘要】
【国外来华专利技术】分析由头戴式设备的相机记录的图像中的对象的方法
本专利技术的实施例总体上涉及捕获图像的设备，尤其涉及分析由头戴式设备的相机记录的图像的方法。
技术介绍
利用由电子设备捕获的图像的对象检测可以具有许多实际应用。对象检测会需要大量的计算资源，并且可能需要花费大量时间。为了使对象检测有用，可能需要在特定时间段内识别对象。然而，许多便携式电子设备可能没有用于在合理的时间内向设备的用户提供与对象有关的信息的计算资源。头戴式显示器(HMD)可穿戴设备具有许多新兴应用。使能HMD的此类应用的有用特征包括对象检测、识别和追踪、以及在显示器中显示结果。为了具有良好的用户体验，对于对象检测、识别和追踪，通常需要相对于用户的移动和/或对象的移动的高精度和快速的响应时间。因此，需要用于对象检测的改进的准确性和响应速度。
技术实现思路
附图说明图1是具有多个相机的电子设备的示例性框图；图2是示出了识别与由图像记录设备捕获的图像相关联的对象的过程的示例性视图；图3是可以用于实施分析由头戴式设备的相机记录的图像中的对象的方法的头戴式设备的示例性视图；图4是示出了利用头戴式设备的对象检测的示例性框图；图5示出了被选择来识别图像的感兴趣区域(ROI)的边界框的示例；图6是示出了使用显著性来识别ROI中的对象的示例性视图；图7是示出了利用头戴式设备的对象检测的又一示例性框图；图8是示出了利用裁剪的对象识别的改进的曲线图；图9是示出了分析由头戴式设备的相机记录的图像的方法的应用的示例性视图；以及图10是示出了分析由头戴式设备的相机记录的图像的方法的另一应用的示例性视图；以及图11是示出了分析由头戴式设备的相机记录的图像的方法的示例性流程图。具体实施方式尽管说明书包括限定了被认为是新的本专利技术的一个或更多个实施方式的特征的权利要求，但是可以认为，通过结合附图进行描述，可以更好地理解电路和方法。尽管公开了各种电路和方法，但是应当理解的是，这些电路和方法仅仅是本专利技术布置的示例，其可以以各种形式被实施。因此，本说明书中公开的具体的结构性和功能性细节不应当被理解为限制性的，而仅仅应当理解为权利要求的基础并且理解为教导本领域技术人员在实际上任何适当的具体结构中以各种方式采用本专利技术布置的代表性基础。此外，本文中使用的术语和短语并不意图是限制性的，而是为了提供对电路和方法的可理解的描述。公开了一种分析由头戴式设备的相机记录的图像中的对象的方法。该方法包括在记录图像时执行眼动追踪；基于眼动追踪来确定图像的感兴趣区域；基于感兴趣区域生成边界框；基于边界框裁剪图像以生成裁剪后的图像；对裁剪后的图像执行精细裁剪；以及检测裁剪后的图像中的对象。分析由头戴式设备的相机记录的图像中的对象的另一方法包括：在记录图像时进行眼动追踪；基于眼动追踪来确定图像的感兴趣区域；基于感兴趣区域的中心和与图像中的对象相关联的深度信息生成边界框；基于边界框裁剪图像以生成裁剪后的图像；以及检测裁剪后的图像中的对象。在分析对象的另一方法中，检测裁剪后的图像中的对象包括执行深度学习。在分析对象的另一方法中，该方法还包括：生成与图像中的对象相关联的对象检测置信度值；以及使用对象检测置信度值来确定以后图像的感兴趣区域。在分析对象的另一方法中，该方法还包括对所裁剪后的图像执行精细裁剪。在分析对象的另一方法中，执行精细裁剪包括使用显著性图来识别更新的感兴趣区域。在分析对象的另一方法中，该方法还包括检测图像中的对象的深度，其中，边界框的大小由深度信息确定。还公开了一种用于分析由头戴式设备的相机记录的图像中的对象的电子设备。该电子设备包括处理器，该处理器被耦接来接收由相机捕获的图像，其中，所述处理器：在记录图像时执行眼动追踪；基于眼动追踪来确定图像的感兴趣区域；根据感兴趣区域生成边界框；基于边界框裁剪图像来生成裁剪后的图像；对裁剪后的图像执行精细裁剪；以及检测裁剪后的图像中的对象。以下阐述的电路和方法从大图像输入中提取了一个感兴趣区域(ROI)区域，来实现可穿戴HMD设备的准确而较少的计算的对象检测和识别。使用眼动追踪(例如，与可穿戴HMD设备配合使用)来获取感兴趣区域。对于可穿戴式HDM设备中的给定眼动追踪点，将识别用于深度学习引擎的ROI输入，以便不计算外围区域，因此在保持对象检测/识别精度的同时，减少了对象追踪的功耗。改进的对象检测可以减少可穿戴HMD设备中头部运动至对象检测/识别的延迟。首先参考图1，示出了具有多个相机的电子设备的框图。示例性电子设备100可以是具有多个相机的任何类型的设备。电子设备100可以包括耦接到多个相机104和105的处理器102。尽管示出了相机104和相机105，但是应该理解的是，相机包括诸如图像传感器的图像记录设备，并且相机可以彼此独立或者可以共享电路。相机可以是HMD的一部分，其中一个相机可以用于提供场景的视图，而其他相机可以用于执行HMD用户的眼睛的眼动追踪(即运动和观看方向)，如将在下面更详细地描述的。移动设备100可以是适合于发送和接收信息的任何类型的设备，例如智能电话机、平板电脑或诸如可穿戴设备的其他接收或提供信息的电子设备。处理器102是集成电路，例如ARM处理器、X86处理器、MIPS处理器、图形处理单元(GPU)、通用GPU或配置为执行存储器中存储的指令的任何其他处理器。处理器102可以在一个或更多个处理设备中实现，其中这些处理器可以不同。例如，电子设备可以包括例如中央处理单元(CPU)以及GPU。处理器102可以耦接到用于向用户显示信息的显示器106。处理器102还可以耦接到存储器108，该存储器108允许存储与数据有关的信息或与实现目标有关的信息。众所周知，存储器108可以被实现为处理器102的一部分，或者可以被实现为除了处理器的任何高速缓冲存储器之外的其他部分。存储器108可以包括任何类型的存储器，例如固态驱动器(SSD)、闪存、只读存储器(ROM)或提供长期存储的任何其他存储器元件，其中存储器可以是任何类型的电子设备的内部存储器或电子设备可访问的外部存储器。还提供了用户界面110，以使能用户输入数据和接收数据。某些活动追踪可能需要用户手动输入。用户界面可以包括通常在诸如智能电话机、智能手表或平板计算机之类的便携式通信设备上使用的触摸屏用户界面，以及诸如扬声器和麦克风之类的其他输入/输出(I/O)元件。用户界面还可以包括用于输入或输出数据的设备，该设备可以通过电连接器或通过无线连接(例如，蓝牙或近场通信(NFC)连接)的方式连接到移动设备。处理器102还可以耦接到接收输入数据或提供数据的其他元件，包括用于活动追踪的各种传感器111、惯性测量单元(IMU)112和全球定位系统(GPS)设备113。例如，惯性测量单元(IMU)112可以提供与设备的运动或定向有关的各种信息，而GPS113提供与设备相关联的位置信息。可以是移动设备的一部分或耦接到移动设本文档来自技高网...

【技术保护点】
1.一种分析由头戴式设备的相机记录的图像中的对象的方法，所述方法包括：/n在记录所述图像时，执行眼动追踪；/n基于所述眼动追踪，确定图像的感兴趣区域；/n基于所述感兴趣区域，生成边界框；/n基于所述边界框来裁剪图像以生成裁剪后的图像；/n对所述裁剪后的图像执行精细裁剪；以及/n检测所述裁剪后的图像中的对象。/n

【技术特征摘要】
【国外来华专利技术】20180511 US 15/977,2361.一种分析由头戴式设备的相机记录的图像中的对象的方法，所述方法包括：
在记录所述图像时，执行眼动追踪；
基于所述眼动追踪，确定图像的感兴趣区域；
基于所述感兴趣区域，生成边界框；
基于所述边界框来裁剪图像以生成裁剪后的图像；
对所述裁剪后的图像执行精细裁剪；以及
检测所述裁剪后的图像中的对象。


2.根据权利要求1所述的方法，其中，检测所述裁剪后的图像中的对象包括执行深度学习。


3.根据权利要求2所述的方法，所述方法还包括：生成与所述图像中的对象相关联的对象检测置信度值；以及使用所述对象检测置信度值来确定以后图像的感兴趣区域。


4.根据权利要求1所述的方法，其中，对所述裁剪后的图像执行精细裁剪包括：使用显著性图来识别更新的感兴趣区域。


5.根据权利要求1所述的方法，其中，基于所述眼动追踪确定图像的感兴趣区域包括：利用与所述头戴式设备的视场相关联的预定角度来识别所述感兴趣区域。


6.根据权利要求1所述的方法，其中，生成边界框包括：使用在所述图像中检测到的对象的深度。


7.根据权利要求6所述的方法，其中，所述边界框的中心是基于所述感兴趣区域的中心确定的，并且所述边界框的大小是基于在所述图像中的检测到的对象的深度确定的。


8.一种分析由头戴式设备的相机记录的图像中的对象的方法，所述方法包括：
在记录所述图像时，执行眼动追踪；
基于所述眼动追踪，确定图像的感兴趣区域；
基于所述感兴趣区域的中心和与...

【专利技术属性】
技术研发人员：金惠贞，玉真秀夫，李硕埈，洪仁俊，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR