根据本文件中公开的各种实施例的电子装置可以包括：主体；由主体支撑的镜片；可旋转地连接到主体的支撑件；第一光光学输出模块，被配置为朝向设置在主体的后方处的用户的眼睛照射作为结构光的第一光；第二光光学输出模块，被配置为朝向用户的眼睛照射第二光；相机，被配置为拍摄用户的眼睛；以及处理器，可操作地连接到第一光光学输出模块、第二光光学输出模块和相机，其中，处理器可以被配置为：控制第一光光学输出模块在第一时间点输出第一光；控制第二光光学输出模块在第二时间点输出第二光；借助于相机响应于在第一时间点第一光的输出而获取第一图像；借助于相机响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；基于第三图像计算作为用户瞳孔的坐标值的第一坐标值；基于第一坐标值检测用户的注视方向。一坐标值检测用户的注视方向。一坐标值检测用户的注视方向。
【技术实现步骤摘要】
【国外来华专利技术】用于跟踪用户注视并提供增强现实服务的电子装置及其方法
[0001]本文件的各种实施例涉及一种电子装置，并且涉及一种包括用于实现增强现实(AR)的相机的可穿戴电子装置。
技术介绍
[0002]电子装置可以提供虚拟现实(VR)，其允许用户在由计算机创建的虚拟世界中体验与现实世界相同的内容。另外，电子装置可以提供其中虚拟信息(或对象)被添加到现实世界的增强现实(AR)和其中虚拟现实和增强现实混合的混合现实(MR)。电子装置可以包括用于提供这种虚拟现实和增强现实的平视显示器。
[0003]增强现实(AR)可以意指通过将由计算机图形处理创建的元素添加到由用户识别的现实世界来表达的技术。例如，借助增强现实技术，包含与现实中存在的对象相关的信息的虚拟对象可以被添加到现实中存在的对象并且与现实中存在的对象一起显示。
[0004]增强现实可以通过各种装置来实现。代表性地，增强现实可以通过诸如眼镜型可穿戴电子装置或头戴式显示器(HMD)的可穿戴电子装置来实现。
[0005]在上述装置中，可以在眼镜的透镜上显示图像，以便在眼镜型可穿戴电子装置中实现增强现实。可以通过将光投射到眼镜的透镜上来在透镜上显示图像。例如，可以使用具有非常小尺寸的投影仪(例如，微型投影仪或微微型投影仪)。投影仪的例子包括激光扫描显示器(LSD)、数字微镜显示器(DMD)或硅基液晶(LCoS)。此外，可以通过透明显示器在透镜上显示图像。
技术实现思路
[0006]"技术问题"
[0007]电子装置可能需要跟踪用户的注视以实现增强现实。电子装置可以向用户的眼睛或瞳孔照射光以便跟踪用户的注视，并且可以包括用于照射光的光源。为了准确的注视轨迹，光源的数量可以增加，并且随着光源的数量增加，需要将大量光源放置在有限的电子装置安装空间内，因此电子装置的尺寸会增加，其重量和/或功耗也会增加。如上，当光源的数量增加时，电子装置的体积和重量增加，导致佩戴舒适性降低和单价增加。另外，由于驱动多个光源所需的功率，可以减少运行时间。布置多个光源可能消耗空间。
[0008]“问题的解决方案”[0009]根据本文件中公开的各种实施例的电子装置可以包括：主体；由主体支撑的镜片；支撑件，可旋转地连接到主体；第一光光学输出模块，被配置为朝向设置在主体的后方处的用户的眼睛照射作为结构光的第一光；第二光光学输出模块，被配置为朝向用户的眼睛照射第二光；相机，被配置为拍摄用户的眼睛；以及处理器，可操作地连接到第一光光学输出模块、第二光光学输出模块和相机，其中，处理器可以被配置为：控制第一光光学输出模块在第一时间点输出第一光；控制第二光光学输出模块在第二时间点输出第二光；借助于相机响应于在第一时间点第一光的输出而获取第一图像；借助于相机响应于在第二时间点第
二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；计算第一坐标值，第一坐标值是基于第三图像的用户瞳孔的坐标值；基于第一坐标值检测用户的注视方向。
[0010]根据本文件中公开的各种实施例的跟踪用户对电子装置的注视并输出增强现实(AR)图像的方法可以包括：在第一时间点朝向用户的眼睛输出作为结构光的第一光；在第二时间点朝向用户的眼睛输出第二光；响应于在第一时间点第一光的输出而获取第一图像；响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；基于第三图像计算作为用户瞳孔的坐标值的第一坐标值；以及基于第一坐标值检测注视方向。
[0011]“专利技术的有利效果”[0012]根据本文件中公开的各种实施例，可以通过移除多个光源并且仅借助于一个或两个光源来简化电子装置的电路配置，并且可以通过改进设计来最小化电流消耗并期待美学效果。另外，可以仅使用一个或两个光源来实现三个或更多个光源的效果，并且可以最小化由于电子装置的佩戴位置的改变引起的注视轨迹的误差。
附图说明
[0013]结合附图的描述，相同或相似的附图标记可以用于相同或相似的部件。
[0014]图1是根据各种实施例的网络环境中的电子装置的框图。
[0015]图2是根据各种实施例的包括多个相机的电子装置的配置视图。
[0016]图3是根据各种实施例的电子装置的框图。
[0017]图4是示出根据各种实施例的电子装置检测注视方向的操作的流程图。
[0018]图5是根据各种实施例的注视跟踪模块的示例性视图。
[0019]图6A和图6B是根据各种实施例的由注视跟踪模块创建第一图像、第二图像和第三图像的示例性视图。
[0020]图7是根据各种实施例的图案化镜片的示例性视图。
[0021]图8是佩戴根据各种实施例的电子装置的示例性视图。
[0022]图9是示出根据各种实施例的电子装置跟踪注视并输出增强现实(AR)图像的操作的流程图。
具体实施方式
[0023]图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例
如，显示模块160)。
[0024]处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器1本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种电子装置，包括：主体；由主体支撑的镜片；可旋转地连接到主体的支撑件；第一光光学输出模块，被配置为朝向设置在主体的后方处的用户的眼睛照射作为结构光的第一光；第二光光学输出模块，被配置为朝向用户的眼睛照射第二光；相机，被配置为拍摄用户的眼睛；以及处理器，可操作地连接到第一光光学输出模块、第二光光学输出模块和相机，其中，处理器被配置为：控制第一光光学输出模块在第一时间点输出第一光；控制第二光光学输出模块在第二时间点输出第二光；借助于相机响应于在第一时间点第一光的输出而获取第一图像；借助于相机响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；基于第三图像计算作为用户瞳孔的坐标值的第一坐标值；以及基于第一坐标值检测用户的注视方向。2.根据权利要求1所述的电子装置，其中，处理器被配置为基于第二图像计算作为眼睛的坐标值的第二坐标值。3.根据权利要求2所述的电子装置，其中，处理器被配置为基于第二坐标值计算电子装置的佩戴位置。4.根据权利要求2所述的电子装置，其中，处理器被配置为借助于第二坐标值的变化来校正第一坐标值。5.根据权利要求3所述的电子装置，其中，处理器被配置为在计算电子装置的佩戴位置时输出第一光。6.根据权利要求1所述的电子装置，其中，处理器被配置为借助于第二图像来识别用户瞳孔。7.根据权利要求1所述的电子装置，其中，第一光光学输出模块包括：第一发光单元，被配置为发射光；图案化镜片，从第一发光单元发射的光入射在图案化镜片中，并且作为结构光的第一光通过图案化镜片；以及第一透镜组件，包括至少一个透镜。8.根据权利要求7所述的电子装置，其中，相机包括：...
【专利技术属性】
技术研发人员：宋亨镒，朴勇炫，宋德永，全真阿，崔东玉，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。