在构建、改造和制造中的增强现实任务识别和协助制造技术

本公开涉及在构建、改造和制造中的增强现实任务识别和协助。公开了在构造和制造中的增强现实任务识别和协助的各种实施例。根据各种实施例，增强现实系统包括远程计算环境和增强现实设备，其中采用远程计算环境来识别操作者要执行以完成项目的任务。任务可以被顺序地显示在增强现实会话中，并且环境可以被增强以有助于执行任务。

Augmented Reality Task Recognition and Assistance in Construction, Reconstruction and Manufacturing

The present disclosure relates to augmented reality task identification and assistance in construction, transformation and manufacturing. Various embodiments of augmented reality task recognition and assistance in construction and manufacturing are disclosed. According to various embodiments, an augmented reality system includes a remote computing environment and an augmented reality device, in which a remote computing environment is used to identify the tasks to be performed by the operator to complete the project. Tasks can be sequentially displayed in augmented reality sessions, and environments can be enhanced to facilitate task execution.

【技术实现步骤摘要】
在构建、改造和制造中的增强现实任务识别和协助相关申请的交叉引用本申请要求2017年5月16日提交的名称为“AUGMENTEDREALITYTASKIDENTIFICATIONANDASSISTANCEINCONSTRUCTION，REMODELING，ANDMANUFACTURING(在构建、改造和制造中的增强现实任务识别和协助)”的第62/506,809号美国临时专利申请、以及2017年9月11日提交的名称为“AUGMENTEDREALITYTASKIDENTIFICATIONANDASSISTANCEINPICTUREFRAMINGANDHANGING(在图片加框和悬挂中的增强现实任务识别和协助)”的第62/556,611号美国临时专利申请的优先权，两者的内容通过引用整体并入本文。
本专利技术涉及增强现实(AR)、远程数据处理、程序化图像识别和对象检测。
技术介绍
增强现实(AR)涉及使用诸如智能手机或增强现实眼镜之类的设备来修改或增强环境的真实世界视图的过程。例如，可以改变环境的视频馈送，以在视频馈送中所示的环境的各个部分中施加计算机生成的图像，从而“增强”环境。增强现实设备可以包括智能手机、平板电脑或可穿戴设备，诸如具有显示器、相机和处理电路的眼镜，其中显示器位于佩戴用户的眼睛的前方或附近。处理电路调整由相机拍摄的图像或视频馈送，并将计算机生成的图像或音频施加在由相机拍摄的环境中。类似地，混合现实(MR)包括实际和虚拟世界的合并以产生新的环境和可视化，其中实体和数字对象共存并实时交互。混合现实不仅发生在物理世界或虚拟世界中，还包括现实和虚拟现实的混合，通过沉浸式技术包含增强现实和增强虚拟性。
技术实现思路
公开了用于构建和制造中增强现实任务识别和协助的各种实施例。根据各种实施例，增强现实系统包括远程计算环境和增强现实设备，其中采用远程计算环境来识别操作者要执行以完成项目的任务。任务可以被顺序地显示在增强现实会话中，并且环境可以被增强以有助于执行任务。另外公开了用于在图片加框和悬挂中的增强现实任务识别和协助的各种实施例。根据各种实施例，增强现实系统包括远程计算环境和增强现实设备，其中远程计算环境被用来识别操作者要执行以完成一个或多个图片框或其他物品被悬挂在墙上的项目的任务。该项目可以包括确定每个图片框相对于悬挂在墙上的另一个物品是水平对齐的(level)、居中的还是适当间隔的。附图说明参照以下附图可以更好地理解本公开的许多方面。附图中的组件不一定按比例绘制，而是着重于清楚地示出本公开的原理。而且，在附图中，所有几个视图中，相同的附图标记表示相应的部分。图1是根据本公开的各种实施例的包括形成增强现实系统的计算环境和增强现实设备的联网环境的图。图2是根据本公开的各种实施例的在智能手机中执行以获得期望的项目参数的增强现实会话的图。图3是根据本公开的各种实施例的施加或叠加已完成项目的图形表示的增强现实会话的图。图4是根据本公开的各种实施例的施加或叠加待完成任务的图形表示的增强现实会话的图。图5是根据本公开的各种实施例的在要切割或修改的物品上施加或叠加虚拟线的增强现实会话的图。图6是根据本公开的各种实施例的在环境中施加或叠加指导线和物品位置的增强现实会话的图。图7是根据本公开的各种实施例的检测所需材料的存在以完成任务或项目的增强现实会话的图。图8是根据本公开的各种实施例的检测手势以改变被示为增强特征的灯具或其他物品的增强现实会话的图。图9是根据本公开的各种实施例示出作为图1的增强现实系统的各部分实现的功能的一个示例的流程图。图10A-图10C是根据本公开的各种实施例的识别要安装的贴砖的形状的增强现实会话的图。图11是根据本公开的各种实施例，提供图1的联网环境中采用的计算环境的一个示例图示的示意性框图。图12是根据本公开的各种实施例，提供图1的联网环境中采用的增强现实设备的一个示例图示的示意性框图。图13A-图13C是根据本公开的各种实施例的识别待匹配的修剪的轮廓的增强现实会话的图。图14A-图14G是协助操作者定位与一个或多个图片框相关联地放置、水平对齐、居中、间隔和执行类似任务的增强现实会话的图。图15A-图15B是使用在增强环境中施加的增强特征将图片框中示出的作品替换为其他作品的增强现实会话的图。图16是使用增强环境来增强自然环境中的景观特征以执行景观项目的增强现实会话的图。具体实施方式本公开涉及用于悬挂作品、照片、墙贴纸、壁纸、图片框和相关物品的增强现实(AR)或混合现实(MR)任务识别和协助。增强现实系统包括那些使用适当配置的计算设备来编程修改或“增强”环境的真实世界视图的系统。例如，在增强现实设备(诸如智能手机或增强现实眼镜)的显示器中显示由相机拍摄的视频馈送。声音或图形可以被添加到环境中，或者增强现实设备的显示器上显示的环境的外观可以被修改以改变用户对环境的感知。随着增强现实的出现，在构建(construction)、制造、改造(remodeling)和相关工业领域中可能有许多潜在的改进。例如，增强现实系统可以协助那些技能或专业知识有限的人执行困难或一次不可能完成的任务。因此，本文描述的增强现实系统有利于减少所需的技能或专业知识、最小化劳动时间、优化材料的使用、以及在构建、制造和相关行业中的其他益处，如将认识到的。此外，本文描述的实施例提供项目数据的基于远程网络的存储。虽然可以以一定价格购买、出租或租用增强现实设备，但新项目可能会不断添加到基于远程网络的存储中的项目数据中。可以理解的是，尽管购买了增强现实设备，但是随着项目库的不断发展以及远程分析环境以及识别和测量物品的方法在远程计算环境中得到改进，增强现实设备的功能将得到改进。根据本公开的各种实施例，描述了协助操作者(例如，增强现实眼镜的佩戴者或观看者)进行各种构造、制造或修改项目或任务的增强现实系统。另外，增强现实系统被描述为协助具有各种家居改进任务(诸如悬挂作品、图片框、壁纸、墙贴花或类似物品)的操作者(例如，增强现实眼镜的佩戴者或观看者)。最初，增强现实系统可以协助可视化完成的项目如何在环境中出现。例如，增强现实系统可以在增强现实设备的显示器中虚拟地施加墙壁、固定装置、器具、家具物品或其他物品，使得物品自然地出现在设定中并且允许操作者可视化所完成的项目。为此，当操作者正在用他或她的增强现实设备执行增强现实会话时，可以执行对环境的二维或三维修改。增强现实系统可以生成设定或环境的各种测量结果，以协助执行任务或协助将二维或三维修改施加到环境中。例如，增强现实系统可以使用出现在视频馈送或其他已知的增强现实测量过程(诸如三角形网格检测，如下所述)中的具有已知尺寸的检测对象动态地测量环境中的组件，从而协助可视化和完成任务，如将要描述的。在开始项目之前，操作者可以定制项目的各个方面，诸如调整要构建的墙的尺寸或形状。或者，操作者可以遍历(iteratethrough)环境中显示的不同项目，诸如浏览不同品牌或类型的冰箱、灯具或其他固定装置或器具。此后，一旦由操作者指定了要构建、制造、修改或其他项目的物品，则增强现实系统可以生成一系列任务供操作者执行以完成项目。例如，在操作者指定要构建的墙的位置、尺寸和形状之后，增强现实系统可以识别操作者要执行的任务本文档来自技高网...

【技术保护点】
1.一种系统，包括：包括相机、显示器、网络接口和至少一个硬件处理器的增强现实设备；由所述至少一个硬件处理器可执行的程序指令，所述程序指令在被执行时使得所述至少一个硬件处理器：为使用所述相机拍摄视频数据并且提供给计算环境进行分析所在的环境生成增强现实会话；在所述增强现实会话期间通过手势或语音识别接收要在所述环境中执行的项目的指定以及所述项目的至少一个参数；使用在所述增强现实会话中识别的至少一个参考对象在所述环境中执行至少一个测量；通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强，所述可视化是使用所述至少一个参数和所述至少一个测量来生成的；使用所述网络接口查询数据存储以识别在完成所述项目中要执行的多个任务；并且在所述增强现实设备的所述显示器中顺序地显示用于所述多个任务中的每个任务的数据，其中所述多个任务中的一个任务的完成提示转换到所述多个任务中的后续一个任务。

【技术特征摘要】
2017.05.16 US 62/506,809;2017.09.11 US 62/556,6111.一种系统，包括：包括相机、显示器、网络接口和至少一个硬件处理器的增强现实设备；由所述至少一个硬件处理器可执行的程序指令，所述程序指令在被执行时使得所述至少一个硬件处理器：为使用所述相机拍摄视频数据并且提供给计算环境进行分析所在的环境生成增强现实会话；在所述增强现实会话期间通过手势或语音识别接收要在所述环境中执行的项目的指定以及所述项目的至少一个参数；使用在所述增强现实会话中识别的至少一个参考对象在所述环境中执行至少一个测量；通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强，所述可视化是使用所述至少一个参数和所述至少一个测量来生成的；使用所述网络接口查询数据存储以识别在完成所述项目中要执行的多个任务；并且在所述增强现实设备的所述显示器中顺序地显示用于所述多个任务中的每个任务的数据，其中所述多个任务中的一个任务的完成提示转换到所述多个任务中的后续一个任务。2.根据权利要求1所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备确定所指定的项目是具有存储在所述数据存储中的数据的多个可用项目中的一个。3.根据权利要求1或2所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备通过以下操作来对所述增强现实会话中的环境进行增强：叠加所述项目的已完成任务的可视化；在环境中叠加方形或标尺的全息图；或者叠加指示对象在所述环境中是水平对齐的或方形的图形或文本。4.根据权利要求1、2或3所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备：以编程方式识别要在环境中切割的至少一个物品；以及在所述至少一个物品上叠加虚拟切割线。5.根据权利要求1、2、3或4所述的系统，其中通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强还包括：使用所述项目的至少一个代表性图像来生成所述可视化；修改所述至少一个代表性图像，使得所述项目的可视化符合所述环境；以及生成在所述增强现实会话期间虚拟地将所述至少一个代表性图像施加在所述环境中的增强现实数据。6.根据权利要求1、2、3、4或5所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备以编程方式检查修改后的物品以确定所述多个任务中的一个任务已经令人满意地执行。7.根据权利要求1、2、3、4、5或6所述的系统，其中，响应于所述多个任务中的一个任务未被满意地执行，确定用于所述增强现实设备的操作者执行以完成所述多个任务中的所述一个任务的补救动作。8.根据权利要求1、2、3、4、5、6或7所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备执行以下操作：在所述环境的区域中施加物品的可视化；识别正在执行的语音命令或手势；以及响应于所识别的语音命令或手势，使得所述物品转换到所述环境的区域中的另一物品。9.根据权利要求1、2、3、4、5、6、7或8所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备执行以下操作：使用所述至少一个参数和所述至少一个测量生成所述项目的材料清单；在所述显示器上显示所述项目的所述材料清单；以及验证已为所述项目收集了所述材料清单。10.根据权利要求1、2、3、4、5、6、7、8或9所述的系统，其中验证已为所述项目收集了所述材料清单还包括：在所述增强现实会话期间检测所述材料清单中多...

【专利技术属性】
技术研发人员：迈克尔·J·舒斯特，
申请(专利权)人：迈克尔·J·舒斯特，
类型：发明
国别省市：美国,US