支持视觉受损的个体的扩增的现实全景制造技术

提出了一种向远程用户提供实时对象识别的方法和系统。该系统包括包含相机的便携式通信设备、远离该便携式通信设备并可由该便携式通信设备经由网络访问的至少一个客户端-服务器主机、以及可由所述客户端-服务器主机设备访问的识别数据库。驻留在所述客户端-服务器主机设备上的识别应用能够利用该识别数据库来向便携式通信设备的远程用户提供使用便携的通信设备捕获的视觉图像的实时对象识别。在一个实施例中，能看见的助理与便携的通信设备的视觉受损的用户分享扩增的现实全景，其中该全景由来自该设备的传感器数据构造。

【技术实现步骤摘要】
【国外来华专利技术】受损人士提供指示接近一个或多个对象的触觉或听觉反馈，或可以控制选择一个或多个适用的对象识别算法或例程以获取额外的数据。在一些实施例中，扩增的现实全景包括多形态的全景数据，其中扩增的现实中的对象包括多个类型的感测数据，可能包括视觉数据、触觉数据、动觉数据、可听到的数据或其它类型的传感器数据。可以用包括不可视数据的元数据对对象加标签。示例的不可视数据包括触觉元数据标签、听觉元数据标签或可由助理影响(leverage)以帮助视觉受损的用户的其它类型的标签。多形态的元数据标签或不可视的标签可以以设备命令的形式发回远程视觉受损人士的设备。因此，视觉受损人士可以基于不可视的反馈导航通过他们自身的个人化环境。本专利技术主题的各个对象、特征、方面和优点将从以下对优选实施例的详细描述并连同附图而变得显而易见，在附图中类似的数字代表类似的部件。附图说明 图I示出根据本专利技术的一个实施例的用于提供实时的对象识别和增强的视力的系统；图2示出根据本专利技术的另一个实施例的用于提供实时的对象识别和增强的视力的系统；图3示出根据本专利技术的一个实施例的在其上捕获了由图I中的识别应用124产生的示例显示的可视框(visual frame)；图4示出根据本专利技术的一个实施例的用于提供实时的对象识别和增强的视力的系统的功能概览；以及图5是根据本专利技术的一个实施例的表示用于提供实时的对象识别和增强的视力的方法的流程图。图6示出能够向视觉受损人士提供增强的视力的另一个系统。图7示出配置为展现远程环境的扩增的现实全景的可能的能看见的助理界面。具体实施例方式应当注意，尽管以下的描述被引到基于计算机/服务器的扩增的现实引擎(engine)，但认为各种可选的配置也是适合的，且可以采用包括服务器、接口、系统、数据库、引擎、适配器、控制器或其它类型的计算设备的单独或集体操作的各种计算设备。应该理解，计算设备包括配置为执行存储在有形的、非临时性计算机可读存储介质(例如，硬盘驱动器、固态驱动器、RAM、闪存、ROM等)上的软件指令的处理器。软件指令优选地配置计算设备来提供如下面关于公开的装置所讨论的作用、职责或其它功能。在特别优选的实施例中，各种服务器、系统、数据库或接口使用标准化的协议或算法——可能基于HTTP、HTTPS、AES、公共-私有密钥交换、万维网服务API、已知的金融业务协议或其它的电子信息交换方法，来交换数据。优选地，在分组交换网络、因特网、LAN、WAN、VPN或其它类型的分组交换网络上进行数据交换。应该理解，公开的技术提供了很多有益的技术效果，包括配置远程感测设备以辅助视觉受损人士。例如，远程能看见的助理可以使用扩增的现实引擎以向远程的视觉受损人士的智能电话发出设备命令。该命令可以指示电话对于视觉受损人士提供指导。如这里所使用的，除非上下文另外地指出，术语“耦接到”旨在包括直接耦接(其中相互耦接的两个元件相互接触)和间接耦接(其中至少一个额外的元件位于两个元件之间)两者。因此，术语“耦接到”和“与…耦接”作为同义使用。本申请针对提供实时的对象识别和视力增强的系统和方法。以下描述包括有关本专利技术的实现的具体信息。本领域的技术人员会认识到可以以不同于本申请中具体讨论的方式实现本专利技术。此外，没有讨论本专利技术的一些具体的细节以避免混淆本专利技术。本申请中没有描述的具体细节在本领域普通技术人员的知识中。本申请中的附图及其附随的详细描述只针对本专利技术的示例性实施例。为了保持简明，使用本专利技术的原理的本专利技术的其它实施例没有在本申请中具体描述并且也没有通过本附图具体图示。应当记住，除非另外说明，图中类似或对应的元件可以由类似或对应的参考数字指示。本专利技术人已经意识到提供计算机居间的对象识别的传统方法通常导致不理想的用户体验。此外，本专利技术人已经认识到技术中对实现作为视觉受损人士增强视力的方法的 一部分的细致入微且复杂的对象识别解决方案的急切的需要。本申请公开了旨在提供灵活、强大且用户易应答的解决方案的系统和方法，所述解决方案配置为精确且方便地提供对象、面部、上下文(context)以及环境识别作为扩增视力的完整的方案的一部分。例如在一个实施例中，根据本专利技术概念的系统和方法可以使能(enable)捕获包括脸部特征的视觉图像并提供具有那些特征的人士的实时识别。此外，在一个实施例中，根据本专利技术概念的系统和方法可以使能捕获包括环境特征的视觉图像并提供位置的实时识别，以及有可能根据该位置向远程用户提供导航信息。由本申请公开的许多益处之一是用于通过可访问的接口向移动用户提供实时的能看见的辅助、信息以及通信的设备、系统和方法。例如在一个实施例中，可以使用连接到用户个人计算机(PC)的相机使能的便携式通信设备和/或其它集中或分布式计算和通信服务提供扩增的现实和增强的视力服务。例如，这里具体化的系统允许视觉受损的用户使用相机使能的便携式通信设备(诸如移动电话或个人数字助理(PDA))以例如与能看见的助理或者自动的计算机视觉引擎实时地通信，该能看见的助理或者自动的计算机视觉引擎允许它们实时检测、认出并跟踪对于低分辨率视频分析而言过远的对象、地标、特别的标签(tag)、文本、标牌(signage)或条形码。本系统的实施例以非常高的速度提供高分辨率图像识别，所述速度例如大约5至10巾贞每秒(fps)或更高。根据本专利技术的一个实施例,通过开发(tap)用户的PC的处理能力使能这样的性能。在一些实施例中，对象或环境识别处理的结果可以使用文本到语音或预录音的标签大声发音(enunciated)。也就是说，可以通过实时提供对象的发音的语音识别来识别出对象。可以使用利用本专利技术的实施例分布或访问的识别数据库进行处理和识别。那些数据库例如可以包括对大多数用户共同的缺省条目。在一些实施例中，识别数据库可以是开放的，从而使得可以在用户的PC本地的存储资源、或在中央共享的社区数据库中存储并且访问对于用户个人而言重要的额外的信息层。除了发音的语音识别之外，诸如超链接、图像、二维(2D)和三维(3D)图形等的图形元素可以以低延迟和高帧速率实时地附连和配准(register)到视频流中的特征。此外，使用图形以及触觉和语音使能的触摸屏界面实现的可访问界面，当与语音识别和手势识别结合时，使能宽范围的受到挑战的用户的使用，所述用户诸如视觉受损、年老和其他具有交流和认知障碍的人士。专门的标签可以在系统中预先训练，允许用户简单地将标签贴到没有被该系统另外地识别出的各个对象和地标。这种贴标签的方法可以使用可通过实时的视频分析而识别的特征，诸如识别为对于各种对象识别算法最优的图像，所述对象识别算法例如尺度不变特征变换算法(SIFT)、加速鲁棒特征算法(SURF)或其它较简单的基于颜色或形状的技术。当用户将便携式通信设备相机指向一个或多个场景中的一个或多个对象时，可以由系统实时自动地分析对象以识别一个或多个对象。该系统还可配置为图形地或通过音频或触觉界面在便携式通信设备的显示器中提供有关识别的对象的链接信息或动作选项。基于对例如对象、文本、电话号码、电子邮件、SMS联系人或街道标牌的识别而生成的链接以及展现为用户先前的输入的那些可以产生更多的用户选项，用于访问额外的信息层或用于初始化通信或基于位置的服务。本专利技术的实施例实现混合式点对点(本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：O迪亚拉梅，D米勒，C布兰查德，TC多塞，JM苏多尔，
申请(专利权)人：爱普莱克斯控股公司，
类型：
国别省市：