多角度对象识别制造技术

描述了用于控制智能设备的方法、系统和装置。在一个方面，一种方法包括：通过用户设备上的相机捕获多个连续图像以在用户设备上执行的应用的应用环境中显示，对图像执行对象识别过程，该对象识别过程包括确定需要各自描绘特定对象的多个图像来对特定对象执行对象识别；以及响应于该确定，生成指示要执行的相机操作的用户界面元素，该相机操作捕获两个或更多个图像；确定用户响应于用户界面元素已使所指示的相机操作被执行以捕获两个或更多个图像，并且作为响应，确定是否从多个图像中肯定地识别出特定对象。

【技术实现步骤摘要】
【国外来华专利技术】多角度对象识别
技术介绍
许多移动设备，诸如智能电话，都配备有用于捕获图片和数字图像的相机。移动设备提供对各种各样信息的访问。可以在web浏览器或在移动设备上运行的原生应用中查看此信息。用户还可以使用图像来获得与对象或位置有关的附加信息。例如，可通过互联网访问数字图像文件、视频和/或音频文件以及特定主题的资源。对象识别软件用于检测和识别图像或视频序列中的对象。用于图像或视频序列的对象识别的过程通常采用各种不同的步骤来分析图像以肯定地识别出图像内的对象。一旦用户选择了要在其中寻找感兴趣的对象的图像，在移动设备的后台和/或服务器上运行的对象识别软件将在识别图像内的对象的过程期间在没有用户反馈的情况下进行操作。通常，在对象识别软件期间缺少用户反馈导致不完善的对象识别，包括不正确的识别、没有肯定识别或在图像或视频序列内识别出不期望的对象。但是，没有在移动设备上的候选图像内显示的对象识别的过程的直接视觉指示符(indicator)，则用户可能对对象识别过程的了解很少，并且不能给出重要的反馈来辅助对象识别过程。
技术实现思路
本说明书描述了与使用用户本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n通过用户设备上的相机捕获多个连续图像，以在所述用户设备上执行的应用的应用环境中显示；/n对图像执行对象识别过程，所述对象识别过程包括：/n确定需要各自描绘特定对象的多个图像来对所述特定对象执行对象识别；以及/n响应于所述确定，在所述应用环境内生成指示要执行的相机操作的用户界面元素，所述相机操作捕获两个或更多个图像；/n确定用户响应于所述用户界面元素已使所指示的相机操作被执行以捕获两个或更多个图像，并且作为响应，确定是否从多个图像中肯定地识别出特定对象；以及/n响应于确定肯定地识别出所述特定对象，消除指示要执行的相机操作的所述用户界面元素，并生成指示所述特定对...

【技术特征摘要】
【国外来华专利技术】20180808 US 16/058,5751.一种计算机实现的方法，包括：
通过用户设备上的相机捕获多个连续图像，以在所述用户设备上执行的应用的应用环境中显示；
对图像执行对象识别过程，所述对象识别过程包括：
确定需要各自描绘特定对象的多个图像来对所述特定对象执行对象识别；以及
响应于所述确定，在所述应用环境内生成指示要执行的相机操作的用户界面元素，所述相机操作捕获两个或更多个图像；
确定用户响应于所述用户界面元素已使所指示的相机操作被执行以捕获两个或更多个图像，并且作为响应，确定是否从多个图像中肯定地识别出特定对象；以及
响应于确定肯定地识别出所述特定对象，消除指示要执行的相机操作的所述用户界面元素，并生成指示所述特定对象的肯定识别的用户界面元素；以及
响应于确定没有肯定地识别出所述特定对象，维持指示要执行的相机操作的所述用户界面元素。


2.根据权利要求1所述的计算机实现的方法，其中，所述用户界面元素包括第一界面元素，所述第一界面元素指示从相对于所述相机到所述特定对象的当前角位置的多个角位置捕获所述特定对象的图像。


3.根据权利要求2所述的计算机实现的方法，其中，所述用户界面元素包括第二用户界面元素，所述第二用户界面元素不同于所述第一用户界面元素并且指示从相对于所述相机到所述特定对象的当前角位置的特定角位置捕获所述特定对象的图像。


4.根据权利要求1所述的计算机实现的方法，其中，所述用户界面元素指示以不同于所述相机的当前缩放级别的缩放级别来捕获所述特定对象的图像。


5.根据权利要求1所述的计算机实现的方法，其中，确定是否从所述多个图像中肯定地识别出特定对象包括：
通过在所述用户设备上执行的所述应用将所收集的多个图像发送到对象识别服务器；以及
在所述用户设备处从对象识别服务器接收是否肯定地识别出所述特定对象的指示。


6.根据权利要求5所述的计算机实现的方法，其中，将所收集的多个图像发送到所述对象识别服务器包括：
基于带宽标准，确定从特定角度描绘所述特定对象的所述多个图像中的许多个图像；以及
将该许多个图像发送到所述对象识别服务器。


7.一种计算机实现的方法，包括：
通过图像处理组件接收从相机设备获得的描绘对象的图像；以及
确定没有从所述图像中肯定地识别出特定对象，并且作为响应：
提供使在用户设备上执行的应用的、通过所述用户设备上的所述相机捕获的连续图像被显示在其中的应用环境显示指示要执行的相机操作的用户界面元素的数据；
响应于所述相机操作被执行，接收通过所执行的相机操作捕获的多个图像；
确定是否从所述多个图像中肯定地识别出特定对象；以及
响应于确定肯定地识别出所述特定对象，提供使指示要执行的相机操作的用户界面元素被消除并使指示所述特定对象的肯定识别的用户界面元素被显示在所述应用环境中的数据；以及
响应于确定没有肯定地识别出所述特定对象，提供使指示要执行的相机操作的用户界面元素被维持在所述应用环境内的数据。


8.根据权利要求7所述的计算机实现的方法，其中，确定是否从所述多个图像中肯定地识别出所述特定对象包括：
迭代地更新加权平均直到超过加权平均阈值，每次迭代包括：
对每个图像执行对象识别以确定所述特定对象是否被识别为一个或多个识别出的对象，其中：
对于被识别为特定图像的一个识别出的对象的每个特定对象，为该特定图像的该一个识别出的对象分配权重；
对于被识别为特定图像的两个或更多个识别出的对象的每个特定对象，将分布相等权重分配给该特定图像的该两个或更多个识别出的对象中的每个对象；以及
确定加权平均是否超过加权平均阈值。


9.根据权利要求7所述的计算机实现的方法，其中，确定是否从所述多个图像中肯定地识别出所述特定对象包括：
从所述多个图像创建合成图像；以及
对所述合成图像执行对象识别。


10.根据权利要求7所述的计算机实现的方法，其中，确定是否从所述多个图像中肯定地识别出所述特定对象包括：
从所述多个图像创建全景图像；以及
对所述全景图像执行对象识别。


11.根据权利要求7所述的计算机实现的方法，其中，提供使在所述用户设备上执行的应用的、通过所述用户设备上的相机捕获的连续图像被显示在其中的应用环境显示指示要执行的相机操作的所述用户界面元素的数据，包括：
确定要执行的多个相机操作中的一个，其中，每个相机操作具有对应的用户界面元素，所述对应的用户界面元素指示所述相机操作并且与用于每个其他相机操作的每个用户界面元素不同；以及
向所述用户设备提供使用于所述多个相机操作中的所确定的一个的用户界面元素被显示的数据。


12.一种计算机实现的方法，包括：
提供通过用户设备上的相机捕获的图像；
以第一频率并且从所述用户设备将所述图像发送到对象识别服务器；
在所述用户设备处并且从所述对象识别服务器接收没有从发送到所述服务器的图像中肯定地识别出图像内的特定对象的指示；
响应于接收没有肯定地识别出所述特定对象的指示，以高于所述第一频率的第二频率将图像发送到所述对象识别服务器；
在所述用户设备处从所述对象识别服务器接收肯定地识别出所述特定对象的指示；以及
响应于接收肯定地识别出所述特定对象的指示，停止以所述第二频率将图像从所述用户设备发送到所述对象识别服务器。


13.根据权利要求12所述的计算机实现的方法，还包括：
响应于接收没有肯定地识别出所述特定对象的指示，生成指示在对象识别过程期间要由所述用户引起的相机操作的用户界面元素，其中，所述相机操作涉及捕获两个或更多个图像，以及
其中，以所述第二频率向所述对象识别服务器发送图像的步骤以所述相机操作的执行为条件。


14.根据权利要求13所述的计算机实现的方法，还包括：响应于接收肯定地识别出所述特定对象的指示，消除指示要执行的相机操...

【专利技术属性】
技术研发人员：I巴德尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US