利用分布式计算设备的半监督式数据收集和机器学习的方法技术

披露了用于创建环境视图的系统和方法。示例性实施方式可以：从位于计算设备中的一个或多个麦克风、一个或多个成像设备、雷达传感器、激光雷达传感器和/或一个或多个红外成像设备中的至少两个接收参数和测量值；分析从一个或多个多模态输入设备接收的参数和测量值，该一个或多个多模态输入设备包括该一个或多个麦克风、一个或多个成像设备、雷达传感器、激光雷达传感器和/或一个或多个红外成像设备；生成该计算设备周围的环境的世界地图；并重复从该多模态输入接收参数和测量值。多模态输入接收参数和测量值。多模态输入接收参数和测量值。

【技术实现步骤摘要】
【国外来华专利技术】利用分布式计算设备的半监督式数据收集和机器学习的方法
相关申请
[0002]本申请涉及以下文献并要求其优先权：于2020年4月27日提交的名称为“Semi
‑
Supervised Data Collection and Machine Learning Leveraging Distributed Computing Devices[利用分布式计算设备的半监督式数据收集和机器学习]”的美国临时专利申请序列号63/016,003，以及于2021年4月26日提交的名称为“Method of Semi
‑
Supervised Data Collection and Machine Learning Leveraging Distributed Computing Devices[利用分布式计算设备的半监督式数据收集和机器学习的方法]”的美国临时专利申请序列号63/179,950，这些申请的披露内容通过引用并入本文。


[0003]本披露涉及用于标识可能需要额外关注的数据收集区域以用于分布式和主动收集此类数据的系统和方法，以及用于改进计算设备(比如机器人计算设备)中所述数据收集的机器学习技术。

技术介绍

[0004]机器学习性能和神经网络训练在很大程度上依赖于在生态有效的环境中收集的数据(即，尽可能接近实际使用情况而收集的数据)。然而，为了收集用于将出现在如Alexa、Google Home、具身机器人或数字伴侣等家庭设备上的机器学习模型的数据、参数和测量值，所收集的数据集仅限于已明确同意进行原始视频、音频和其他数据收集的选定用户子集。由于隐私问题这种数据收集通常是不被允许的，本质上较为昂贵，并且由于对同意这种侵入式数据收集的个人的访问是受限的，往往只会产生较小的数据集。
[0005]被动的数据收集进一步要求对大量的输入数据进行人工注释。进一步地，包括目标类实例(例如，会话中的微笑、橡皮鸭图像、其他感兴趣的项等)的数据在大规模被动收集的数据集中是稀疏的，并且因此可能不容易被发现或找到。换句话说，这就如同在干草堆里找针，并且需要大量的时间。
[0006]另外，人工数据注释非常昂贵、耗时和乏味。为了标识并改善机器学习方法的低性能，已经开发了能自动地标识神经网络难以识别的数据点的主动学习技术。然而，目前的主动学习技术只能从无监督的已经收集到数据集中选择数据，并且不具备在没有人工干预和标记的情况下主动收集已标记数据的能力。

技术实现思路

[0007]在一些实施方式中，本披露的方面涉及一种自动多模态数据收集的方法。该方法可以包括从位于计算设备中的一个或多个麦克风、一个或多个成像设备、雷达传感器、激光雷达传感器和/或一个或多个红外成像设备中的至少两个接收参数和测量值。该方法可以包括分析从一个或多个多模态输入设备接收的参数和测量值，该一个或多个多模态输入设备包括该一个或多个麦克风、一个或多个成像设备、雷达传感器、激光雷达传感器和/或一
个或多个红外成像设备。该方法可以包括生成该计算设备周围的环境的世界地图。该世界地图可以包括一个或多个用户和物体。该方法可以包括重复从该多模态输入接收参数和测量值。分析这些参数和测量值，以定期更新世界地图，以便维护环境的持久世界地图。
[0008]在参考附图考虑以下描述和所附权利要求时，这些和其他特征和本专利技术技术的特性、以及相关结构元素的操作方法和功能、以及零件的组合与制造的经济性将变得更加显而易见，所有附图形成本说明书的一部分，在附图中，相同的附图标记表示各个附图中的对应部分。然而，将明确了解的是，附图仅出于说明和描述的目的，而不旨在作为对本专利技术的限制的限定。如在本说明书和权利要求中所使用的，除非上下文中另外明确指明，否则单数形式的“一个(a)”、“一个(an)”以及“该(the)”包括复数对象。
附图说明
[0009]图1A图示了根据一种或多种实施方式的用于与儿童和/或父母互动的社交机器人或数字伴侣的系统；
[0010]图1B图示了根据一种或多种实施方式的用于与儿童和/或父母互动的社交机器人或数字伴侣的系统；
[0011]图1C图示了根据一些实施方式的具有网站和父母应用程序的机器人计算设备或数字伴侣的操作系统；
[0012]图2图示了根据一些实施方式的示例性机器人计算设备的系统架构。
[0013]图3A图示了根据一些实施方式的被配置用于执行多模态数据收集的模块；
[0014]图3B图示了根据一种或多种实施方式的被配置用于执行多模态数据收集的系统；
[0015]图4A图示了根据一种或多种实施方式的用一个或多个计算设备进行多模态数据收集的方法；
[0016]图4B图示了根据一种或多种实施方式的用于从一个或多个计算设备(例如，像机器人计算设备)执行自动数据收集以及利用机器学习改进机器人计算设备的操作的方法400；
[0017]图4C图示了根据一种或多种实施方式的用于从一个或多个计算设备(例如，像机器人计算设备)执行自动数据收集以及利用机器学习改进机器人计算设备的操作的方法400；
[0018]图4D图示了根据一种或多种实施方式的用于从一个或多个计算设备(例如，像机器人计算设备)执行自动数据收集以及利用机器学习改进机器人计算设备的操作的方法400；
[0019]图5A图示了根据一些实施例的利用半监督式数据收集的机器人计算设备；以及
[0020]图5B图示了根据一些实施例的全都在参与会话交互和/或收集测量值、数据和/或参数的多个机器人设备和相关用户。
具体实施方式
[0021]以下详细描述根据本文披露的实施例提供了对在本披露中描述的专利技术的特征和优点的更好了解。尽管详细描述包括许多具体实施例，但这些仅作为示例提供并且不应被解释为限制本文所披露的专利技术的范围。
[0022]本文所披露和要求保护的主题包括一种用于多模态现场半监督式数据收集的新颖系统和过程，其实现预先标记和/或预先标识的数据收集。在一些实施方式中，数据收集可以是私人的生态有效数据，并可以利用机器学习技术来标识所建议的数据收集区域。在一些实施方式中，交互式计算设备可以自动地以及响应于人类的提示来收集必要的数据。在一些实施方式中，本文披露和要求保护的主题以各种方式不同于目前的主动学习算法和/或数据收集方法。
[0023]在一些实施方式中，该多模态数据收集系统利用各种输入设备的多模态输入。在一些实施方式中，输入设备可以包括一个或多个麦克风阵列、一个或多个成像设备或相机、一个或多个雷达传感器、一个或多个激光雷达传感器，以及一个或多个红外相机或成像设备。在一些实施方式中，一个或多个输入设备可以收集环境中的数据、参数和/或测量值，并能够标识人和/或物体。在一些实施方式中，计算设备然后可以生成计算设备周围环境或空间的世界地图或环境地图。在一些实施方式中，该计算设备的一个或多个输入设备可以连续或定期监视计算设备周围的区域，以便维护持久且不断发展的世界地图或环境地图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，该系统被配置为从多模态输入设备自动捕获数据，该系统包括：一个或多个硬件处理器，该一个或多个硬件处理器通过机器可读指令被配置为：从多个机器人计算设备的一个或多个多模态输入设备接收视频、音频和传感器参数、数据和/或测量值；将从该多个机器人计算设备的该一个或多个多模态输入设备接收的所接收视频、音频和传感器参数、数据和/或测量值存储在一个或多个云计算设备的一个或多个存储器设备中；分析从该一个或多个多模态输入设备接收的所捕获的视频、音频和传感器参数、数据和/或测量值，以确定对概念、时间序列、物体、面部表情和/或口语的识别质量；以及标识识别质量较低的概念、时间序列、物体、面部表情和/或口语。2.如权利要求1所述的系统，其中，所接收的视频、音频和传感器参数、数据和/或测量值是从被确定与该机器人计算设备互动的一个或多个用户捕获的。3.如权利要求1所述的系统，其中，所接收的视频、音频和传感器参数、数据和/或测量值是从被确定未与该机器人计算设备互动的一个或多个用户捕获的。4.如权利要求1所述的系统，该一个或多个硬件处理器通过机器可读指令被配置为：至少部分基于参数或测量值收集的需要、识别性能和/或类型来为所标识的识别质量较低的概念、时间序列、物体、面部表情和/或口语中的每一个生成用于自动收集新的视频、音频和传感器参数、数据和/或测量值的优先级值。5.如权利要求1所述的系统，该一个或多个硬件处理器通过机器可读指令被配置为：为该多个机器人计算设备生成利用该多个机器人计算设备的该一个或多个多模态输入设备自动收集所标识的识别质量较低的概念、时间序列、物体、面部表情和/或口语的时间表。6.如权利要求5所述的系统，其中，所生成的时间表至少部分地基于为所标识的识别质量较低的概念、时间序列、物体、面部表情和/或口语生成的优先级值。7.如权利要求5所述的系统，其中，该时间表被生成为使得该自动收集发生在该自动收集能够捕获更好的质量参数和/或测量值的时刻期间。8.如权利要求5所述的系统，其中，该一个或多个硬件处理器通过机器可读指令进一步被配置为：将所生成的自动收集时间表传送到该多个机器人计算设备，所生成的自动收集时间表包括用于该多个机器人计算设备请求用户执行一个或多个动作以生成要由该多个机器人计算设备的该一个或多个多模态输入设备捕获的一个或多个数据点的指令和/或命令。9.如权利要求8所述的系统，其中，该一个或多个动作可以是取得物体；做出面部表情；说出词语、短语或发出声音；或者创作绘图。10.如权利要求8所述的系统，其中，该一个或多个硬件处理器通过机器可读指令进一步被配置为：在该一个或多个云计算设备处从该多个机器人计算设备接收提取的特性和/或经处理的参数、测量值和/或数据点。11.如权利要求10所述的系统，其中，该一个或多个硬件处理器通过机器可读指令进一步被配置为：
对所接收的参数、测量值和/或数据点以及相关的所提取特性执行附加处理。12.如权利要求11所述的系统，其中，该一个或多个硬件处理器通过机器可读指令进一步被配置为：从所接收的参数、测量值和/或数据点中滤除所提取特性中的异常特性以及异常的参数、测量值和/或数据点，以生成过滤后的参数、测量值和/或数据点以及相关的过滤后的特性。13.如权利要求12所述的系统，其中，该一个或多个硬件处理器通过机器可读指令进一步被配置为：利用该相关的过滤后的特性和/或过滤后的参数、测量值和/或数据点来训练机器学习模型，以生成更新的机器人计算设备机器学习模型。14.如权利要求13所述的系统，其中，该一个或多个硬件处理器通过机器可读指令进一步被配置为：从该一个或多个云计算设备将该更新的机器人计算设备机器学习模型传送到该多个机器人计算设备。15.如权利要求1所述...

【专利技术属性】
技术研发人员：斯蒂芬，
申请(专利权)人：具象有限公司，
类型：发明
国别省市：