用于训练异构感测系统的方法和异构感测系统技术方案

本发明专利技术提供训练异构感测系统的方法，包括：从第一传感器接收环境的数据，由第一处理单元识别来自第一传感器的数据中的对象；从第二传感器接收与第一传感器相对应的环境数据，由第二处理单元识别来自第二传感器的数据中的对象，用系统处理单元比较来自第一处理单元的已识别对象与来自第二处理单元的对应的对象，若从第一传感器的数据中识别出对象但未从第二传感器的数据中识别出该对象，或者若从第二传感器的数据中识别出对象但未从第一传感器的数据中识别出该对象，则确定为不一致情形，对存在不一致情形的数据进行标记，将所标记的数据存储在训练缓冲器中；用存储在训练缓冲器中的数据训练第一处理单元和/或第二处理单元。

【技术实现步骤摘要】
用于训练异构感测系统的方法和异构感测系统
本专利技术总体上涉及感测系统领域，并且更特别地涉及用于机器人装置的感测系统，尤其是自主式机器人装置。本申请基于申请号为US15/297,146、申请日为2016年10月19日的美国专利申请提出，并要求该美国专利申请的优先权，该美国专利申请的全部内容在此引入本申请作为参考。
技术介绍
自主式机器人装置的种类包括用于运输乘员和货物的各种大小的自主式车辆、无人驾驶飞机和船舶、无人机、家庭机器人、送货机器人、用于室内和室外清洁、维修、建造和制造的装置等。采用这种装置的感测系统包括获取反映周围环境属性数据的传感器和分析传感器的测量值并基于测量值作出决策的处理单元。分析和做决策对于程序员和硬件制造商来说是长期存在的挑战。计算机和传感器电子、机器人和算法这些领域的指数级发展已经产生了对于自主式机器人导航领域中一些长期存在的问题的成功解决方案。已知的解决方案采用单一立体视觉传感器、主动和被动雷达(RADAR，无线电波探测与测距)、激光雷达(LIDAR，激光探测与测距)、声纳(SONAR，声音导航与测距)、触摸传感器和其他传感器。然而，自主式机器人装置工业仍处于初期，创造真正有用、可靠的并且高效的自主式机器人装置需要很大的改进。
技术实现思路
本公开的示例性实施例着手于现代感测系统的两大重要挑战：几个不同的传感器子系统在异构传感器系统中的协同整合，以及在产品中部署之后以及操作期间对传感器系统的连续在线训练。在传统意义上，自主式机器人装置设计意味着选择被认为是最适用于所选择的自主式装置的特定的感测系统，其应用领域受到可用技术和系统成本的限制。在多数情形下选择单个感测系统会牺牲自主式装置的一些属性和/或它在特定状况下进行操作的能力。例如，在对用于自主式车辆的视觉感测系统或雷达感测系统的选择进行折衷时，视觉系统无法探测和识别某些对象，无法在大雨或雾中使用，并且在距离估算上会出错，而雷达系统会在某些其他对象上出错，会更耗能，具有较低分辨率，距离范围和刷新速度有限，并且会察觉不到例如颜色这种用于识别交通信号灯和交通标志的重要的视觉线索。在本公开中将两个以上不同类型的传感器组合而成的感测系统称为异构感测系统，并且将其中的具体传感器及其对应的用于处理具体传感器输出的硬件和算法称为感测子系统。单纯地组合不同的感测子系统仅构成解决方案的一部分，而且可能增加价格、空间和能耗，有时反而还会产生相互矛盾的输出。在本公开的示例性实施例中，描述了将感测子系统协同合并为高效的异构感测系统：感测系统的整合与操作的已公开的不同方式包括：(1)将它们的输出在环境地图、探测和识别对象的层级上进行合并，其中两个以上的输出用来(a)增加操作状况的范围，(b)减少误探测和漏检对象的数量，(c)增加测量值的置信度和准确度。(2)当感测系统需要启用或停用时，根据微环境的状态或者其他操作中的感测子系统的探测，感测系统进行控制或者具有相适应的认知级别。所公开的异构控制感测系统包括两个以上不同的感测子系统，其中至少一个感测子系统可操作于两个以上认知模式，所公开的异构控制感测系统还包括用于控制认知模式转换的控制系统；(3)通用的对象探测器，特别是深度神经网络探测器设计为经过训练并操作以从两个以上感测子系统接收输入数据，对组合数据进行目标检测与识别。可选地，可以将感测子系统组合在多种体系结构的输出层或内部层。本公开的另一主题为训练感测系统和子系统的方法。感测系统包括：传感器，例如摄像机、雷达、声纳或3D扫描机；以及探测器，其配置为接收来自传感器的输入并根据该输入探测某些预先定义的对象。在早先记录和手标样例以及其它情况下，在传统意义上，探测器在使用之前是需要经过离线训练的。然而，由于不同的光照和天气情况、传感器与对象的变化等，导致现场的情况会有不同。例如，可以考虑，在崭新的相机上训练用于加拿大冬日行人的行人探测器，并且之后在数日的越野驾驶后，在中非用相机的不同模式进行操作。图像质量、相机参数、背景外观、行人的外观和穿着很可能会降低探测器性能。因此，对探测器进行实地训练、重新训练或微调是至关重要的。当前公开描述了对探测器进行实地训练的方法：(1)在一些实施例中，使用一个子系统的探测对象来训练和改进另一个子系统的性能；系统级的确定性探测允许对子系统进行训练和改进。(2)在其他实施例中，传感器原始数据存储在临时的缓冲器中，从早先或后来多次获取的探测到对象的各帧中跟踪对象；其中用跟踪器跟踪和定位对象的、但不是先前用该探测器单独发现的各帧用于训练感测系统。(3)在一些实施例中，由一个子系统探测到的对象位置用于提高由其他子系统建议的对象存在的置信度(4)在一些实施例中，由一个子系统探测到的对象位置用于训练其他子系统(5)在一些实施例中，在某个时刻探测到的对象通过预先记录的输入在时间上向前或向后跟踪，并且它在其他时刻的位置用于训练对象探测器。(6)在一些实施例中，一些子系统中的对象探测器的阈值根据其他子系统的探测置信度做适应性改变(7)在一些实施例中，对象探测器的阈值根据系统状态和/或在先探测和/或环境状态做适应性改变因此根据本公开的示例性实施例，提供了一种训练异构感测系统的方法，包括：从第一传感器接收环境数据；由第一处理单元识别来自第一传感器的数据中的对象；从第二传感器接收与第一传感器相对应的环境数据；由第二处理单元识别来自第二传感器的数据中的对象；由系统处理单元比较来自第一处理单元的已识别对象与来自第二处理单元的对应的对象；若从所述第一传感器的数据中识别出对象但未从所述第二传感器的数据中识别出该对象，或者若从所述第二传感器的数据中识别出对象但未从所述第一传感器的数据中识别出该对象，则确定为不一致情形；对存在不一致情形的数据进行标记；将标记的数据存储在训练缓冲器中；用存储在训练缓冲器中的数据训练第一处理单元和/或第二处理单元。在本公开的示例性实施例中，系统处理单元分析上述不一致，并且在每个情形中推断出第一处理单元或第二处理单元在识别对象时哪个更为准确。可选地，在每个情形中，处理单元更准确的那个传感器的对象识别和处理单元不太准确的那个传感器的传感器数据用于训练不太准确的那个处理单元。在本公开的示例性实施例中，传感器和/或处理单元中至少一个具有多个认知级别，并且通过对来自传感器的数据进行分析来调整认知级别。备选地或者附加地，传感器和/或处理单元中至少一个具有多个认知级别，并且根据对确定性的不一致情形来调整认知级别。备选地或者附加地，传感器和/或处理单元中的至少一个具有多个认知级别，并且根据影响第一传感器和/或第二传感器的测量值的环境情况来调整认知级别。备选地或者附加地，传感器和/或处理单元中的至少一个具有多个认知级别，并且在平静无事的环境中降低第一传感器和/或第二传感器的认知级别。备选地或者附加地，传感器和/或处理单元中的至少一个具有多个认知级别，并且在如果预期接收到的数据平静无事则降低第一传感器和/或第二传感器的认知级别。备选地或者附加地，传感器和/或处理单元中的至少一个具有多个认知级别，并且如果接收到的数据不可靠则降低第一传感器和/或第二传感器的认知级别。备选地或者附加地，传感器和/或处理单元中的至少一个具有多个认知级别，并且如果降低第一传感本文档来自技高网...

【技术保护点】
一种用于训练异构感测系统的方法，包括：从第一传感器接收环境的数据；由第一处理单元识别来自所述第一传感器的数据中的对象；从第二传感器接收与第一传感器相对应的环境数据；由第二处理单元识别来自所述第二传感器的所述数据中的对象；由系统处理单元比较来自所述第一处理单元的已识别对象与来自所述第二处理单元对应的对象；若从所述第一传感器的数据中识别出对象但未从所述第二传感器的数据中识别出该对象，或者若从所述第二传感器的数据中识别出对象但未从所述第一传感器的数据中识别出该对象，则确定为不一致情形；对存在所述不一致情形的数据进行标记；将所标记的数据存储在训练缓冲器中；用存储在所述训练缓冲器中的数据训练所述第一处理单元和/或所述第二处理单元。

【技术特征摘要】
2016.10.19 US 15/297,1461.一种用于训练异构感测系统的方法，包括：从第一传感器接收环境的数据；由第一处理单元识别来自所述第一传感器的数据中的对象；从第二传感器接收与第一传感器相对应的环境数据；由第二处理单元识别来自所述第二传感器的所述数据中的对象；由系统处理单元比较来自所述第一处理单元的已识别对象与来自所述第二处理单元对应的对象；若从所述第一传感器的数据中识别出对象但未从所述第二传感器的数据中识别出该对象，或者若从所述第二传感器的数据中识别出对象但未从所述第一传感器的数据中识别出该对象，则确定为不一致情形；对存在所述不一致情形的数据进行标记；将所标记的数据存储在训练缓冲器中；用存储在所述训练缓冲器中的数据训练所述第一处理单元和/或所述第二处理单元。2.根据权利要求1所述的方法，其中所述系统处理单元分析所述不一致情形，并且在每个情形中推断出是所述第一处理单元还是所述第二处理单元在识别所述对象上更准确。3.根据权利要求2所述的方法，来自处理单元的准确度更高的传感器的识别对象和来自处理单元的准确度更低的传感器数据用于训练准确度更低的那个处理单元。4.根据权利要求1所述的方法，上述传感器和/或处理单元中至少一个具有多个认知级别，并且根据对来自上述传感器的数据分析来调整所述认知级别。5.根据权利要求1所述的方法，上述传感器和/或处理单元中至少一个具有多个认知级别，认知级别可以根据传感器数据分析结果进行调整。6.根据权利要求1所述的方法，上述传感器和/或处理单元中至少一个具有多个认知级别，并且根据影响所述第一传感器和/或所述第二传感器测量值的环境情况调整认知级别。7.根据权利要求1所述的方法，上述传感器和/或处理单元中至少一个具有多个认知级别，并且在平静无事的环境下降低所述认知级别。8.根据权利要求1所述的方法，上述传感器和/或处理单元中至少一个具有多个认知级别，并且如果预期所接收的数据平静无事则降低所述认知级别。9.根据权利要求1所述的方法，上述传感器和/或处理单元中至少一个具有多个认知级别，并且如果所接收的数据不可靠则降低所述认知级别。10.根据权利要求1所述的方法，上述传感器和/或处理单元中至少一个具有多个认知级别，并且若降低所述第一传感器的认知级别则提高所述第二传感器的认知级别...

【专利技术属性】
技术研发人员：伊利亚·布雷瓦兹，
申请(专利权)人：小蚁科技香港有限公司，
类型：发明
国别省市：中国香港,81