基于语音和空间物体识别及定位的设备控制方法及装置制造方法及图纸

本发明专利技术公开了基于语音和空间物体识别及定位的设备控制方法及装置，该方法包含步骤：利用室内机器人的摄像头采集2D图像和深度图像、估计机器人的运动及空间3D地图、采集室内设备样本构成设备模型训练数据库并训练设备检测模型、估计设备标识及其在空间中的质心坐标组成设备分布数据库、将设备信息显示给用户，接收和存储用户确认的设备标识及设备区域位置、接收用户的设备控制语音指令，解析设备标识及设备区域位置，控制机器人移动到所述设备区域位置并执行设备控制指令。本发明专利技术实现了灵活的配置机器人巡逻的区域、巡逻的顺序、巡逻的时间段和巡逻的周期，且机器人还可以根据2D或3D区域的位置和大小，寻找最佳巡逻地点使机器人巡逻更高效。

【技术实现步骤摘要】
基于语音和空间物体识别及定位的设备控制方法及装置
本专利技术涉及室内机器人
，特别涉及基于语音和空间物体识别及定位的设备控制方法及装置。
技术介绍
随着机器人相关技术的快速发展，人们对机器人的需求越来越高，特别是希望能够通过简单的语音交互方式即实现机器人快速准确的识别、定位、控制家电设备，这会成为机器人进入家庭的一种基本诉求，比如：用户对机器人说“机器人，去卧室把空调打开”这类语音指令。家电设备的种类越来越多，包括位于天花板的灯具、位于电视墙的电视、位于墙面的空调挂机、位于地面的空调柜机、位于地面的冰箱等，这些家电设备位于三维空间中，且分布分散。而机器人识别物体是通过自身摄像头结合图像识别方式进行的，摄像头的高度及视野范围，对识别三维空间的物体的效果是息息相关的。现有技术中没有针对家庭环境下的各种家电设备通过图像识别结合常用空间位置的方式系统地进行训练、建模、识别和定位的技术方案。同时，机器人通过通用的视觉SLAM技术能够一定程度上识别出三维空间信息，但却不能有效地识别出局部三维空间的现实语义，包括主卧、次卧、书房、客厅、餐厅等。而通过算法得出的识别结果，通常不是百分之百准确的，如何有效地通过语音方式帮助机器人确认设备的设备标识及设备区域位置，特别是针对老年人，是需要详细设计的，这会带来用户体验的提升。综上所述，现有技术没有针对家庭环境下的各种家电设备通过图像识别结合常用空间位置的方式系统地进行训练、建模、识别和定位，也没有提供简单便捷的语音交互方式帮助机器人快速准确的识别、语义定位、控制家电设备，使得用户使用机器人的学习成本较高，用户体检不好。专利
技术实现思路
本专利技术的目的是克服上述
技术介绍
中不足，提供基于语音和空间物体识别及定位的设备控制方法及装置，可实现机器人在家庭环境下的各种家电设备通过图像识别结合常用空间位置的方式系统地进行训练、建模、识别和定位，同时还可实现提供简单快捷的语音交互方式帮助机器人快速准确的识别、语义定位、控制家电设备的技术效果，可有效提升用户的使用体验。为了达到上述的技术效果，本专利技术采取以下技术方案：基于语音和空间物体识别及定位的设备控制方法，用于控制室内机器人识别与定位室内设备，包含以下步骤：步骤1：利用室内机器人的摄像头采集2D图像和深度图像；步骤2：根据所述2D图像和深度图像，估计机器人的运动及空间3D地图；步骤3：采集室内设备样本构成设备模型训练数据库，并训练设备检测模型；这里的室内设备样本、设备模型训练数据库、设备检测模型是针对通用室内环境的，一般机器人出厂前已经配置好，机器人进入某个家庭环境后，就能直接使用；步骤4：由所述空间3D地图获取采样帧数据库，根据设备检测模型，估计设备标识及其在空间中的质心坐标，组成设备分布数据库；步骤5：将所述设备分布数据库中的设备信息显示给用户，并通过语音交互的方式接收和存储用户确认的设备标识及设备区域位置；步骤6：接收用户的设备控制语音指令，解析出设备标识及设备区域位置，控制机器人移动到所述设备区域位置并执行设备控制指令.进一步地，所述步骤2中估计机器人的运动及空间3D地图时具体包含以下步骤：2.1基于ORB特征的视觉里程计：获取ORB特征、根据适用的场景采用对应算法进行特征匹配、根据匹配好的点估计摄像头的运动；ORB特征在保持特征子具有旋转、尺度不变性的同时，速度方面提升也很明显，可以满足实时性要求很高的即时定位与地图构建SLAM，具体在获取ORB特征分为两个步骤：-FAST角点提取：找出图像中的“角点”，只需比较像素亮度的大小；-BRIEF描述子：对前一步提取出特征点的周围图像区域进行描述；在获取到ORB特征后，根据适用的场景，考虑采用相应的算法进行特征匹配，以确定当前看到的路标与之前看到的路标之间的对应关系，再根据匹配好的点估计相机的运动；如果采用RGB-D相机，根据像素的深度数据测量情况，自适应的混合使用PnP和ICP优化；2.2基于位姿图的后端优化：构建一个只有轨迹的位姿图优化，位姿节点的之间的边由两个关键帧之间通过特征匹配之后得到的摄像头的运动估计来给定初始值；前端视觉里程计能给出一个段时间内的轨迹和地图，但由于不可避免的误差累积，这个地图在长时间内是不准确的，本申请的技术方案中在视觉里程计的基础上构建了一个尺度、规模更大的优化问题，以实现长时间内的最优轨迹和地图，为了保证计算效率，本申请的技术方案采用基于位姿图的后端优化，其思路是：构建一个只有轨迹的图优化，位姿节点的之间的边，由两个关键帧之间通过特征匹配之后得到的运动估计来给定初始值；2.3基于词袋模型的回环检测：基于关键帧和词袋模型，通过相似度计算进行回环检测，估计机器人的运动；前端提供特征点的提取和轨迹、地图的初值，后端负责对所有这些数据进行优化，如果仅考虑相邻时间上的关联，那么之前产生的误差将不可避免地累积到下一个时刻，使得整个SLAM会出现累积误差，长期估计的结果将不可靠，即无法构建全局一致的轨迹和地图；为了解决上述技术问题，本申请的技术方案中引入回环检测，回环检测的关键是如何有效检测出摄像头经过同一个地方这件事，即如何计算图像间的相似性；为提升回环检测的效率，通过关键帧的选取机制进行优化，其中，如果关键帧选的太近，将导致两个关键帧之间的相似度过高，相比之下不容易检测出历史数据的回环，因此，本申请的技术方案中选取较为稀疏的关键帧，且彼此之间不太相同，又能覆盖整个环境；基于关键帧和词袋模型，就可以通过相似度计算进行回环检测，为预防引发感知偏差问题，作为优选，回环检测通常还需要包括验证步骤2.4稠密建图：使用三角网格、面片进行建图估计物体表面，或构建占据网格地图、八叉树地图进行导航。进一步地，所述步骤2.1中对ORB特征进行特征匹配时的算法包含暴力匹配算法、快速近似近邻算法。进一步地，所述步骤2.2中对位姿图优化可采用高斯牛顿法或列文伯格-马夸尔特方法求解或采用因子图进行位姿图优化进一步地，所述步骤4具体包含以下步骤：4.1空间地图采样：根据构建的空间地图，制定采样路径与采样间隔并记录采样所对应的相机位姿，构成采样帧数据库；4.2基于YOLOv3目标检测算法的目标检测与识别，训练多类目标的YOLOv3目标检测模型，并通过对采样帧数据库中的每帧样本进行YOLOv3目标检测算法的目标检测与识别，得到每帧样本中的设备位置；4.3构建设备分布数据库，根据YOLOv3目标检测算法的目标检测与识别得到所有采样帧中设备的位置与其对应的相机位姿，计算设备的三维空间坐标，并根据设备的包围盒对不同采样帧中的同一设备进行合并，由此得到该设备的质心坐标；4.4由不同设备的标识、包围盒和质心坐标共同构成设备分布数据库。进一步地，所述设备的标识为设备名称。进一步地，所述步骤5具体包含以下步骤：5.1将待确认设备的设备包围盒及设备采样帧展示给用户，并语音播报该设备的识别结果，请求用户确认或修改；5.2接收用户通过语音方式确认或修改的设备识别结果；5.3语音请求用户确认或修改设备区域位置；5.4接收用户通过语音方式确认或修改的设备区域位置。进一步地，所述步骤6中控制机器人移动到所述设备区域位置并执行设备控制指令时具体包含以下步骤：第一步：根据设备质心坐标、设备允许的控制方式计算机器人应本文档来自技高网...

【技术保护点】
1.基于语音和空间物体识别及定位的设备控制方法，用于控制室内机器人识别与定位室内设备，其特征在于，包含以下步骤：步骤1：利用室内机器人的摄像头采集2D图像和深度图像；步骤2：根据所述2D图像和深度图像，估计机器人的运动及空间3D地图；步骤3：采集室内设备样本构成设备模型训练数据库，并训练设备检测模型；步骤4：由所述空间3D地图获取采样帧数据库，根据设备检测模型，估计设备标识及其在空间中的质心坐标，组成设备分布数据库；步骤5：将所述设备分布数据库中的设备信息显示给用户，并通过语音交互的方式接收和存储用户确认的设备标识及设备区域位置；步骤6：接收用户的设备控制语音指令，解析出设备标识及设备区域位置，控制机器人移动到所述设备区域位置并执行设备控制指令。

【技术特征摘要】
1.基于语音和空间物体识别及定位的设备控制方法，用于控制室内机器人识别与定位室内设备，其特征在于，包含以下步骤：步骤1：利用室内机器人的摄像头采集2D图像和深度图像；步骤2：根据所述2D图像和深度图像，估计机器人的运动及空间3D地图；步骤3：采集室内设备样本构成设备模型训练数据库，并训练设备检测模型；步骤4：由所述空间3D地图获取采样帧数据库，根据设备检测模型，估计设备标识及其在空间中的质心坐标，组成设备分布数据库；步骤5：将所述设备分布数据库中的设备信息显示给用户，并通过语音交互的方式接收和存储用户确认的设备标识及设备区域位置；步骤6：接收用户的设备控制语音指令，解析出设备标识及设备区域位置，控制机器人移动到所述设备区域位置并执行设备控制指令。2.根据权利要求1所述的基于语音和空间物体识别及定位的设备控制方法，其特征在于，所述步骤2中估计机器人的运动及空间3D地图时具体包含以下步骤：2.1基于ORB特征的视觉里程计：获取ORB特征、根据适用的场景采用对应算法进行特征匹配、根据匹配好的点估计摄像头的运动；2.2基于位姿图的后端优化：构建一个只有轨迹的位姿图优化，位姿节点的之间的边由两个关键帧之间通过特征匹配之后得到的摄像头的运动估计来给定初始值；2.3基于词袋模型的回环检测：基于关键帧和词袋模型，通过相似度计算进行回环检测，估计机器人的运动；2.4稠密建图：使用三角网格、面片进行建图估计物体表面，或构建占据网格地图、八叉树地图进行导航。3.根据权利要求2所述的基于语音和空间物体识别及定位的设备控制方法，其特征在于，所述步骤2.1中对ORB特征进行特征匹配时的算法包含暴力匹配算法、快速近似近邻算法。4.根据权利要求2所述的基于语音和空间物体识别及定位的设备控制方法，其特征在于，所述步骤2.2中对位姿图优化可采用高斯牛顿法或列文伯格-马夸尔特方法求解或采用因子图进行位姿图优化。5.根据权利要求1所述的基于语音和空间物体识别及定位的设备控制方法，其特征在于，所述步骤4具体包含以下步骤：4.1空间地图采样：根据构建的空间地图，制定采样路径与采样间隔并记录采样所对应的相机位姿，构成采样帧数据库；4.2基于YOLOv3目标检测算法的目标检测与识别，训练多类目标的YOLOv3目标检测模型，并通过对采...

【专利技术属性】
技术研发人员：刘孟红，邵小宁，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51