利用行进中机器人标定分布式网络摄像机的系统和相关方法技术方案

本发明专利技术公开了一种用行进中机器人标定分布式网络摄像机的系统及相关方法。其中，该系统包括机器人用于建立环境地图；人工标志设置在机器人的顶部。服务器与机器人和网络摄像机通信连接，用于获取网络摄像机的图像并利用网络摄像机内参数矫正该图像；还在矫正后的图像中确定人工标志中心在网络摄像机图像坐标系中的坐标；并根据机器人中心在机器人地图坐标系中的坐标及人工标志中心在图像坐标系中的坐标，解算出图像坐标系和地图坐标系之间的转换关系，并根据转换关系来标定分布式网络摄像机。本发明专利技术实施例具有系统集成度高、可扩展性强、标定方式快捷等优点，且能够直接建立图像坐标系和地图坐标系之间的转换关系。

【技术实现步骤摘要】


本专利技术实施例涉及机器人
，尤其是涉及一种用行进中机器人标定分布式网络摄像机的系统及相关方法。

技术介绍

随着机器人技术的发展，特别是自主定位导航机器人技术，机器人已经可以在自然环境中能够自主避障导航为人类服务。现有的服务机器人大多通过激光传感器，里程计等传感器获取环境信息来完成机器人的定位、避障和导航。然而受限于机器人传感器的测量范围，机器人只能感知局部的环境信息并作出相应的路径规划。由于机器人不能探测全局的环境信息，导致机器人根据局部环境信息做出的路径和任务规划不具备全局最优性。
另一方面，目前，用于监控的网络摄像机已广泛存在于人们的日常生活空间中。人们通过服务器能够实时监控地面环境获取全局环境信息。如果机器人能够利用分布在环境中各个角落的网络摄像机获取全局环境信息，那么机器人就能选择全局意义上最优的任务和路径。
为了让机器人能够利用现有的监控系统获取全局信息，需要将各个网络摄像机所获取的环境信息实时地在机器人地图上进行更新。因此，需要知道如何将摄像机图像坐标系中和地面相关的像素的坐标转换到机器人地图二维坐标中，使得图像中的障碍物等信息能实时在地图坐标系中更新。当前，分布式摄像机在移动机器人的定位应用中都需要事先标定各个摄像机坐标系和真实环境中世界坐标系的关系，获得摄像机的外参数。这类标定方法繁琐，并且由于在这类系统中机器人自身不具备定位导航能力，需要相邻摄像机之间有视野重叠域，导致相邻网络摄像机之间必须存在空间约束关系，从而使得该分布式监控系统中网络摄像机数量大大增加，进一步导致机器人通过分布式网络摄像机获取全局环境信息的实用性差。

技术实现思路

鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种用行进中机器人标定分布式网络摄像机的系统。此外，还提出了一种用行进中的机器人标定分布式网络摄像机的方法和机器人避障方法。
为了解决上述问题，根据本专利技术的一个方面，提供了一种用行进中机器人标定分布式网络摄像机的系统。该系统包括：
至少一个机器人，用于建立环境地图；
至少一个网络摄像机，用于标定所述网络摄像机的内外参数；
至少一个人工标志，其设置在所述至少一个机器人的顶部，用于确定所述机器人中心在所述至少一个网络摄像机的图像坐标系中的坐标；
至少一个服务器，其与所述至少一个机器人和所述至少一个网络摄像机通信连接，用于获取所述网络摄像机的图像并利用所述网络摄像机内参数矫正该图像；还在矫正后的图像中确定所述人工标志中心在网络摄像机图像坐标系中的坐标；并根据所述机器人中心在机器人地图坐标系中的坐标及所述人工标志中心在图像坐标系中的坐标，解算出所述图像坐标系和所述地图坐标系之间的转换关系，并根据所述转换关系来标定分布式网络摄像机。
根据本专利技术的另一个方面，还提供了一种用行进中的机器人标定分布式网络摄像机的方法。其中，机器人顶部设置有人工标志；该方法包括：
所述机器人建立环境地图，并通过所述人工标志确定所述机器人中心在机器人地图坐标系中的坐标；
标定所述网络摄像机的内参数；
服务器获取所述网络摄像机的图像并利用所述网络摄像机内参数矫正该图像；
所述服务器在矫正后的图像中确定所述人工标志中心在网络摄像机图像坐标系中的坐标；
所述服务器根据所述机器人中心在机器人地图坐标系中的坐标及所述人工标志中心在图像坐标系中的坐标，解算出所述图像坐标系和所述地图坐标系之间的转换关系，并根据所述转换关系来标定分布式网络摄像机。
根据本专利技术的在一个方面，还提供了一种机器人避障方法，其用于监控系统，所述监控系统包括网络摄像机；所述方法包括：
通过网络摄像机获取所述机器人周围环境的图像；
检测所述图像中障碍物和地面的接触点；
如果检测到所述接触点，则利用上述方法，得到所述障碍物在机器人地图坐标系中的坐标；
根据所述坐标，进行所述障碍物的规避。
与现有技术相比，上述技术方案至少具有以下有益效果：
本专利技术实施例不要求相邻网络摄像机之间有重叠视野域，网络摄像机的架设更加灵活；机器人只需遍历散落在环境中的各个摄像机，即可完成所有摄像机的标定工作，更加便捷；网络摄像机的相关观测信息可以直接映射到全局地图坐标系中，有效延展机器人的感知范围。本专利技术实施例也不需要事先标定分布在各个角落的网络摄像机和真实环境的关系。通过在环境中行进的机器人标定各个网络摄像机，即使得系统集成度高，又保证了标定方式的方便快捷，并且建立了图像坐标系和机器人地图坐标系之间的关系，从而使得网络摄像机获取的环境信息可以直接映射到机器人地图中，方便机器人通过网络摄像机获取全局的环境信息。同时，直接建立各个摄像机与机器人地图之间的联系，用机器人地图坐标系串联起分布在环境中的各个摄像头，消除了各个摄像机之间必须存在的空间约束关系，极大的简化了系统模型，有利于系统的扩展。因此本专利技术提供的标定方法不仅系统集成度高，可扩展性强，标定快捷方便，而且直接提供各个摄像机图像坐标系和机器人地图坐标系的转换关系，非常适合机器人利用分布式网络摄像头进行全局的环境感知。
附图说明
附图作为本专利技术的一部分，用来提供对本专利技术的进一步的理解，本专利技术的示意性实施例及其说明用于解释本专利技术，但不构成对本专利技术的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1为根据一示例性实施例示出的用行进中机器人标定分布式网络摄像机的系统的结构示意图；
图2为根据另一示例性实施例示出的用行进中机器人标定分布式网络摄像机的系统结构示意图；
图3为根据一示例性实施例示出的人工标志的结构示意图；
图4为根据一示例性实施例示出的用行进中的机器人标定分布式网络摄像机的方法的流程示意图；
图5为根据一示例性实施例示出的服务器在矫正后的图像中确定人工标志中心在网络摄像机图像坐标系中的坐标的流程示意图；
图6为根据一示例性实施例示出的人工标志中心在采集到的网络摄像机图像中的检测结果示意图；
图7为根据一示例性实施例示出的系统坐标系示意图；
图8为根据一示例性实施例示出的机器人避障方法的流程示意图。
这些附图和文字描述并不旨在以任何方式限制本专利技术的构思范围，而是通过参考特定实施例为本领域技术人员说明本专利技术的概念。
具体实施方式
下面结合附图以及具体实施例对本专利技术实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本专利技术的保护范围内。本专利技术实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。
需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本专利技术的实现可以没有这些具体细节。
需要说明的是，在没有明确限定或不冲突的情况下，本专利技术中的各个实施例及其中的技术特征可以相互组合而形成技术方案。
目前分布式摄像机用于机器人导航的系统中需要事先通过大量的工作标定真实环境中的世界坐标系和各个摄像机坐标系之本文档来自技高网...

【技术保护点】
一种用行进中机器人标定分布式网络摄像机的系统，其特征在于，所述系统至少包括：至少一个机器人，用于建立环境地图；至少一个网络摄像机，用于标定所述网络摄像机的内外参数；至少一个人工标志，其设置在所述至少一个机器人的顶部，用于确定所述机器人中心在所述至少一一个网络摄像机的图像坐标系中的坐标；至少一个服务器，其与所述至少一个机器人和所述至少一个网络摄像机通信连接，用于获取所述网络摄像机的图像并利用所述网络摄像机内参数矫正该图像；还在矫正后的图像中确定所述人工标志中心在网络摄像机图像坐标系中的坐标；并根据所述机器人中心在机器人地图坐标系中的坐标及所述人工标志中心在图像坐标系中的坐标，解算出所述图像坐标系和所述地图坐标系之间的转换关系，并根据所述转换关系来标定分布式网络摄像机。

【技术特征摘要】
1.一种用行进中机器人标定分布式网络摄像机的系统，其特征
在于，所述系统至少包括：
至少一个机器人，用于建立环境地图；
至少一个网络摄像机，用于标定所述网络摄像机的内外参数；
至少一个人工标志，其设置在所述至少一个机器人的顶部，用于
确定所述机器人中心在所述至少一一个网络摄像机的图像坐标系中的
坐标；
至少一个服务器，其与所述至少一个机器人和所述至少一个网络
摄像机通信连接，用于获取所述网络摄像机的图像并利用所述网络摄
像机内参数矫正该图像；还在矫正后的图像中确定所述人工标志中心
在网络摄像机图像坐标系中的坐标；并根据所述机器人中心在机器人
地图坐标系中的坐标及所述人工标志中心在图像坐标系中的坐标，解
算出所述图像坐标系和所述地图坐标系之间的转换关系，并根据所述
转换关系来标定分布式网络摄像机。
2.根据权利要求1所述的系统，其特征在于，所述至少一个机
器人设置有传感器；
所述至少一个机器人还被配置为利用所述传感器并通过即时定
位与建图SLAM算法，来建立环境地图；并通过自适应蒙特卡洛算法，
融合所述传感器，确定所述机器人中心在机器人地图坐标系中的坐标。
3.根据权利要求1所述的系统，其特征在于，所述至少一个服
务器具体包括：
网络通讯模块，用于利用TCP/IP网络协议完成所述服务器和所

\t述网络摄像机以及所述机器人之间的数据交换；
网络摄像机图像获取模块，用于采用轮询方式访问预先存储的所
述网络摄像机的IP地址，并接收被访问的网络摄像机返回未处理的
图像；
图像畸变矫正模块，用于根据网络摄像机id号以及预先存储的
网络摄像机的内参数，对所述网络摄像机返回未处理的图像进行畸变
矫正；
人工标志检测模块，用于对矫正畸变后的图像进行图像处理，获
取所述人工标志中心在网络摄像机图像坐标系中的坐标；
人机交互模块，用于显示所述人工标志中心在网络摄像机图像坐
标系中的坐标；
机器人地图坐标查询模块，用于获取所述机器人中心在机器人地
图坐标系中的坐标；
坐标系转换矩阵解算模块，用于当所述网络摄像机检测机器人次
数超过阈值时，利用所述人工标志中心在机器人地图坐标系和摄像机
网络摄像机图像坐标系中坐标的一一对应关系来求解PnP问题，计算
所述机器人地图坐标系和所述网络摄像机图像坐标系之间的转换关
系；
标定模块，用于根据所述转换关系来标定分布式网络摄像机。
4.根据权利要求3所述的系统，其特征在于，所述人工标志检
测模块具体包括：
第一确定单元，用于将所述矫正后的图像与颜色阈值进行比较，

\t确定所述图像中和所述人工标志颜色近似的区域，获得颜色图像掩码；
提取单元，用于使用所述颜色图像掩码，提取所述颜色近似区域
的轮廓；
周长计算单元，用于计算轮廓的周长；
第一过滤单元，用于根据所述周长，过滤掉不符合所述人工标志
尺寸的轮廓噪声；
近似单元，用于对过滤后的轮廓用最小矩形近似；
第二过滤单元，用于根据所述矩形的宽高比，过滤掉不符合所述
人工标志形状的轮廓噪声；
质心计算单元，用于计算满足所述人工标志中方块要求的所述矩
形的质心；
第二确定单元，用于根据所述人工标志中方块质心的约束关系，
确定所述人工标志中心在网络摄像机图像坐标系中的坐标。
5.一种用行进中的机器人标定分布式网络摄像机的方法，所述
机器人顶部设置有人工标志；其特征在于，所述方法包括：
所述机器人建立环境地图，并通过所述人工标志确定所述机器人
中心在机器人地图坐标系中的坐标；
标定所述网络摄像机的内参数；
服务器获取所述网络摄像机的图像并利用所述网络摄像机内参
数矫正该图像；
所述服务器在矫正后的图像中确定所述人工标志中心在网络摄
像机图像坐标系中的坐标；
所述服务器根据所述机器人中心在机器人地图坐标系中的坐标
及所述人工标志中心在图像坐标系中的坐标，解算出所述图像坐标系
和所述地图坐标系之间的转换关系，并根据所述转换关系来标定分布
式网络摄像机。
6.根据权利要求5所述的方法，所述机器人设置有传感器；其
特征在于，所述机器人建立环境地图，并通过所述人工标志确定所述
机器人中心在机器人地图坐标系中的坐标，具体包括：
所述机器人利用所述传感器并通过即时定位与建图SLAM算法，
来建立环境地图；
所述机器人通过自适应蒙特卡洛算法，融合传感器，并通过所述
人工标志，确定所述机器人中心在机器人地图坐标系中的坐标。
7.根据权利要求5所述的方法，其特征在于，所述服务器在矫
正后的图像中确定所述人工标志中心在网络摄像机图像坐标系中的
坐标，具体包括：
将所述矫正后的图像与颜色阈值进行比较，确定所述图像中和所
述人工标志颜色近似的区域，获得颜色图像掩码；
使用所述颜色图像掩码，提取所述颜色近似区域的轮廓；
计算轮廓的周长；
根据所述周长，过滤掉不符合所述人工标志尺寸的轮廓噪声；
对过滤后的轮廓用最小矩形近似；
根据所述矩形的宽高比，过滤掉不符合所述人工标志形状的轮廓
噪声；
计算满足所述人工标志中方块要求的所述矩形的质心；
根据所述人工标志中方块质心的约束关系，确定所述人工标志中
心在网络摄像机图像坐标系中的坐标。
8.根据权利要求5所述的方法，其特征在于，所述服务器根据
所述机器人中心在机器人地图坐标系中的坐标及所述人工标志中心
在图像坐标系中的坐标，解算出所述图像坐标系和所述...

【专利技术属性】
技术研发人员：温丰，贺一家，原魁，郭跃，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11