一种面向机器人的行人定位方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种面向机器人的行人定位方法、装置、电子设备及介质，该方法包括：获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧，所述彩色图像和激光雷达数据应做好时间同步；在所述彩色图像上进行行人检测和人脸检测，得到行人检测矩形框和人脸检测矩形框；根据所述人脸检测矩形框，计算在所述单目彩色相机坐标系下的人脸中心所在的射线方程；根据所述的人脸中心所在的射线方程，结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标。以解决相关技术中存在的定位计算量大、精度低的问题。精度低的问题。精度低的问题。

【技术实现步骤摘要】
一种面向机器人的行人定位方法、装置、电子设备及介质


[0001]本申请涉及机器人行人感知
，尤其涉及一种面向机器人的行人定位方法及装置、电子设备。

技术介绍

[0002]行人定位技术是人机交互的基础，在机器人的应用中起着重要作用，机器人只有知道人在哪里，才能更好的服务于人类。行人具有非刚体、姿态变化快等特性，因此准确的对其进行定位是极具挑战的一项任务。现有的方法多采用基于双目视差的定位方法或基于激光雷达、深度相机的定位方法。基于双目视差的行人定位方法使用双目相机，一次处理两张图像，计算量较大；基于二维激光雷达的行人定位方法，难以准确检测出人的位置；基于三维激光雷达的行人定位方法，难以准确定位到人脸；基于深度相机的行人定位方法，定位精度不高。由此可见，低计算量、高精度的行人定位是机器人中亟待解决的问题。

技术实现思路

[0003]本申请实施例的目的是提供一种面向机器人的行人定位方法及装置、电子设备，以解决相关技术中存在的定位计算量大、精度低的问题。
[0004]根据本申请实施例的第一方面，提供一种面向机器人的行人定位方法，包括：获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧，所述彩色图像和激光雷达数据应做好时间同步；在所述彩色图像上进行行人检测和人脸检测，得到行人检测矩形框和人脸检测矩形框；根据所述人脸检测矩形框，计算在所述单目彩色相机坐标系下的人脸中心所在的射线方程；根据所述的人脸中心所在的射线方程，结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标。
[0005]进一步地，根据所述的人脸中心所在的射线方程，结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标，包括：
[0006]将所述二维激光雷达数据投影到所述彩色图像上；
[0007]提取位于所述行人检测矩形框内的二维激光雷达数据；
[0008]根据相邻点之间的距离将所述行人检测矩形框内的二维激光雷达数据分割成若干片段；
[0009]计算各所述片段中二维激光雷达数据的均值，取距离机器人最近的均值为人脚坐标；
[0010]根据所述人脚坐标、所述人脸中心所在的射线方程，结合所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标。
[0011]进一步地，将所述二维激光雷达数据投影到所述彩色图像上的投影公式为：
[0012][0013]其中，P
C
为单目彩色图像上的像素坐标，M为单目彩色相机内参矩阵，和分别表示二维激光雷达和单目彩色相机间的旋转关系和平移关系，P
L
为二维激光雷达数据。
[0014]进一步地，所述人脸中心所在的射线方程计算公式为：
[0015]f(k)＝kM
‑1[u,v,1]T
[0016]其中k为射线参数，[u,v]T
为人脸中心像素坐标。
[0017]进一步地，所述人脸中心在所述激光雷达坐标系下的三维坐标计算公式为：
[0018][0019]其中，X0和Y0分别表示所述人脚坐标的横纵坐标，[X,Y,Z]T
为待求解的所述人脸中心在所述激光雷达坐标系下的三维坐标。
[0020]根据本申请实施例的第二方面，提供一种面向机器人的行人定位装置，包括：获取模块，用于获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧，所述彩色图像和激光雷达数据应做好时间同步；检测模块，用于在所述彩色图像上进行行人检测和人脸检测，得到行人检测矩形框和人脸检测矩形框；第一计算模块，用于根据所述人脸检测矩形框，计算在所述单目彩色相机坐标系下的人脸中心所在的射线方程；第二计算模块，用于根据所述的人脸中心所在的射线方程，结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标。
[0021]根据本申请实施例的第三方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
[0022]根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
[0023]本申请的实施例提供的技术方案可以包括以下有益效果：
[0024]由上述实施例可知，本申请针对机器人中的行人定位问题，通过该方法能够得到行人人脸在机器人坐标系下的三维坐标。因上述实施例使用的是单目彩色相机，所以与基于双目视差的行人定位方法相比，计算量更小；同时，从单目彩色相机获取的彩色图像上，能准确计算出人体和人脸的位置，因此与基于激光雷达的行人定位方法相比，定位精度更高。因上述实施例使用了激光雷达，所以与基于深度相机的行人定位方法相比，定位精度更高。
[0025]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0026]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0027]图1是根据一示例性实施例示出的一种面向机器人的行人定位方法流程图；
[0028]图2是根据一示例性实施例示出的人脸三维坐标计算流程图；
[0029]图3是根据一示例性实施例示出的行人检测矩形框和人脸检测矩形框；
[0030]图4是根据一示例性实施例示出的人脸三维坐标推导过程几何示意图；
[0031]图5是根据一示例性实施例示出的一种面向机器人的行人定位装置框图；
[0032]图6是根据一示例性实施例示出的第二计算模块的框图。
具体实施方式
[0033]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0034]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0035]图1是根据一示例性实施例示出的一种面向机器人的行人定位方法的流程图，如图1所示，可以包括以下步骤：
[0036]步骤S101：获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧，所述彩色图像和激光雷达数据应做好时间同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向机器人的行人定位方法，其特征在于，包括：获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧，所述彩色图像和激光雷达数据应做好时间同步；在所述彩色图像上进行行人检测和人脸检测，得到行人检测矩形框和人脸检测矩形框；根据所述人脸检测矩形框，计算在所述单目彩色相机坐标系下的人脸中心所在的射线方程；根据所述的人脸中心所在的射线方程，结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标。2.根据权利要求1所述的行人定位方法，其特征在于，根据所述的人脸中心所在的射线方程，结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标，包括：将所述二维激光雷达数据投影到所述彩色图像上；提取位于所述行人检测矩形框内的二维激光雷达数据；根据相邻点之间的距离将所述行人检测矩形框内的二维激光雷达数据分割成若干片段；计算各所述片段中二维激光雷达数据的均值，取距离机器人最近的均值为人脚坐标；根据所述人脚坐标、所述人脸中心所在的射线方程，结合所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标。3.根据权利要求2所述的行人定位方法，其特征在于，将所述二维激光雷达数据投影到所述彩色图像上的投影公式为：其中，P
C
为单目彩色图像上的像素坐标，M为单目彩色相机内参矩阵，和分别表示二维激光雷达和单目彩色相机间的旋转关系和平移关系，P
L
为二维激光雷达数据。4.根据权利要求2所述的行人定位方法，其特征在于，所述人脸中心所在的射线方程计算公式为：f(k)＝kM
‑1[u,v,1]
T
其中k为射线参数，[u,v]
T
为人脸中心像素坐标。5.根据权利要求2所述的行人定位方法，其特征在于，所...

【专利技术属性】
技术研发人员：王文，胡顺达，於其之，
申请(专利权)人：之江实验室，
类型：发明
国别省市：