【技术实现步骤摘要】
本专利技术涉及园林作业智能设备领域，尤其涉及一种针对割草机器人的指向点视觉感知方法，便于用户随时指定草坪区域进行割草。
技术介绍
1、由于国外具有较高的人均草地面积，近年来对割草机器人需求量逐步攀升，割草机器人的市场前景越来越好。而割草机器人在割草过程中，难免有遗漏割草区域或只需割某块区域的情况，目前的割草机器人产品往往通过提前录入割草边界，预设割草区域的方法解决用户指定区域割草问题。但是，该方法不具有根据用户意向临时调整割草时间或增加割草频率，或者对不同草坪区域生长较为迅速使用不同割草方式进行修剪的及时响应割草需求能力，导致用户体验不佳。因此，针对割草机器人如何快速响应用户意向的研究具有实用价值。
2、注意到，用户利用手的指向来指定割草区域往往是最符合直觉且最便利的方式。同时，计算机视觉技术作为人工智能的重要分支，可实时地利用图像信息识别出所处场景中对象的状态信息，从而为机器人提供强大的感知能力。
技术实现思路
1、针对现有割草机器人人体意图识别难、三维人体姿态识别计算量大，对硬件设备要求较高等问题，本专利技术的目的在于提供一种针对割草机器人的指向点视觉感知方法。首先，通过二维图像对人体姿态进行识别，并提出利用相机视场角与深度信息结合的方法，得到用户指向的三维信息，从而减少了对系统硬件的要求；其次，为防止割草时抖动来的不确定性，利用卡尔曼滤波对获得指向点过程进行优化；最后，得到对所指向地面坐标的估计，进而发送行进至目的地的指令实现指向区域的割草任务。
2、
3、s1、将rgb-d相机和语音定位模块固定放置在割草机器人上，通过上述rgb-d相机和语音定位模块检测用户位置在割草机器人的前方；
4、s2、通过rgb-d相机获得人体图像，对其进行人体姿态识别，得到用户指向方向的姿态二维信息；
5、s3、构建手臂指向运动学模型，对步骤s2获得的人体图像每一帧之间的姿态二维信息进行卡尔曼滤波，利用帧间的图像计算手臂抬起最高处的姿态，通过优化方法得到最终所需人体指向姿态二维信息，通过对比当前人体指向姿态二维信息与预设姿态，确定用户是否需要进行指定点割草，若需要，则判断为用户将有意图地参与到割草机器人的割草行为；若不需要，则割草机器人将保持面向用户持续等待；
6、s4、通过rgb-d相机的视角，获取人体姿态点的深度信息，通过深度相机本身视野角度构建相机成像模型，并对坐标系进行转换，结合步骤s3所得人体指向姿态二维信息最终得到人体姿态的世界三维信息；
7、s5、将割草机器人当前位置建立为三维空间，将用户手势建立为一条空间直线，根据几何关系，得到草坪地面与空间直线的交点，通过对草坪图像的语义分割识别到用户意图割草区域的杂乱程度进而扩展或缩小以交点为中心的圆，定义指向区域；
8、s6、根据步骤s3识别出的人体导向的割草意图，通过步骤s5控制割草机器人移动到指向区域进行割草操作。
9、进一步地，所述步骤s1具体为：将rgb-d相机和语音定位模块固定放置在割草机器人上，该rgb-d相机和语音定位模块集成为割草机器人的一部分，通过无线通信接口与割草机器人上的控制模块连接，以提供远程控制和监控功能，用户通过语音定位模块控制割草机器人移动到用户面前，使其能够被rgb-d相机识别。
10、进一步地，所述步骤s2具体为：通过rgb-d相机获得人体图像，利用openpose人体姿态识别技术，识别到人体的重要关节点，在openpose识别人体姿态下，得到用户指向方向的姿态二维信息，包括三个关节点：右手rwrist、右肘relbow、右肩rshoulder。
11、进一步地，所述步骤s3具体为：对步骤s2中利用openpose人体姿态识别到的手臂上三个关节点：右手rwrist、右肘relbow、右肩rshoulder进行运动学建模，确立三个姿态点的二维矢量方向，即：右肩为初始点，右手为终点；其中，利用卡尔曼滤波对手臂运动的过程进行滤波得到手臂抬起过程的平滑手臂位置信息和速度信息，得到状态方程和测量方程，使用卡尔曼滤波状态方程和测量方程来分别进行预测和更新；
12、状态更新方程：
13、
14、px＝fkpk-1fkt+qk
15、测量更新矩阵：
16、
17、pk′＝pk-khkpk
18、k＝pkhkt(hkpkhkt-rk)-1
19、其中：表示手臂运动状态模型的状态转移矩阵，hk＝[1 0]表示k时刻测量的更新矩阵，δt表示每一帧之间的时间间隔，表示为当前的右手臂位置、速度信息，表示手臂运动前一时刻的状态信息，pk表示当前k时刻通过迭代后的噪声协方差矩阵，pk-1表示k-1时刻的状态噪声协方差矩阵，fkt表示状态转移矩阵的转置，qk表示割草机器人割草时抖动造成的系统误差噪声协方差矩阵，表示在k时刻的状态估计值，k表示卡尔曼增益矩阵，zk表示在k时刻的测量值，pk′表示估计值和真实值之间的误差协方差矩阵，hkt表示k时刻观测矩阵的转置，rk表示k时刻测量时的噪声协方差矩阵；
20、每传入一帧新图像，利用openpose对每一帧图像上的人体姿态关节点进行识别，以测量出最新一次对应的像素点，但不同帧图像对应空间中不同的关节点像素位置，即通过对手臂运动状态的预测，以得到手臂抬起的运动过程，取手臂抬起速度为0且位置在最高点时的关键帧为最终所需的人体指向姿态二维信息，通过对比当前人体指向姿态二维信息与预设姿态，确定用户是否需要进行指定点割草，若需要，则判断为用户将有意图地参与到割草机器人的割草行为，若不需要，则割草机器人将保持面向用户持续等待。
21、进一步地，所述步骤s4具体为：利用rgb-d相机本身的结构参数所具有的视场角度构建相机成像模型，以rgb-d相机的视野角度视场为b°×r°为例，将生成的图像像素大小调整为(h×w)，图像像素坐标系(u,v)：是一个二维直角坐标系，其原点o位于图像的左上角，u,v坐标轴分别与图像的两条边重合，一个像素点代表一个单位，以v轴的中点为球坐标系的原点，则对于rgb-d相机的角度视场用弧度规定为
22、
23、即像素坐标系(u,v)到球坐标系中的坐标变换有：
24、
25、其中：b°表示rgbd相机的水平视场角，r°表示相机的垂直视场角，(h×w)表示生成的图像的高和宽，(u,v)表示像素坐标系的横纵坐标，θ分别表示球坐标中的方位角和仰角，
26、通过步骤s3可以获得人体姿态识别中的右手rwrist、右肘relbow、右肩rshoulder姿态点的二维信息，并利用rgb-d相机测量(u,v)深度信息，得到每个关节点与深度相机的距离γ，即可知以相机为原点而建立的球坐标系通过将球坐标系至以相机为原点的直角坐标系(x,y,z)有：<本文档来自技高网...
【技术保护点】
1.一种针对割草机器人的指向点视觉感知方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种针对割草机器人的指向点视觉感知方法，其特征在于，所述步骤(S1)具体为：将RGB-D相机和语音定位模块固定放置在割草机器人上，该RGB-D相机和语音定位模块集成为割草机器人的一部分，通过无线通信接口与割草机器人上的控制模块连接，以提供远程控制和监控功能，用户通过语音定位模块控制割草机器人移动到用户面前，使其能够被RGB-D相机识别。
3.根据权利要求1所述的一种针对割草机器人的指向点视觉感知方法，其特征在于，所述步骤(S2)具体为：通过RGB-D相机获得人体图像，利用openpose人体姿态识别技术，识别到人体的重要关节点，在openpose识别人体姿态下，得到用户指向方向的姿态二维信息，包括三个关节点：右手RWrist、右肘RElbow、右肩RShoulder。
4.根据权利要求1所述的一种针对割草机器人的指向点视觉感知方法，其特征在于，所述步骤(S3)具体为：对步骤(S2)中利用openpose人体姿态识别到的手臂上三个关节点：右手RWris
5.根据权利要求1所述的一种针对割草机器人的指向点视觉感知方法，其特征在于，所述步骤(S4)具体为：利用RGB-D相机本身的结构参数所具有的视场角度构建相机成像模型，RGB-D相机的视野角度视场为B°×R°，将生成的图像像素大小调整为(h×w)，图像像素坐标系(u,v)：是一个二维直角坐标系，其原点O位于图像的左上角，u,v坐标轴分别与图像的两条边重合，一个像素点代表一个单位，以v轴的中点为球坐标系的原点，则对于RGB-D相机的角度视场用弧度规定为
6.根据权利要求1所述的一种针对割草机器人的指向点视觉感知方法，其特征在于，所述步骤(S5)具体为：通过步骤(S4)得到右手RWrist、右肘RElbow、右肩RShoulder的世界三维坐标分别为(xw1,yw1,zw1)、(xw2,yw2,zw2)、(xw3,yw3,zw3)，建立空间直线和世界坐标系xoy平面交点公式：
7.根据权利要求1所述的一种针对割草机器人的指向点视觉感知方法，其特征在于，所述步骤(S6)具体为：通过步骤(S3)，识别到用户将有意图地参与到割草机器人的割草行为，通过步骤(S5)，识别到用户意图指向的割草区域：以草坪地面与空间直线的交点(xw0,yw0)为中心的圆，同时得到目标区域与割草机器人的距离并通过步骤(S4)反推出坐标(xw0,yw0)在像素坐标系上具体位置(u0,v0)，此时测得该点的深度信息为d0，得到准确的目标区域与割草机器人的距离D＝αd+(1-α)d0，其中0≤α≤1，通过运动控制模块控制割草机器人的移动到指向区域进行割草操作。
...【技术特征摘要】
1.一种针对割草机器人的指向点视觉感知方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种针对割草机器人的指向点视觉感知方法，其特征在于，所述步骤(s1)具体为：将rgb-d相机和语音定位模块固定放置在割草机器人上，该rgb-d相机和语音定位模块集成为割草机器人的一部分，通过无线通信接口与割草机器人上的控制模块连接，以提供远程控制和监控功能，用户通过语音定位模块控制割草机器人移动到用户面前，使其能够被rgb-d相机识别。
3.根据权利要求1所述的一种针对割草机器人的指向点视觉感知方法，其特征在于，所述步骤(s2)具体为：通过rgb-d相机获得人体图像，利用openpose人体姿态识别技术，识别到人体的重要关节点，在openpose识别人体姿态下，得到用户指向方向的姿态二维信息，包括三个关节点：右手rwrist、右肘relbow、右肩rshoulder。
4.根据权利要求1所述的一种针对割草机器人的指向点视觉感知方法，其特征在于，所述步骤(s3)具体为：对步骤(s2)中利用openpose人体姿态识别到的手臂上三个关节点：右手rwrist、右肘relbow、右肩rshoulder进行运动学建模，确立三个姿态点的二维矢量方向，即：右肩为初始点，右手为终点；其中，利用卡尔曼滤波对手臂运动的过程进行滤波得到手臂抬起过程的平滑手臂位置信息和速度信息，得到状态方程和测量方程，使用卡尔曼滤波状态方程和测量方程来分别进行预测和更新；
5.根据权利要求1所述的一种针对割...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。